√ شرح طريقة عمل ملف robots.txt مخصص لمدونات بلوجر

شرح طريقة عمل ملف robots.txt مخصص لمدونات بلوجر

6/24/2014

ملف روبوتس Robots.txt هو كود بسيط يتم إضافته لمدونات بلوجر من خلال الإعدادت للتحكم فيما يتم تصنيفه من قبل محركات البحث. كيف؟

آليات الزحف الخاصة بهذه المواقع مثل جوجل، ياهو، وبينج تقوم بالتأكد من وجود ملف Robots.txt قبل الزحف على محتويات الموقع وتصنيفها. فباستعمال ملف Robots.txt بإمكانكم منع جوجل مثلا من تصنيف صفحة غير مهمة مثل صفحة البحث، الأمثلة المرتبطة بالدروس...

ورغم أن الكثير من مستعملي مدونات بلوجر يهملون هذا الأمر، إلا أن ملف Robots.txt له دور مهم في الحفاظ على مصداقية المدونة وحماية زوارها القادمين من محركات البحث لكي لا يتم توجيههم نحو الصفحات الغير المهمة.

شرح اضافة ملف robots.txt مخصص لمدونات بلوجر

شرح اعدادات السية كاملة بما فيها ملف روبوتس مخصص:

عناصر ملف robots.txt

الكود الخاص ب Robots.txt يبدو بهذا الشكل:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.blogspot.com/feeds/posts/default?orderby=UPDATED

لنقم بتوضيح وشرح مكوناته:

هذا الكود يتكون من ثلاثة أجزاء، لنقم بشرحها قبل المرور لشرح كل واحد على حدى. ثم سنرى طريقة عمل ملف Robots.txt خاص بكم وإضافته لمدونات بلوجر.

1. شركاء جوجل

* User-agent: Mediapartners-Google
هذا الكود يتعلق أساسا بإعلانات جوجل أدسنس، بحيث يسمح لهم بتحليل محتوى المدونة وتقديم الإعلانات بشكل أفضل.

2. جميع اليات البحث

* User-agent: *
هذا الكود يتم كتابته لجميع خيارات ملف Robots.txt ثم نضيف بعد ذلك كود المنع أو السماح.

3. منع الزحف Disallow:

- Disallow: /search
هذا الكود يمنع آليات البحث من تصنيف كل ما يتعلق بالفئات. حيث أن كل الصفحات التي تكون بشكل هذا الرابط لن يتم تصنيفها. شاهدوا مثال هنا لرابط يتعلق ب سيو SEO.

https://www.folfoly.com/search/label/SEO

لو قمنا بحذف Disallow: /search فسيتم تصنيف جميع الصفحات.

هنا Allow: / تعني السماح بتصنيف كل محتويات الصفحة الرئيسية.

- منع الزحف على صفحة محددة:

هذا الكود: Disallow: /2013/03/post-url.html يمنع الزحف على صفحة محددة.

لتسهيل الأمر عليكم، قوموا بنسخ رابط الصفحة ثم قوموا بحذف إسم المدونة للإبقاء على مؤخرة الرابط فقط:

https://www.folfoly.com/2019/01/blogger-widgets-code.html

4. رابط سيتماب

* Sitemap: https://example.blogspot.com/feeds/posts/default?orderby=UPDATED

هذا الكود يسمح لآليات البحث بالوصول لكافة روابط المدونة، والجيد بخصوص خارطة المدونة هو أن مواقع البحث تستطيع الوصول لكافة روابط المدونة بدون استثناء.

تفعيل Robots.txt

بعد توضيحنا كيفية التحكم بملف Robots.txt سنرى طريقة إضافته لمدونات بلوجر. وللقيام بذلك ستتبعون الخطوات التالية:

1. من واجهة المدونة ننقر على إعدادت، ثم تفضيلات البحث، تحرير ملف robots.txt مخصص، ننقر نعم لتشغيلها ونكتب الكود في الإطار: