ملف robots.txt هو ملف يحتوي على مجموعة من النصوص تعطي لعناكب البحث و الزواحف (crawlers) معلومات عن ما تريد أرشفته و ما لا تريد ان يتأرشف , في بلوجر إذا لم تقم بإضافة ملف robots.txt مخصص تقوم بلوجر باستعمال الملف الافتراضي الذي يمكن تعديل محتواه من بعض خيارات بلوجر
يمكن الوصول لملف robots.txt لأي موقع من خلال إضافة robots.txt آخر دومين الموقع
الملف الذي نستعمله في هذه المدونة يمكن الوصول له من ttps://mireya-ar.blogspot.com/robots.txt
تخصيص ملف robots.txt
لتخصيص ملف robots.txt لمدونتك قم بتسجيل الدخول لبلوجر ⇽ إعدادات ⇽ تفضيلات البحث ⇽ برامج الزحف و الفهرسة ⇽ ملف robots.txt مخصص و اضغط على تحرير ثم قم بتحديد نعم و أخيرا قم بإضافة السطور التي تريد استعمالها
اكمل الشرح للحصول على معلومات أخرى لتخصيص الملف
ملف robots.txt الافتراضي
إذا لم تقم بتخصيص ملف robots.txt فبلوجر تستعمل هذا :
هذا الملف يحتوي معلومات مهمة تقوم بتوجيه الزواحف , توجد أنواع مختلفة من الزواحف نذكر منها عناكب البحث المتخصصة في البحث عن مواضيع لأرشفتها , و توجد الزواحف المتخصصة في جلب المعلومات مثل facebookexternalhit/1.1 الخاص بالفيسبوك وظيفته الزحف للروابط التي تم مشاركتها على الفيسبوك لجلب الصور و المعلومات المخزنة به , أو زاحف ia_archiver الخاص بموقع ألكسا الذي تكمن وظيفته تصفح المواقع لتحليل المحتوى و المواقع ذات صلة ووظائف تحليلية أخرى...
توجد أنواع كثيرة من الزواحف كل زاحف و الوظيفة التي تم تطويره ليقوم بها .
مكونات ملف robots.txt
User-agent
إذا لم تقم بتخصيص ملف robots.txt فبلوجر تستعمل هذا :
هذا الملف يحتوي معلومات مهمة تقوم بتوجيه الزواحف , توجد أنواع مختلفة من الزواحف نذكر منها عناكب البحث المتخصصة في البحث عن مواضيع لأرشفتها , و توجد الزواحف المتخصصة في جلب المعلومات مثل facebookexternalhit/1.1 الخاص بالفيسبوك وظيفته الزحف للروابط التي تم مشاركتها على الفيسبوك لجلب الصور و المعلومات المخزنة به , أو زاحف ia_archiver الخاص بموقع ألكسا الذي تكمن وظيفته تصفح المواقع لتحليل المحتوى و المواقع ذات صلة ووظائف تحليلية أخرى...
توجد أنواع كثيرة من الزواحف كل زاحف و الوظيفة التي تم تطويره ليقوم بها .
مكونات ملف robots.txt
User-agent
يقوم بتحديد نوع الزاحف الذي ستعطى له الأوامر , لإختيار زاحف الفيسبوك facebookexternalhit/1.1 مثلا سنستعمل هذه السطور
سيتم تطبيق الاوامر المحددة بالأحمر لزاحف الفيسبوك فقط -شرح الاوامر في الاسفل- أما إذا قمنا بإستعمال علامة * في user agent فتقوم بتحديد كل الزواحف الاخرى بدون المحددة في الكود , يعني الامر المحدد بالأخضر allow:/ الموجود في user agent * لن يعمل على زاحف الفيسبوك لأن زاحف الفيسبوك خصصنا له الاوامر الخاصة به وحده .
أوامر User-agent
Disallow
يمكنك إضافة سطر Disallow لمنع الزاحف من الوصول لكامل أو بعض صفحات مدونتك
مثال:
هذا السطر سيقوم بمنع كل أنواع الزواحف من الوصول لموقعك
* وظيفته تحديد كل أنواع الزواحف
و Disallow يقوم بمنع الوصول لأي صفحة في الموقع تبدأ بـ / يعني كل الصفحات , إذا كنت تريد منع الوصول لبعض الصفحات يمكنك تحديدها كهذا المثال
Disallow: /searchهكذا لن تتمكن الزواحف من الوصول للصفحات المذكورة و هذه أمثلة لبعض الروابط التي لا يمكن الوصول إليها عند استعمال تلك السطور:
- https://www.mireya-ar.blogspot.com/p/contact.html
- https://www.mireya-ar.blogspot.com/2018/03/something.html
- https://www.mireya-ar.blogspot.com/search/label/something
- https://www.mireya-ar.blogspot.com/search?q=something
إما إذا كان Disallow فارغ مثل :
فستقوم الزواحف بالوصول لجميع صفحات موقعك
Allow
يمكنك إضافة سطر Allow للسماح للزاحف للوصول لصفحات محددة , مثال للإستعمال Disallow يمنع الوصول لأي صفحة في المدونة لأن بلوجر تستضيف كل الصفحات على روابط تبدأ بـ /p
إلا أن Allow قام بالسماح لصفحة واحدة و هي important.html
Sitemap
تخبر عناكب البحث عن مكان تخزين خريطة مدونتك , لتسهيل الوصول لروابط التدوينات في بلوجر يمكن الوصول لخريطة المدونة بطرق مختلفة
- https://www.mireya-ar.blogspot.com/feeds/posts/default?orderby=UPDATED
- https://www.mireya-ar.blogspot.com/feeds/posts/default?alt=atom
- https://www.mireya-ar.blogspot.com/sitemap.xml
- https://www.mireya-ar.blogspot.com/atom.xml
تقوم بإضافتها في أسفل ملف robots.txt بهذا الشكل
يمكن أيضا في ملفات robots.txt إضافة تعليقات كما في مختلف لغات البرمجة , ربما تريد إضافة تعليقات لتذكر شيء ما أو لإنشاء تنبيه عن سبب قيامك بإضافة احدى الاوامر أو فقط كملاحظة..
لكتابة تعليق قم بالبدأ بـ # في أول الكلام كما في المثال
يساعدك حرف البدل * على تحديد مجموعة من الحروف اللامتناهية
ال wildcard يمكن أن يعني "كل شيء" كمثال:
قمنا بإتاحة الوصول لجميع الصفحات لأن * يمكن أن يعني كل شيء , فالسطر يمكن أن يحدد عدد لا محدود من الصفحات و هذه بعض أمثلتها
- https://www.mireya-ar.blogspot.com/p/contact.html
- https://www.mireya-ar.blogspot.com/p/usagement.html
- https://www.mireya-ar.blogspot.com/p/privacy-policy.html
نصل إلى نهاية الشرح إذا كانت هنالك أسئلة بخصوص ملف robots.txt يمكنك طرحه في تعليق
أتمنى أن يكون الموضوع مفهوم قدر الامكان إلى اللقاء بإذن الله
add_comment ليست هناك تعليقات:
إرسال تعليق