حتي لاتتجنبك عناكب البحث..شرح ملف Robots.txt و كيف يمكنك إنشائه

Robots.txt

ما هو ملف Robots.txt وما هي اهميته ؟

هو ملف نصي يحتوي على سطور قليلة من أكواد، اهميته تتمثل في ارشاد عناكب البحث لأرشفة موقع أو مدونة. إذ أن آليات الزحف الخاصة ب جوجل، ياهو، وبينج وجميع محركات تقوم بالتأكد من وجود ملف Robots.txt قبل الزحف على محتويات الموقع وتصنيفها. عن طريق هذا الملف يمكنك منع عناكب البحث من أرشفة صفحات معينة في مدونتك مثل صفحة تسميات
كل مدونة بلوجر لديها ملف robots.txt خاص بها بشكل إفتراضي ويكون بهذا الشكل

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATE

ورغم ذاك الكثير من مستعملي مدونات بلوجر يهملون هذاالملف المهم، حيث ان هذا الملف له دوركبيرفي ارشفة موقعك 
والإستخدام الخاطىء لهذا الملف يمكن أن يؤدي لتجاهل محركات البحث لموقعك و بتالي عدم أرشفته.
ملحوظة

اذا كنت قمت بتعديل ملف robots.txt لموقعك من أجل منع عناكب  AdSense من فهرسة صفحاتك، في هذة الحالة لن يتم عرض إعلانات Google على هذه الصفحات.

 لمنح عناكب جوجل حق الوصول إلى صفحاتك، يُرجى إزالة السطرين من النص من ملف robots.txt:

User-agent: Mediapartners-Google
‪Disallow: /

سيسمح هذا التغيير للزاحف بفهرسة محتوى موقعك وتقديم إعلانات Google. 

 مولد Robots.tx

اقدم لكم اليوم هذة الاداة الرائعمة التي  من خلالها يمكنك اتشاء ملف Robots.txt صحيح وبدوم مشاكلt هذه الاداة مولد Robots.txt تسهل عليك الامور ، فقط اختار الاعدادت التي تريد واضغط على توليد ملف روبوت او انشاء ملف Robots.txt كي تولده اتوماتكياً لك بحيث يمكنك نسخه الى ملف واستعماله على موقعك

رابط اداة مولد Robots.txt