منشئ ومختبر robots.txt

منشئ ومختبر robots.txt مجاني: أنشئ قواعد Googlebot وBingbot وزواحف الذكاء الاصطناعي، ثم تحقق هل عنوان URL محظور وفق قواعد المطابقة في Google.

أيضًا: مولّد الميتا تاغ (Meta Tags) · مولّد Open Graph · منشئ روابط UTM

ما الذي تفعله

يوجد robots.txt في جذر الموقع ويخبر الزواحف بالمسارات المسموح لها بجلبها. تُجمَّع القواعد حسب User agent؛ ويتبع الزاحف المجموعة الأكثر تحديدًا التي تسميه، أو مجموعة *. وداخل المجموعة تفوز القاعدة ذات المسار المطابق الأطول، ويفوز السماح عند التعادل؛ ويطابق * أي تسلسل ويشير $ إلى نهاية URL. حظر صفحة في robots.txt لا يزيلها من نتائج البحث: استخدم وسم noindex لذلك.

طريقة الاستعمال

  1. في تبويب إنشاء، اختر ما تريد السماح به أو حظره، وأضف زواحف الذكاء الاصطناعي ورابط Sitemap.
  2. انسخ النتيجة إلى ملف باسم robots.txt في جذر موقعك.
  3. في تبويب اختبار، الصق أي robots.txt وتحقق من عنوان URL لزاحف معين.

الأسئلة الشائعة

هل يمنع robots.txt فهرسة الصفحة؟
لا. إنه يمنع الزحف، لكن قد يظهر عنوان URL المحظور في النتائج إذا ربطت به مواقع أخرى. ولإبقاء صفحة خارج الفهرس، اسمح بالزحف وأضف وسم noindex.

ما الزواحف التي يمكنني حظرها لمنع تدريب الذكاء الاصطناعي؟
أشهرها GPTBot (من OpenAI) وGoogle-Extended (لنماذج الذكاء الاصطناعي في Google دون التأثير على البحث) وCCBot (من Common Crawl) وClaudeBot (من Anthropic) وPerplexityBot وApplebot-Extended. وتقول الجهات المالكة لها إنها تحترم robots.txt.