robots.txt جنریٹر اور ٹیسٹر

مفت robots.txt جنریٹر اور ٹیسٹر: Googlebot، Bingbot اور AI crawlers کے لیے اصول بنائیں، پھر Google کے میچنگ اصولوں سے جانچیں کہ URL بلاک ہے یا نہیں۔

نیز: میٹا ٹیگ جنریٹر · اوپن گراف (Open Graph) جنریٹر · UTM لنک بلڈر

یہ کیا کرتا ہے

robots.txt سائٹ کی روٹ میں ہوتی ہے اور crawlers کو بتاتی ہے کہ وہ کون سے پاتھ حاصل کر سکتے ہیں۔ اصول user agent کے لحاظ سے گروپ ہوتے ہیں؛ crawler اس سب سے مخصوص گروپ پر چلتا ہے جو اس کا نام لے، ورنہ * والے گروپ پر۔ گروپ کے اندر سب سے لمبے میچنگ پاتھ والا اصول جیتتا ہے اور برابری پر allow جیتتا ہے؛ * کوئی بھی ترتیب میچ کرتا ہے اور $ URL کے اختتام کی علامت ہے۔ robots.txt میں صفحہ بلاک کرنے سے وہ سرچ نتائج سے نہیں ہٹتا: اس کے لیے noindex ٹیگ استعمال کریں۔

استعمال کا طریقہ

  1. بنائیں میں چنیں کہ کیا اجازت دینا یا بلاک کرنا ہے، پھر AI crawlers اور اپنا sitemap شامل کریں۔
  2. نتیجے کو اپنی سائٹ کی روٹ میں robots.txt نامی فائل میں کاپی کریں۔
  3. ٹیسٹ میں کوئی بھی robots.txt پیسٹ کریں اور کسی crawler کے لیے URL جانچیں۔

عمومی سوالات

کیا robots.txt صفحے کو انڈیکس ہونے سے روکتی ہے؟
نہیں۔ یہ crawling روکتی ہے، لیکن اگر دوسری سائٹس لنک کریں تو بلاک شدہ URL پھر بھی نتائج میں آ سکتا ہے۔ صفحے کو انڈیکس سے باہر رکھنے کے لیے crawling کی اجازت دیں اور noindex میٹا ٹیگ لگائیں۔

AI ٹریننگ کے لیے کون سے crawlers بلاک کیے جا سکتے ہیں؟
سب سے معروف GPTBot (OpenAI)، Google-Extended (Google کے AI ماڈلز، Search پر اثر ڈالے بغیر)، CCBot (Common Crawl)، ClaudeBot (Anthropic)، PerplexityBot اور Applebot-Extended ہیں۔ ان کے مالکان کا کہنا ہے کہ وہ robots.txt کا احترام کرتے ہیں۔