robots.txt जनरेटर और टेस्टर

मुफ़्त robots.txt जनरेटर और टेस्टर: Googlebot, Bingbot और AI crawler के नियम बनाएँ, फिर Google के मिलान-नियमों से जाँचें कि कोई URL ब्लॉक है या नहीं।

यह भी: मेटा टैग जनरेटर · ओपन ग्राफ (Open Graph) जनरेटर · UTM लिंक बिल्डर

यह क्या करता है

robots.txt साइट के रूट में रहती है और crawler को बताती है कि वे कौन-से पाथ ला सकते हैं। नियम user agent के हिसाब से समूहों में रखे जाते हैं; crawler उस सबसे ख़ास समूह को मानता है जिसमें उसका नाम हो, वरना * वाले समूह को। समूह के भीतर सबसे लंबे मिलते पाथ वाला नियम जीतता है और बराबरी पर allow जीतता है; * किसी भी क्रम से मेल खाता है और $ URL का अंत दिखाता है। robots.txt में पेज ब्लॉक करने से वह सर्च नतीजों से नहीं हटता: इसके लिए noindex टैग इस्तेमाल करें।

इसका उपयोग कैसे करें

  1. बनाएँ टैब में चुनें कि क्या अनुमति देनी या ब्लॉक करनी है, फिर AI crawler और अपना sitemap जोड़ें।
  2. नतीजे को अपनी साइट के रूट में robots.txt नाम की फ़ाइल में कॉपी करें।
  3. जाँचें टैब में कोई भी robots.txt पेस्ट करें और किसी crawler के लिए URL जाँचें।

अक्सर पूछे जाने वाले प्रश्न

क्या robots.txt किसी पेज को इंडेक्स होने से रोकती है?
नहीं। यह crawling रोकती है, लेकिन अगर दूसरी साइटें लिंक करें तो ब्लॉक किया गया URL भी नतीजों में आ सकता है। पेज को इंडेक्स से बाहर रखने के लिए crawling की अनुमति दें और noindex मेटा टैग जोड़ें।

AI ट्रेनिंग के लिए कौन-से crawler ब्लॉक किए जा सकते हैं?
सबसे जाने-माने GPTBot (OpenAI), Google-Extended (Google के AI मॉडल, Search पर असर डाले बिना), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot और Applebot-Extended हैं। इनके मालिकों का कहना है कि वे robots.txt का सम्मान करते हैं।