Penjana dan Penguji robots.txt

Penjana dan penguji robots.txt percuma: bina peraturan untuk Googlebot, Bingbot dan crawler AI, kemudian semak sama ada URL disekat dengan peraturan Google.

Juga: Penjana Meta Tag ยท Penjana Open Graph ยท Pembina Pautan UTM

Apa yang ia lakukan

robots.txt terletak di root laman dan memberitahu crawler path mana yang boleh diambil. Peraturan dikumpulkan mengikut user agent; crawler mengikut kumpulan paling khusus yang menyebut namanya, atau kumpulan *. Dalam satu kumpulan, peraturan dengan path padanan terpanjang menang dan allow menang jika seri; * sepadan dengan sebarang jujukan dan $ menandakan hujung URL. Menyekat halaman dalam robots.txt tidak mengalihkannya daripada hasil carian: gunakan tag noindex untuk itu.

Cara menggunakannya

  1. Dalam tab Jana, pilih apa yang dibenarkan atau disekat, tambah crawler AI dan sitemap anda.
  2. Salin hasilnya ke dalam fail bernama robots.txt di root laman anda.
  3. Dalam tab Uji, tampal sebarang robots.txt dan semak URL untuk crawler tertentu.

Soalan lazim

Adakah robots.txt menghalang halaman daripada diindeks?
Tidak. Ia menghentikan crawling, tetapi URL yang disekat masih boleh muncul dalam hasil jika laman lain memautkannya. Untuk mengekalkan halaman di luar indeks, benarkan crawling dan tambah meta tag noindex.

Crawler mana yang boleh saya sekat untuk latihan AI?
Yang paling terkenal ialah GPTBot (OpenAI), Google-Extended (model AI Google, tanpa menjejaskan Search), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot dan Applebot-Extended. Pemiliknya menyatakan mereka menghormati robots.txt.