Generator dan Penguji robots.txt

Generator dan penguji robots.txt gratis: susun aturan untuk Googlebot, Bingbot, dan crawler AI, lalu periksa apakah URL diblokir dengan aturan Google.

Juga: Generator Meta Tag ยท Generator Open Graph ยท Pembuat Tautan UTM

Apa fungsinya

robots.txt berada di root situs dan memberi tahu crawler path mana yang boleh diambil. Aturan dikelompokkan per user agent; crawler mengikuti grup paling spesifik yang menyebut namanya, atau grup *. Dalam satu grup, aturan dengan path cocok terpanjang menang dan allow menang jika seri; * cocok dengan urutan apa pun dan $ menandai akhir URL. Memblokir halaman di robots.txt tidak menghapusnya dari hasil pencarian: gunakan tag noindex untuk itu.

Cara memakainya

  1. Di tab Buat, pilih apa yang diizinkan atau diblokir, tambahkan crawler AI dan sitemap Anda.
  2. Salin hasilnya ke file bernama robots.txt di root situs Anda.
  3. Di tab Uji, tempel robots.txt apa pun lalu periksa URL untuk crawler tertentu.

Pertanyaan yang sering diajukan

Apakah robots.txt mencegah halaman diindeks?
Tidak. Ia menghentikan crawling, tetapi URL yang diblokir masih bisa muncul di hasil jika situs lain menautkannya. Agar halaman tidak masuk indeks, izinkan crawling dan tambahkan meta tag noindex.

Crawler mana yang bisa saya blokir untuk pelatihan AI?
Yang paling dikenal adalah GPTBot (OpenAI), Google-Extended (model AI Google, tanpa memengaruhi Search), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot, dan Applebot-Extended. Pemiliknya menyatakan menghormati robots.txt.