Generatore e Tester di robots.txt

Generatore e tester di robots.txt gratuito: crea le regole per Googlebot, Bingbot e i crawler di IA e verifica se un URL è bloccato secondo le regole di Google.

Anche: Generatore di meta tag · Generatore Open Graph · Generatore di link UTM

Che cosa fa

robots.txt si trova nella radice di un sito e dice ai crawler quali percorsi possono scaricare. Le regole sono raggruppate per user agent; un crawler segue il gruppo più specifico che lo nomina, oppure il gruppo *. All'interno di un gruppo vince la regola con il percorso corrispondente più lungo e, a parità, allow; * corrisponde a qualsiasi sequenza e $ indica la fine dell'URL. Bloccare una pagina in robots.txt non la rimuove dai risultati di ricerca: per questo usa un tag noindex.

Come si usa

  1. In Genera, scegli cosa consentire o bloccare e aggiungi i crawler di IA e la tua sitemap.
  2. Copia il risultato in un file chiamato robots.txt nella radice del tuo sito.
  3. In Testa, incolla un robots.txt qualsiasi e verifica un URL per un determinato crawler.

Domande frequenti

robots.txt impedisce l'indicizzazione di una pagina?
No. Impedisce la scansione, ma un URL bloccato può comunque comparire nei risultati se altri siti lo linkano. Per tenere una pagina fuori dall'indice, consenti la scansione e aggiungi un meta tag noindex.

Quali crawler posso bloccare per l'addestramento di IA?
I più noti sono GPTBot (OpenAI), Google-Extended (modelli di IA di Google, senza effetti sulla Ricerca), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot e Applebot-Extended. I loro proprietari dichiarano di rispettare robots.txt.