Gerador e Testador de robots.txt
Gerador e testador de robots.txt: crie regras para Googlebot, Bingbot e crawlers de IA e veja se um URL está bloqueado segundo as regras da Google.
Também: Gerador de meta tags · Gerador de Open Graph · Gerador de links UTM
O que faz
O robots.txt fica na raiz de um site e diz aos crawlers que caminhos podem obter. As regras agrupam-se por user agent; um crawler segue o grupo mais específico que o nomeia, ou o grupo *. Dentro de um grupo, vence a regra com o caminho correspondente mais longo e, em caso de empate, o allow; * corresponde a qualquer sequência e $ marca o fim do URL. Bloquear uma página no robots.txt não a retira dos resultados de pesquisa: para isso use uma etiqueta noindex.
Como utilizar
- Em Gerar, escolha o que permitir ou bloquear e adicione os crawlers de IA e o seu sitemap.
- Copie o resultado para um ficheiro chamado robots.txt, na raiz do seu site.
- Em Testar, cole qualquer robots.txt e verifique um URL para um dado crawler.
Perguntas frequentes
O robots.txt impede que uma página seja indexada?
Não. Impede o rastreio, mas um URL bloqueado pode continuar a aparecer nos resultados se outros sites ligarem para ele. Para manter uma página fora do índice, permita o rastreio e adicione uma meta tag noindex.
Que crawlers posso bloquear para o treino de IA?
Os mais conhecidos são o GPTBot (OpenAI), o Google-Extended (modelos de IA da Google, sem afetar a Pesquisa), o CCBot (Common Crawl), o ClaudeBot (Anthropic), o PerplexityBot e o Applebot-Extended. Os seus donos afirmam respeitar o robots.txt.