Gerador e testador de robots.txt

Gerador e testador de robots.txt grátis: monte as regras para Googlebot, Bingbot e robôs de IA e confira se uma URL fica bloqueada pelas regras do Google.

Também: Gerador de meta tags · Gerador de Open Graph · Gerador de UTM

O que ela faz

O robots.txt fica na raiz do site e diz aos robôs quais caminhos eles podem acessar. As regras são agrupadas por user agent; cada robô segue o grupo mais específico com o nome dele, ou o grupo *. Dentro do grupo vale a regra com o caminho correspondente mais longo, e allow ganha no empate; * corresponde a qualquer sequência e $ marca o fim da URL. Bloquear uma página no robots.txt não a tira dos resultados de busca: para isso, use a tag noindex.

Como usar

  1. Em Gerar, escolha o que permitir ou bloquear e inclua os robôs de IA e o sitemap.
  2. Copie o resultado para um arquivo chamado robots.txt na raiz do site.
  3. Em Testar, cole qualquer robots.txt e confira uma URL para um robô.

Perguntas frequentes

O robots.txt impede que uma página seja indexada?
Não. Ele impede o rastreamento, mas uma URL bloqueada ainda pode aparecer nos resultados se outros sites apontarem para ela. Para tirar a página do índice, permita o rastreamento e use a meta tag noindex.

Quais robôs de treino de IA posso bloquear?
Os mais conhecidos são GPTBot (OpenAI), Google-Extended (modelos de IA do Google, sem afetar a Busca), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot e Applebot-Extended. Os donos dizem respeitar o robots.txt.