Generador y Probador de robots.txt

Generador y probador de robots.txt: crea reglas para Googlebot, Bingbot y crawlers de IA y comprueba si una URL está bloqueada con las reglas de Google.

También: Generador de meta tags · Generador de Open Graph · Generador de enlaces UTM

Qué hace

robots.txt se coloca en la raíz de un sitio y dice a los crawlers qué rutas pueden descargar. Las reglas se agrupan por user agent; un crawler sigue el grupo más específico que lo nombra, o el grupo *. Dentro de un grupo gana la regla con la ruta coincidente más larga y, en caso de empate, allow; * coincide con cualquier secuencia y $ marca el final de la URL. Bloquear una página en robots.txt no la quita de los resultados de búsqueda: para eso usa una etiqueta noindex.

Cómo usarla

  1. En Generar, elige qué permitir o bloquear y añade los crawlers de IA y tu sitemap.
  2. Copia el resultado en un archivo llamado robots.txt en la raíz de tu sitio.
  3. En Probar, pega cualquier robots.txt y comprueba una URL para un crawler concreto.

Preguntas frecuentes

¿robots.txt impide que una página se indexe?
No. Impide el rastreo, pero una URL bloqueada puede seguir apareciendo en los resultados si otros sitios enlazan a ella. Para mantener una página fuera del índice, permite el rastreo y añade una meta etiqueta noindex.

¿Qué crawlers puedo bloquear para el entrenamiento de IA?
Los más conocidos son GPTBot (OpenAI), Google-Extended (modelos de IA de Google, sin afectar a la Búsqueda), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot y Applebot-Extended. Sus propietarios aseguran que respetan robots.txt.