Générateur et Testeur de robots.txt

Générateur et testeur de robots.txt : créez les règles pour Googlebot, Bingbot et les crawlers d'IA et vérifiez si une URL est bloquée d'après Google.

Aussi : Générateur de balises meta · Générateur Open Graph · Générateur de liens UTM

Ce qu'elle fait

Le robots.txt se place à la racine d'un site et indique aux crawlers quels chemins ils peuvent récupérer. Les règles sont regroupées par user agent ; un crawler suit le groupe le plus précis qui le nomme, ou le groupe *. Dans un groupe, la règle au chemin correspondant le plus long l'emporte, et allow gagne en cas d'égalité ; * correspond à toute séquence et $ marque la fin de l'URL. Bloquer une page dans robots.txt ne la retire pas des résultats de recherche : utilisez pour cela une balise noindex.

Comment l'utiliser

  1. Dans Générer, choisissez ce qu'il faut autoriser ou bloquer, puis ajoutez les crawlers d'IA et votre sitemap.
  2. Copiez le résultat dans un fichier nommé robots.txt à la racine de votre site.
  3. Dans Tester, collez n'importe quel robots.txt et vérifiez une URL pour un crawler donné.

Questions fréquentes

Le robots.txt empêche-t-il l'indexation d'une page ?
Non. Il empêche l'exploration, mais une URL bloquée peut quand même apparaître dans les résultats si d'autres sites y font un lien. Pour garder une page hors de l'index, autorisez l'exploration et ajoutez une balise meta noindex.

Quels crawlers puis-je bloquer pour l'entraînement d'IA ?
Les plus connus sont GPTBot (OpenAI), Google-Extended (modèles d'IA de Google, sans effet sur la Recherche), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot et Applebot-Extended. Leurs éditeurs disent respecter robots.txt.