robots.txt-Generator und -Tester

robots.txt-Generator und -Tester: Regeln für Googlebot, Bingbot und KI-Crawler erstellen und prüfen, ob eine URL nach Googles Regeln blockiert ist.

Auch: Meta-Tag-Generator · Open-Graph-Generator · UTM-Link-Generator

Was er macht

Die robots.txt liegt im Stammverzeichnis einer Website und sagt Crawlern, welche Pfade sie abrufen dürfen. Regeln sind nach User Agent gruppiert; ein Crawler folgt der spezifischsten Gruppe, die ihn nennt, oder der Gruppe *. Innerhalb einer Gruppe gewinnt die Regel mit dem längsten passenden Pfad, bei Gleichstand allow; * passt auf jede Zeichenfolge und $ markiert das URL-Ende. Eine in der robots.txt blockierte Seite verschwindet nicht aus den Suchergebnissen: Dafür nutzen Sie ein noindex-Tag.

So wird er benutzt

  1. Wählen Sie unter Erstellen, was erlaubt oder blockiert wird, und fügen Sie KI-Crawler und Ihre Sitemap hinzu.
  2. Kopieren Sie das Ergebnis in eine Datei namens robots.txt im Stammverzeichnis Ihrer Website.
  3. Fügen Sie unter Testen eine beliebige robots.txt ein und prüfen Sie eine URL für einen bestimmten Crawler.

Häufige Fragen

Verhindert die robots.txt, dass eine Seite indexiert wird?
Nein. Sie verhindert das Crawlen, aber eine blockierte URL kann trotzdem in den Ergebnissen erscheinen, wenn andere Seiten darauf verlinken. Um eine Seite aus dem Index zu halten, erlauben Sie das Crawlen und fügen ein noindex-Meta-Tag hinzu.

Welche Crawler kann ich für das KI-Training blockieren?
Die bekanntesten sind GPTBot (OpenAI), Google-Extended (KI-Modelle von Google, ohne Einfluss auf die Suche), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot und Applebot-Extended. Ihre Betreiber geben an, die robots.txt zu beachten.