Generator och testare för robots.txt

Gratis robots.txt-generator och testare: bygg reglerna för Googlebot, Bingbot och AI-crawlers och kontrollera om en URL är blockerad enligt Googles regler.

Även: Metataggeneratorn · Open Graph-generator · UTM-länkgenerator

Vad den gör

robots.txt ligger i roten av en webbplats och talar om för crawlers vilka sökvägar de får hämta. Reglerna grupperas per user agent; en crawler följer den mest specifika grupp som nämner den, eller gruppen *. Inom en grupp vinner regeln med den längsta matchande sökvägen, och allow vinner vid lika; * matchar valfri sekvens och $ markerar slutet på URL:en. Att blockera en sida i robots.txt tar inte bort den från sökresultaten: använd en noindex-tagg för det.

Så använder du den

  1. I Generera väljer du vad som ska tillåtas eller blockeras och lägger till AI-crawlers och din sitemap.
  2. Kopiera resultatet till en fil som heter robots.txt i roten av din webbplats.
  3. I Testa klistrar du in valfri robots.txt och kontrollerar en URL för en given crawler.

Vanliga frågor

Hindrar robots.txt att en sida indexeras?
Nej. Den stoppar crawlning, men en blockerad URL kan ändå visas i resultaten om andra webbplatser länkar till den. För att hålla en sida utanför indexet, tillåt crawlning och lägg till en noindex-metatagg.

Vilka crawlers kan jag blockera för AI-träning?
De mest kända är GPTBot (OpenAI), Google-Extended (Googles AI-modeller, utan att påverka Sökning), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot och Applebot-Extended. Deras ägare uppger att de följer robots.txt.