Robots.txt-opwekker en -toetser

Gratis robots.txt-opwekker en -toetser: bou reëls vir Googlebot, Bingbot en KI-crawlers, en kontroleer of 'n URL geblokkeer is volgens Google se reëls.

Ook: Meta-etiket-kragopwekker · Open Graph-kragopwekker · UTM-skakelbouer

Wat dit doen

robots.txt sit by die wortel van 'n webwerf en sê vir crawlers watter paaie hulle mag haal. Reëls word per user agent gegroepeer; 'n crawler volg die mees spesifieke groep wat hom noem, of die groep *. Binne 'n groep wen die reël met die langste ooreenstemmende pad, en allow wen 'n gelykopuitslag; * stem met enige reeks ooreen en $ merk die einde van die URL. Om 'n bladsy in robots.txt te blokkeer verwyder dit nie uit soekresultate nie: gebruik 'n noindex-etiket daarvoor.

Hoe om dit te gebruik

  1. Kies in Opwek wat om toe te laat of te blokkeer, en voeg KI-crawlers en jou sitemap by.
  2. Kopieer die resultaat na 'n lêer genaamd robots.txt by die wortel van jou webwerf.
  3. Plak in Toets enige robots.txt en kontroleer 'n URL vir 'n gegewe crawler.

Gereelde vrae

Keer robots.txt dat 'n bladsy geïndekseer word?
Nee. Dit keer kruiping, maar 'n geblokkeerde URL kan steeds in resultate verskyn as ander webwerwe daarna skakel. Om 'n bladsy uit die indeks te hou, laat kruiping toe en voeg 'n noindex-metaetiket by.

Watter crawlers kan ek vir KI-opleiding blokkeer?
Die bekendstes is GPTBot (OpenAI), Google-Extended (Google se KI-modelle, sonder om Soek te raak), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot en Applebot-Extended. Hul eienaars sê hulle respekteer robots.txt.