Robots.txt Generator at Tester

Libreng robots.txt generator at tester: buuin ang rule para sa Googlebot, Bingbot at AI crawler, saka tingnan kung naka-block ang URL gamit ang rule ng Google.

Pati na rin: Meta Tag Generator ยท Open Graph Generator ยท UTM Builder

Ano ang ginagawa nito

Nasa root ng site ang robots.txt at sinasabi nito sa mga crawler kung aling path ang puwede nilang kunin. Pinagsasama-sama ang mga rule ayon sa user agent; sinusunod ng crawler ang pinakatiyak na group na nagpapangalan dito, o ang group na *. Sa loob ng group, panalo ang rule na may pinakamahabang tumutugmang path at panalo ang allow kapag tabla; tumutugma ang * sa anumang sunod-sunod at tanda ng dulo ng URL ang $. Hindi inaalis ng pag-block sa robots.txt ang page sa search results: gumamit ng noindex tag para doon.

Paano ito gamitin

  1. Sa Bumuo, piliin kung ano ang papayagan o iba-block, idagdag ang mga AI crawler at ang sitemap mo.
  2. Kopyahin ang resulta sa file na pinangalanang robots.txt sa root ng site mo.
  3. Sa Subukan, mag-paste ng anumang robots.txt at suriin ang isang URL para sa partikular na crawler.

Mga madalas itanong

Napipigilan ba ng robots.txt na ma-index ang isang page?
Hindi. Pinipigilan nito ang crawling, pero maaari pa ring lumabas sa results ang naka-block na URL kung may ibang site na nagli-link dito. Para hindi ma-index ang page, payagan ang crawling at magdagdag ng noindex meta tag.

Aling mga crawler ang puwede kong i-block para sa AI training?
Ang pinakakilala ay GPTBot (OpenAI), Google-Extended (mga AI model ng Google, nang hindi naaapektuhan ang Search), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot at Applebot-Extended. Sinasabi ng mga may-ari nila na iginagalang nila ang robots.txt.