robots.txt 產生器與測試工具

免費 robots.txt 產生器與測試工具：為 Googlebot、Bingbot 與 AI 爬蟲產生規則，並依 Google 的比對規則檢查某個 URL 是否被封鎖。

另見： Meta 標籤產生器 · Open Graph（OG）標籤產生器 · UTM 連結產生器

它做什麼

robots.txt 位於網站根目錄，告訴爬蟲哪些路徑可以擷取。規則依 user agent 分組；爬蟲遵循指名它的最具體的群組，否則遵循 * 群組。群組內符合路徑最長的規則優先，長度相同則允許優先；* 符合任意字元序列，$ 表示 URL 的結尾。在 robots.txt 中封鎖頁面並不會將它從搜尋結果移除，請改用 noindex 標籤。

使用方式

  1. 在「產生」中選擇要允許或封鎖的內容，加入 AI 爬蟲與您的網站地圖。
  2. 將結果複製到網站根目錄下名為 robots.txt 的檔案中。
  3. 在「測試」中貼上任意 robots.txt，檢查某個 URL 對指定爬蟲是否可擷取。

常見問題

robots.txt 能阻止頁面被索引嗎？
不能。它只會阻止爬取，若其他網站連結了被封鎖的 URL，它仍可能出現在搜尋結果中。若要讓頁面不被索引，請允許爬取並加入 noindex meta 標籤。

可以封鎖哪些 AI 訓練爬蟲？
最知名的有 GPTBot（OpenAI）、Google-Extended（Google 的 AI 模型，不影響搜尋）、CCBot（Common Crawl）、ClaudeBot（Anthropic）、PerplexityBot 與 Applebot-Extended。它們的營運方表示會遵守 robots.txt。