robots.txt 生成器与测试工具

免费 robots.txt 生成器与测试工具：为 Googlebot、Bingbot 和 AI 爬虫生成规则，并按 Google 的匹配规则检查某个 URL 是否被屏蔽。

另见： Meta 标签生成器 · Open Graph（OG）标签生成器 · UTM 链接生成器

它做什么

robots.txt 位于网站根目录，告诉爬虫哪些路径可以抓取。规则按 user agent 分组；爬虫遵循点名它的最具体的分组，否则遵循 * 分组。组内匹配路径最长的规则优先，长度相同则允许优先；* 匹配任意字符序列，$ 表示 URL 的结尾。在 robots.txt 中屏蔽页面并不会把它从搜索结果中移除，需要用 noindex 标签。

使用方法

  1. 在“生成”中选择要允许或屏蔽的内容，添加 AI 爬虫和你的站点地图。
  2. 把结果复制到网站根目录下名为 robots.txt 的文件中。
  3. 在“测试”中粘贴任意 robots.txt，检查某个 URL 对指定爬虫是否可抓取。

常见问题

robots.txt 能阻止页面被收录吗？
不能。它只阻止抓取，如果其他网站链接了被屏蔽的 URL，它仍可能出现在搜索结果中。要让页面不被收录，请允许抓取并添加 noindex 元标签。

可以屏蔽哪些 AI 训练爬虫？
最知名的有 GPTBot（OpenAI）、Google-Extended（Google 的 AI 模型，不影响搜索）、CCBot（Common Crawl）、ClaudeBot（Anthropic）、PerplexityBot 和 Applebot-Extended。它们的运营方称会遵守 robots.txt。