robots.txt 生成・テストツール
無料のrobots.txt生成・テストツール。GooglebotやBingbot、AIクローラー向けのルールを作成し、Googleの照合ルールでURLがブロックされるかを確認できます。
関連: メタタグ生成ツール · OGP生成ツール（Open Graph） · UTMリンク作成ツール
できること
robots.txt はサイトのルートに置かれ、クローラーが取得してよいパスを伝えます。ルールはユーザーエージェントごとにグループ化され、クローラーは自分を指名する最も具体的なグループか、* のグループに従います。グループ内では、一致するパスが最も長いルールが優先され、同じ長さなら許可が優先されます。* は任意の文字列に一致し、$ はURLの末尾を表します。robots.txt でブロックしても検索結果からは削除されません。その場合は noindex タグを使ってください。
使い方
- 「生成」で許可またはブロックする内容を選び、AIクローラーとサイトマップを追加します。
- 結果を、サイトのルートに robots.txt という名前のファイルとしてコピーします。
- 「テスト」で任意の robots.txt を貼り付け、特定のクローラーに対するURLを確認します。
よくある質問
robots.txt でページのインデックス登録を防げますか？
いいえ。防げるのはクロールだけで、ブロックされたURLでも他のサイトからリンクされていれば検索結果に表示されることがあります。ページをインデックスから外すには、クロールを許可したうえで noindex メタタグを追加してください。
AI学習用にブロックできるクローラーは何ですか？
よく知られているのは、GPTBot（OpenAI）、Google-Extended（検索に影響しないGoogleのAIモデル用）、CCBot（Common Crawl）、ClaudeBot（Anthropic）、PerplexityBot、Applebot-Extended です。各運営元は robots.txt を尊重するとしています。