AIクローラー向け robots.txt：GPTBot・ClaudeBot を許可すべきか

更新 2026年6月19日

robots.txt は、サイトのどの部分を読んでよいかをクローラーに伝える小さなテキストファイルです。AIクローラーもこれに従うので、この1ファイルが「ChatGPT・Claude・Perplexity にそもそも内容を使わせるかどうか」を左右します。

robots.txt の役割

サイトのルート（あなたのサイト.com/robots.txt）に置き、クローラーごとのルールを並べます。各クローラーは「user-agent」という名前で自分を名乗り、その名前ごとにパスの許可・拒否を指定できます。

主なAIクローラー

• GPTBot — OpenAI のクローラー。
• OAI-SearchBot — ChatGPT 検索結果用の OpenAI クローラー。
• ChatGPT-User — ユーザーが ChatGPT にリンクを開かせたときにページを取得。
• ClaudeBot — Anthropic（Claude）のクローラー。
• PerplexityBot — Perplexity のクローラー。
• Google-Extended — 通常のGoogle検索とは別に、GoogleがAI製品にあなたの内容を使ってよいかを制御。

許可すべきか、拒否すべきか

• AIの回答に引用されたいなら、許可しましょう。 読まれることが、情報源として表示される前提です。
• 拒否も正当な選択です。 内容を守るためにAIクローラーを拒否する媒体もあります。意図的ならそれで構いません。本当の問題は、うっかり拒否すること——たとえばステージング環境から残った広範な Disallow: / です。

そのまま使える例（AIを歓迎）

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://あなたのサイト.com/sitemap.xml

特定のクローラーだけ拒否したい場合は、その専用ブロックを書きます。

User-agent: GPTBot
Disallow: /

よくある失敗

• 全員を静かに拒否してしまう、残り物の Disallow: /。
• 本文が依存しているフォルダごと拒否してしまう。
• Sitemap: 行を忘れる——全ページを見つけてもらう手段なのに。

まとめ

robots.txt は正面の門であり、GEOの全体像の4つの層の1つです。あなたのサイト.com/robots.txt を開き、AIクローラーをうっかり拒否していないか確認し、Sitemap: 行を足しましょう。2分で済み、そしてAIがあなたを読めるかどうかを決めます。

無料の「robots.txt・llms.txt ジェネレータ」を試す →

← ガイド一覧へ