AIクローラー一覧：GPTBot・ClaudeBot・PerplexityBot と許可の仕方
AI各社は、名前のついたクローラー（それぞれ「ユーザーエージェント」名を持つ）でWebを読みます。これらを知れば、意図的に選べます——引用されたい相手は許可し、そうでない相手は拒否する。執筆時点の主なものを挙げます。
主なAIクローラー
- GPTBot（OpenAI）— OpenAI の汎用クローラー。モデル用の内容収集に使われます。
- OAI-SearchBot（OpenAI）— ChatGPT の検索結果に表示・リンクするためにページを取得します。
- ChatGPT-User（OpenAI）— ユーザーが ChatGPT に特定のリンクを開くよう頼んだ時に、その場で取得します。
- ClaudeBot（Anthropic）— Claude のための Anthropic のクローラー。
- PerplexityBot（Perplexity）— Perplexity が回答・引用できるようページをクロールします。
- Google-Extended（Google）— 別のクローラーではなく、あなたの内容を Google の生成AI（Gemini）に使わせるかを制御する
robots.txtのトークンです。通常のクロールは引き続き Googlebot が行います。
Microsoft の Copilot は主に Bing のインデックスを使うため、標準の Bingbot もそこで効きます。
許可の仕方（robots.txt）
読まれ・引用されたいなら、最も簡単なのは全員を許可すること（robots.txt が無ければ既定で許可）。明示するなら：
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /拒否の仕方
特定のクローラーに内容を使わせたくなければ、名前で拒否します：
User-agent: GPTBot
Disallow: /Google の生成AI利用だけを止めるには、トークンを加えます（通常の Google 検索には影響しません）：
User-agent: Google-Extended
Disallow: /学習用クローラーの拒否は正当な選択です——ただし、その会社のAIに読まれ・引用される頻度も下がり得ます。クローラーごとに判断しましょう。
注意：名前は変わる
AIクローラーは新しく、名前や挙動が移り変わります。これは出発点として扱い、現行のユーザーエージェントとルールは各社の公式ドキュメントで確認してください。robots.txt の打ち間違い（うっかり全員に / を拒否、など）で見えなくなるので、編集後は必ず確認を。
まとめ
クローラーを知り、意図的に選ぶ——出たいAIは許可し、不要なら拒否し、robots.txt を二重確認する。robots.txt の仕組み全体は AI向け robots.txt、大局は GEOの全体像 を。