robots.txt と llms.txt とは？
robots.txt は、サイトのルート（yoursite.com/robots.txt）に置く、どの部分を読んでよいかをクローラーに伝えるテキストファイルです。AI各社は独自のクローラー（ChatGPT の GPTBot、Claude の ClaudeBot、Google の AI 向け Google-Extended など）を運用し、robots.txt に従います。
llms.txt は、より新しい補完ファイル（yoursite.com/llms.txt）で、AI にサイトの短い案内図（タイトル・1行説明・重要ページへのリンク）を渡します。アクセスの許可・拒否をするものではなく、AI が良いコンテンツを素早く見つけ理解する助けになります。
なぜ AI可視性に重要か
robots.txt が AIクローラーを拒否・見落としていると、どんなに良いページでも AI の回答に出てきません。多くのサイトが誤ってこれらを拒否したり、Google 以外を全部ブロックするテンプレを使っています。許可することが AI可視性の最重要スイッチです。
両ファイルは当社の AIフレンドリー度診断でチェックされます。robots.txt で AIクローラーを歓迎すること、llms.txt を公開することが、それぞれスコアに寄与します。手早く、訪問者には見えず、AI がサイトを読み引用する助けに直結します。
許可される AIクローラー
生成される robots.txt は、主要な AI／AI検索クローラーを明示的に許可します：
- OpenAI GPTBot
GPTBot - OpenAI OAI-SearchBot
OAI-SearchBot - OpenAI ChatGPT-User
ChatGPT-User - Anthropic ClaudeBot
ClaudeBot - Anthropic Claude-Web
Claude-Web - Anthropic anthropic-ai
anthropic-ai - Perplexity PerplexityBot
PerplexityBot - Google Google-Extended
Google-Extended - Apple Applebot-Extended
Applebot-Extended - Common Crawl CCBot
CCBot - ByteDance Bytespider
Bytespider - Meta Meta-ExternalAgent
Meta-ExternalAgent
このツールの使い方
- サイト名（任意でURL・1行説明・主要ページ）を入力します。
- 「生成」を押すと robots.txt と llms.txt が出ます。
- robots.txt をサイトのルートに /robots.txt として保存します。
- llms.txt をサイトのルートに /llms.txt として保存します。
- Cloudflare を使っている場合は、AI遮断が robots.txt を上書きしないようボット設定を確認します（上の注意参照）。
よくある質問
- このジェネレータは無料ですか？
- はい。登録もクレジットカードも不要で、何度でも robots.txt と llms.txt を生成できます。
- これらのファイルはどこに置きますか？
- どちらもサイトのルートに置きます：yoursite.com/robots.txt と yoursite.com/llms.txt。そのパスで到達できる必要があります。
- AIクローラーを許可すると通常のSEOに悪影響は？
- ありません。GPTBot や Google-Extended などの AIクローラー許可は、Google の通常検索クローラーとは別です。通常のSEOには影響しません。
- 許可したのに AI がサイトを見られません。なぜ？
- robots.txt が読まれる前に CDN やファイアウォールがボットを遮断しているのが定番の原因です。特に Cloudflare の AI遮断はエッジでファイルを上書きします。その設定を確認してください。