noindex と X-Robots-Tag：AI検索からあなたを静かに消すタグ
完璧な内容、きれいなHTML、AIクローラーも全部許可——それでも、まったく見つけてもらえないことがあります。noindex という小さな指示ひとつが、検索エンジンとAIのインデックスに「このページは載せないで」と伝えてしまうからです。ページを見ても“おかしい所”が何も無いため、最も見落とされるGEOの問題です。
この記事では、noindex が何をするのか、それが潜む2か所、そして自分が静かに消されていないかの確かめ方を解説します。
noindex は何をするのか
robots.txt は、クローラーがページを取得してよいかを決めます。noindex はそれとは別物です。クローラーはページを読み、そのうえで「これはインデックスに残すな」という指示を見ます。つまりページは取得され、理解され——そして捨てられます。Google の結果に出ず、検索インデックスを土台にするAIも同じ扱い＝表示も引用もされません。
だから noindex は robots.txt のブロックより危険です。ブロックは派手で分かりやすい。noindex は静かで、ページは人間には普通に表示され、検索からだけ消えます。
潜む2か所
noindex は2通りの方法で設定され、その両方を確認する必要があります。
1. HTML の <head> 内の meta タグ：
<meta name="robots" content="noindex">2. HTTP レスポンスヘッダ（X-Robots-Tag）：
X-Robots-Tag: noindex厄介なのはヘッダの方です。HTMLには一切現れず、サーバーの応答と一緒に届くため「ソースを表示」では見えません。サーバー設定やCDNのルール1行で、サイトのまるごと一区画に noindex がかかることがあります。
なぜ気づかず残りやすいのか
- 検証用サイトからの持ち越し。 公開前の検証サイトを非公開に保つため
noindexを付け、公開時に外し忘れる。これが定番です。 - CMS のチェックボックス。 多くのツールに「検索エンジンに表示しない」のような切替があり、これが全ページに静かに
noindexを付けます。 - テンプレートの既定値。 共通レイアウトに1つ
noindexがあると、それを使う全ページに静かに効きます。 - プラグインやルール。 SEOプラグインやCDNのルールが、マークアップには見えない
X-Robots-Tagヘッダを付けることがあります。
確かめ方
- meta タグ： ページで「ソースを表示」し
noindexを検索します。<meta name="robots" content="noindex">があれば、そのページは除外されています。 - ヘッダ： ヘッダはHTMLに出ません。ブラウザのネットワークタブでそのページの応答ヘッダを見るか、
curl -I https://yoursite.comを実行してX-Robots-Tagの行が無いか確認します。
ヘッダを手で確認するのが面倒に感じるなら、まさにそれは自動チェックが一度で拾ってくれる類のものです。
noindex が正しい時もある（むやみに外さない）
noindex はいつも間違いとは限りません。検索に出したくないページ——完了・サンクスページ、サイト内検索の結果、管理画面、印刷用の重複ページ——には、むしろ付けるべきです。目的は「noindex を一切使わない」ことではなく、本当に見つけてほしいページに付いていないかを確かめることです。
まとめ
高度な最適化を気にする前に、大事なページがそもそもインデックスに入れる状態かを確認しましょう。<meta name="robots"> タグと X-Robots-Tag ヘッダを確認し、見つけてほしいページから不要な noindex を外し、意図した所だけに残す。これはGEOの全体像の「AIを通す」工程の1つで、見つけさえすれば最も安く直せる“見えない”不具合です。