noindex & X-Robots-Tag: Der Tag, der dich vor der KI-Suche verbirgt
Du kannst perfekten Inhalt, sauberes HTML und alle KI-Crawler erlaubt haben – und trotzdem völlig unsichtbar sein. Eine kleine Anweisung, noindex, sagt Suchmaschinen und KI-Indexern, eine Seite ganz wegzulassen. Es ist das am leichtesten übersehene GEO-Problem, weil auf der Seite nichts falsch aussieht.
Dieser Leitfaden erklärt, was noindex macht, die zwei Orte, an denen es sich versteckt, und wie du prüfst, ob eines dich still auslöscht.
Was noindex wirklich macht
robots.txt steuert, ob ein Crawler eine Seite abrufen darf. noindex ist anders: Der Crawler liest die Seite und sieht dann eine Anweisung, die sagt: „Behalte das nicht in deinem Index.” Die Seite wird also geladen und verstanden – und dann verworfen. Sie erscheint nicht in Googles Ergebnissen, und KI-Systeme, die auf einem Suchindex aufbauen, behandeln sie genauso: nicht berechtigt, gezeigt oder zitiert zu werden.
Deshalb ist noindex gefährlicher als eine Sperre in der robots.txt. Eine Sperre ist laut und offensichtlich. noindex ist still – die Seite lädt für Menschen einwandfrei und verschwindet einfach aus der Suche.
Die zwei Orte, an denen es sich versteckt
noindex lässt sich auf zwei Arten setzen, und du musst beide prüfen.
1. Ein Meta-Tag im HTML-<head>:
<meta name="robots" content="noindex">
2. Ein HTTP-Antwort-Header (X-Robots-Tag):
X-Robots-Tag: noindex
Der Header ist der heimtückische. Er steht gar nicht im HTML – er reist mit der Antwort des Servers, sodass „Quelltext anzeigen” ihn nicht enthüllt. Eine einzige Zeile in einer Serverkonfiguration oder einer CDN-Regel kann noindex auf einen ganzen Bereich der Seite anwenden.
Warum es so oft versehentlich aktiv bleibt
- Übernahme aus Staging. Teams setzen
noindexauf eine Staging- oder Vorab-Seite, um sie privat zu halten, und vergessen dann, es beim Livegang zu entfernen. Der Klassiker. - Ein CMS-Häkchen. Viele Plattformen haben einen Schalter „Suchmaschinen abhalten”, der still seitenweit
noindexhinzufügt. - Eine Vorlagen-Voreinstellung. Ein
noindexin einem gemeinsamen Layout gilt still für jede Seite, die es nutzt. - Ein Plugin oder eine Regel. SEO-Plugins und CDN-Regeln können einen
X-Robots-Tag-Header hinzufügen, den du im Markup nie siehst.
Wie du es prüfst
- Meta-Tag: Öffne „Quelltext anzeigen” auf der Seite und suche nach
noindex. Findest du<meta name="robots" content="noindex">, ist diese Seite ausgeschlossen. - Header: Der Header steht nicht im HTML. Prüfe den Netzwerk-Tab deines Browsers (die Antwort-Header der Seite), oder führe
curl -I https://deineseite.deaus und achte auf eineX-Robots-Tag-Zeile.
Wenn Header von Hand zu prüfen umständlich klingt, ist das genau die Art Sache, die eine automatische Prüfung in einem Durchgang erfasst.
Wann noindex richtig ist (nicht blind entfernen)
noindex ist nicht immer ein Fehler. Du willst es auf Seiten, die nicht in der Suche sein sollen: Danke- und Bestätigungsseiten, interne Suchergebnisse, Admin-Bereiche, doppelte Druckversionen. Das Ziel ist nicht „nie noindex verwenden” – sondern sicherzustellen, dass es nicht auf den Seiten sitzt, die du wirklich gefunden haben willst.
Fazit
Bevor du dich um fortgeschrittene Optimierung sorgst, bestätige, dass deine wichtigen Seiten überhaupt im Index erlaubt sind. Prüfe den <meta name="robots">-Tag und den X-Robots-Tag-Header, entferne jedes übersehene noindex von Seiten, die du zeigen willst, und behalte es nur dort, wo du es meinst. Es ist einer der „KI hereinlassen”-Schritte aus unserer GEO-Einführung – und der günstigste Unsichtbarkeits-Bug, sobald du ihn gefunden hast.