GEO Checker

robots.txt- & llms.txt-Generator

Erstelle eine robots.txt, die KI-Assistenten deine Seite lesen lässt, plus eine llms.txt, die sie zu deinen besten Seiten führt. Kostenlos, fertig zum Ablegen im Stammverzeichnis.

Deine Dateien erzeugen

Fülle aus, was du hast. Nur deine echten Eingaben werden verwendet – leere optionale Felder werden weggelassen.

Eine pro Zeile, als: Titel | /pfad (oder vollständige URL)
Optional. Standard: Seiten-URL + /sitemap.xml

⚠ Achtung: Cloudflare kann deine robots.txt überschreiben

Wenn deine Seite hinter Cloudflare liegt, können dessen Einstellungen „AI Audit / Block AI bots / Content Signals“ KI-Crawler am Edge blockieren – bevor deine eigene robots.txt gelesen wird. Eine perfekte robots.txt nützt nichts, wenn Cloudflare GPTBot und ClaudeBot still ablehnt. Wenn die KI deine Seite nach dem Reparieren der robots.txt weiterhin nicht sieht, prüfe die Cloudflare-Bot-Einstellungen und schalte die KI-Blockierung aus (oder erlaube die gewünschten Crawler).

Eine Live-Seite prüfen

Gib eine URL ein, um zu sehen, ob ihre robots.txt KI-Crawler willkommen heißt und ob sie eine llms.txt hat – mit denselben Prüfungen wie unser KI-Sichtbarkeits-Scan.

Was sind robots.txt und llms.txt?

robots.txt ist eine Textdatei im Stammverzeichnis deiner Seite (deineseite.de/robots.txt), die Crawlern sagt, welche Teile sie lesen dürfen. KI-Unternehmen betreiben eigene Crawler – GPTBot für ChatGPT, ClaudeBot für Claude, Google-Extended für Googles KI und andere – und befolgen die robots.txt.

llms.txt ist eine neuere, ergänzende Datei (deineseite.de/llms.txt), die der KI eine kurze, kuratierte Karte deiner Seite gibt: einen Titel, eine einzeilige Beschreibung und Links zu deinen wichtigsten Seiten. Sie gewährt oder verweigert keinen Zugriff, sondern hilft der KI, deinen besten Inhalt schnell zu finden und zu verstehen.

Warum das für die KI-Sichtbarkeit zählt

Wenn deine robots.txt die KI-Crawler blockiert oder vergisst, erscheinen deine Seiten schlicht nicht in KI-Antworten – egal wie gut sie sind. Viele Seiten verbieten diese Bots versehentlich, oder eine Vorlage blockiert alles außer Google. Sie zu erlauben ist der wichtigste Schalter für KI-Sichtbarkeit.

Unser KI-Sichtbarkeits-Scanner prüft beide Dateien: KI-Crawler in der robots.txt willkommen zu heißen und eine llms.txt zu veröffentlichen tragen jeweils zu deiner Punktzahl bei. Sie sind schnell, für Besucher unsichtbar und helfen der KI direkt, deine Seite zu lesen und zu zitieren.

Erlaubte KI-Crawler

Die erzeugte robots.txt erlaubt ausdrücklich die wichtigsten KI- und KI-Such-Crawler:

  • OpenAI GPTBot GPTBot
  • OpenAI OAI-SearchBot OAI-SearchBot
  • OpenAI ChatGPT-User ChatGPT-User
  • Anthropic ClaudeBot ClaudeBot
  • Anthropic Claude-Web Claude-Web
  • Anthropic anthropic-ai anthropic-ai
  • Perplexity PerplexityBot PerplexityBot
  • Google Google-Extended Google-Extended
  • Apple Applebot-Extended Applebot-Extended
  • Common Crawl CCBot CCBot
  • ByteDance Bytespider Bytespider
  • Meta Meta-ExternalAgent Meta-ExternalAgent

So nutzt du dieses Tool

  1. Gib deinen Seitennamen ein und optional deine URL, eine einzeilige Zusammenfassung und deine Hauptseiten.
  2. Klicke auf Erzeugen, um eine robots.txt und eine llms.txt zu erhalten.
  3. Speichere die robots.txt als /robots.txt im Stammverzeichnis deiner Seite.
  4. Speichere die llms.txt als /llms.txt im Stammverzeichnis deiner Seite.
  5. Falls deine Seite Cloudflare nutzt, prüfe die Bot-Einstellungen, damit die KI-Blockierung deine robots.txt nicht überschreibt (siehe Warnung oben).

Häufig gestellte Fragen

Ist dieser Generator kostenlos?
Ja. Erzeuge robots.txt und llms.txt so oft du willst – ohne Anmeldung und ohne Kreditkarte.
Wohin gehören diese Dateien?
Beide liegen im Stammverzeichnis deiner Seite: deineseite.de/robots.txt und deineseite.de/llms.txt. Sie müssen unter genau diesen Pfaden erreichbar sein.
Schadet das Erlauben von KI-Crawlern meinem normalen SEO?
Nein. KI-Crawler wie GPTBot oder Google-Extended zu erlauben ist unabhängig von Googles normalem Such-Crawler. Dein Standard-SEO bleibt unberührt.
Ich habe die Crawler erlaubt, aber die KI sieht meine Seite trotzdem nicht. Warum?
Häufige Ursache ist ein CDN oder eine Firewall, die Bots blockiert, bevor robots.txt gelesen wird. Besonders Cloudflares KI-Bot-Blockierung kann deine Datei am Edge überschreiben – prüfe diese Einstellungen.