Generador de robots.txt y llms.txt

Crea un robots.txt que deje leer tu sitio a los asistentes de IA, más un llms.txt que los guíe a tus mejores páginas. Gratis, listo para guardar en la raíz de tu sitio.

Genera tus archivos

Rellena lo que tengas. Solo se usa tu entrada real; los campos opcionales vacíos se omiten.

Una por línea, como: Título | /ruta (o URL completa)
Opcional. Por defecto: URL del sitio + /sitemap.xml

⚠ Atención: Cloudflare puede anular tu robots.txt

Si tu sitio está detrás de Cloudflare, sus ajustes de “AI Audit / Block AI bots / Content Signals” pueden bloquear a los rastreadores de IA en el borde, antes de que se lea tu propio robots.txt. Un robots.txt perfecto no sirve de nada si Cloudflare rechaza en silencio a GPTBot y ClaudeBot. Si la IA sigue sin ver tu sitio tras arreglar robots.txt, revisa los ajustes de bots de Cloudflare y desactiva el bloqueo de IA (o permite los rastreadores que quieras).

Comprobar un sitio real

Introduce una URL para ver si su robots.txt da la bienvenida a los rastreadores de IA y si tiene un llms.txt, con las mismas comprobaciones de nuestro análisis de visibilidad para IA.

¿Qué son robots.txt y llms.txt?

robots.txt es un archivo de texto en la raíz de tu sitio (tusitio.com/robots.txt) que indica a los rastreadores qué partes pueden leer. Las empresas de IA tienen sus propios rastreadores —GPTBot para ChatGPT, ClaudeBot para Claude, Google-Extended para la IA de Google y otros— y obedecen el robots.txt.

llms.txt es un archivo más nuevo y complementario (tusitio.com/llms.txt) que da a la IA un mapa breve y curado de tu sitio: un título, una descripción de una línea y enlaces a tus páginas más importantes. No concede ni deniega acceso; ayuda a la IA a encontrar y entender rápido tu mejor contenido.

Por qué importa para la visibilidad ante la IA

Si tu robots.txt bloquea u olvida a los rastreadores de IA, tus páginas simplemente no aparecerán en las respuestas de IA, por buenas que sean. Muchos sitios bloquean estos bots sin querer, o una plantilla bloquea todo lo que no sea Google. Permitirlos es el interruptor más importante para la visibilidad ante la IA.

Nuestro analizador de visibilidad para IA comprueba ambos archivos: dar la bienvenida a los rastreadores de IA en robots.txt y publicar un llms.txt contribuyen a tu puntuación. Son rápidos, invisibles para las visitas y ayudan directamente a que la IA lea y cite tu sitio.

Rastreadores de IA que permite

El robots.txt generado permite explícitamente los principales rastreadores de IA y de búsqueda con IA:

  • OpenAI GPTBot GPTBot
  • OpenAI OAI-SearchBot OAI-SearchBot
  • OpenAI ChatGPT-User ChatGPT-User
  • Anthropic ClaudeBot ClaudeBot
  • Anthropic Claude-Web Claude-Web
  • Anthropic anthropic-ai anthropic-ai
  • Perplexity PerplexityBot PerplexityBot
  • Google Google-Extended Google-Extended
  • Apple Applebot-Extended Applebot-Extended
  • Common Crawl CCBot CCBot
  • ByteDance Bytespider Bytespider
  • Meta Meta-ExternalAgent Meta-ExternalAgent

Cómo usar esta herramienta

  1. Introduce el nombre de tu sitio y, opcionalmente, tu URL, un resumen de una línea y tus páginas principales.
  2. Pulsa Generar para obtener un robots.txt y un llms.txt.
  3. Guarda el robots.txt como /robots.txt en la raíz de tu sitio.
  4. Guarda el llms.txt como /llms.txt en la raíz de tu sitio.
  5. Si tu sitio usa Cloudflare, revisa sus ajustes de bots para que el bloqueo de IA no anule tu robots.txt (ver el aviso anterior).

Preguntas frecuentes

¿Este generador es gratis?
Sí. Genera robots.txt y llms.txt tantas veces como quieras, sin registro ni tarjeta de crédito.
¿Dónde van estos archivos?
Ambos van en la raíz de tu sitio: tusitio.com/robots.txt y tusitio.com/llms.txt. Deben ser accesibles en esas rutas exactas.
¿Permitir rastreadores de IA perjudica mi SEO normal?
No. Permitir rastreadores de IA como GPTBot o Google-Extended es independiente del rastreador de búsqueda normal de Google. Tu SEO estándar no se ve afectado.
Permití los rastreadores pero la IA sigue sin ver mi sitio. ¿Por qué?
Una causa común es una CDN o firewall que bloquea bots antes de leer robots.txt. En particular, el bloqueo de bots de IA de Cloudflare puede anular tu archivo en el borde; revisa esos ajustes.