¿Qué son robots.txt y llms.txt?
robots.txt es un archivo de texto en la raíz de tu sitio (tusitio.com/robots.txt) que indica a los rastreadores qué partes pueden leer. Las empresas de IA tienen sus propios rastreadores —GPTBot para ChatGPT, ClaudeBot para Claude, Google-Extended para la IA de Google y otros— y obedecen el robots.txt.
llms.txt es un archivo más nuevo y complementario (tusitio.com/llms.txt) que da a la IA un mapa breve y curado de tu sitio: un título, una descripción de una línea y enlaces a tus páginas más importantes. No concede ni deniega acceso; ayuda a la IA a encontrar y entender rápido tu mejor contenido.
Por qué importa para la visibilidad ante la IA
Si tu robots.txt bloquea u olvida a los rastreadores de IA, tus páginas simplemente no aparecerán en las respuestas de IA, por buenas que sean. Muchos sitios bloquean estos bots sin querer, o una plantilla bloquea todo lo que no sea Google. Permitirlos es el interruptor más importante para la visibilidad ante la IA.
Nuestro analizador de visibilidad para IA comprueba ambos archivos: dar la bienvenida a los rastreadores de IA en robots.txt y publicar un llms.txt contribuyen a tu puntuación. Son rápidos, invisibles para las visitas y ayudan directamente a que la IA lea y cite tu sitio.
Rastreadores de IA que permite
El robots.txt generado permite explícitamente los principales rastreadores de IA y de búsqueda con IA:
- OpenAI GPTBot
GPTBot - OpenAI OAI-SearchBot
OAI-SearchBot - OpenAI ChatGPT-User
ChatGPT-User - Anthropic ClaudeBot
ClaudeBot - Anthropic Claude-Web
Claude-Web - Anthropic anthropic-ai
anthropic-ai - Perplexity PerplexityBot
PerplexityBot - Google Google-Extended
Google-Extended - Apple Applebot-Extended
Applebot-Extended - Common Crawl CCBot
CCBot - ByteDance Bytespider
Bytespider - Meta Meta-ExternalAgent
Meta-ExternalAgent
Cómo usar esta herramienta
- Introduce el nombre de tu sitio y, opcionalmente, tu URL, un resumen de una línea y tus páginas principales.
- Pulsa Generar para obtener un robots.txt y un llms.txt.
- Guarda el robots.txt como /robots.txt en la raíz de tu sitio.
- Guarda el llms.txt como /llms.txt en la raíz de tu sitio.
- Si tu sitio usa Cloudflare, revisa sus ajustes de bots para que el bloqueo de IA no anule tu robots.txt (ver el aviso anterior).
Preguntas frecuentes
- ¿Este generador es gratis?
- Sí. Genera robots.txt y llms.txt tantas veces como quieras, sin registro ni tarjeta de crédito.
- ¿Dónde van estos archivos?
- Ambos van en la raíz de tu sitio: tusitio.com/robots.txt y tusitio.com/llms.txt. Deben ser accesibles en esas rutas exactas.
- ¿Permitir rastreadores de IA perjudica mi SEO normal?
- No. Permitir rastreadores de IA como GPTBot o Google-Extended es independiente del rastreador de búsqueda normal de Google. Tu SEO estándar no se ve afectado.
- Permití los rastreadores pero la IA sigue sin ver mi sitio. ¿Por qué?
- Una causa común es una CDN o firewall que bloquea bots antes de leer robots.txt. En particular, el bloqueo de bots de IA de Cloudflare puede anular tu archivo en el borde; revisa esos ajustes.