O que são robots.txt e llms.txt?
robots.txt é um arquivo de texto na raiz do seu site (seusite.com/robots.txt) que diz aos rastreadores quais partes podem ler. As empresas de IA operam seus próprios rastreadores — GPTBot para o ChatGPT, ClaudeBot para o Claude, Google-Extended para a IA do Google e outros — e obedecem ao robots.txt.
llms.txt é um arquivo mais novo e complementar (seusite.com/llms.txt) que dá à IA um mapa curto e curado do seu site: um título, uma descrição de uma linha e links para as suas páginas mais importantes. Ele não concede nem nega acesso; ajuda a IA a encontrar e entender rápido o seu melhor conteúdo.
Por que isso importa para a visibilidade na IA
Se o seu robots.txt bloqueia ou esquece os rastreadores de IA, suas páginas simplesmente não aparecerão nas respostas de IA, por melhores que sejam. Muitos sites proíbem esses bots sem querer, ou um modelo bloqueia tudo que não seja o Google. Permiti-los é o interruptor mais importante para a visibilidade na IA.
Nosso analisador de visibilidade para IA verifica os dois arquivos: dar as boas-vindas aos rastreadores de IA no robots.txt e publicar um llms.txt contribuem para a sua pontuação. São rápidos, invisíveis para visitantes e ajudam diretamente a IA a ler e citar o seu site.
Rastreadores de IA permitidos
O robots.txt gerado permite explicitamente os principais rastreadores de IA e de busca com IA:
- OpenAI GPTBot
GPTBot - OpenAI OAI-SearchBot
OAI-SearchBot - OpenAI ChatGPT-User
ChatGPT-User - Anthropic ClaudeBot
ClaudeBot - Anthropic Claude-Web
Claude-Web - Anthropic anthropic-ai
anthropic-ai - Perplexity PerplexityBot
PerplexityBot - Google Google-Extended
Google-Extended - Apple Applebot-Extended
Applebot-Extended - Common Crawl CCBot
CCBot - ByteDance Bytespider
Bytespider - Meta Meta-ExternalAgent
Meta-ExternalAgent
Como usar esta ferramenta
- Informe o nome do seu site e, opcionalmente, a URL, um resumo de uma linha e as páginas principais.
- Clique em Gerar para obter um robots.txt e um llms.txt.
- Salve o robots.txt como /robots.txt na raiz do seu site.
- Salve o llms.txt como /llms.txt na raiz do seu site.
- Se o seu site usa Cloudflare, verifique as configurações de bots para que o bloqueio de IA não sobreponha o seu robots.txt (veja o aviso acima).
Perguntas frequentes
- Este gerador é grátis?
- Sim. Gere robots.txt e llms.txt quantas vezes quiser, sem cadastro e sem cartão de crédito.
- Onde ficam esses arquivos?
- Ambos ficam na raiz do seu site: seusite.com/robots.txt e seusite.com/llms.txt. Precisam estar acessíveis nesses caminhos exatos.
- Permitir rastreadores de IA prejudica meu SEO normal?
- Não. Permitir rastreadores de IA como GPTBot ou Google-Extended é independente do rastreador de busca normal do Google. Seu SEO padrão não é afetado.
- Permiti os rastreadores mas a IA ainda não vê meu site. Por quê?
- Uma causa comum é uma CDN ou firewall bloqueando bots antes de o robots.txt ser lido. Em especial, o bloqueio de bots de IA do Cloudflare pode sobrepor o seu arquivo na borda; verifique essas configurações.