robots.txt para rastreadores de IA: você deve permitir GPTBot e ClaudeBot?
robots.txt é um pequeno arquivo de texto que diz aos rastreadores quais partes do seu site eles podem ler. Os rastreadores de IA o respeitam — então este único arquivo pode decidir se ChatGPT, Claude e Perplexity têm permissão para usar o seu conteúdo.
O que o robots.txt faz
Ele fica na raiz do seu site (seusite.com.br/robots.txt) e lista regras para cada rastreador. Cada rastreador se identifica com um nome de «user-agent», e você pode permitir ou bloquear caminhos para cada um.
Os principais rastreadores de IA
- GPTBot — o rastreador da OpenAI.
- OAI-SearchBot — o rastreador da OpenAI para os resultados de busca do ChatGPT.
- ChatGPT-User — busca uma página quando um usuário pede ao ChatGPT para abrir um link.
- ClaudeBot — o rastreador da Anthropic (Claude).
- PerplexityBot — o rastreador do Perplexity.
- Google-Extended — controla se o Google pode usar o seu conteúdo para os produtos de IA dele, separado da busca normal do Google.
Permitir ou bloquear?
- Se você quer ser citado nas respostas de IA, permita-os. Ser lido é como você aparece como fonte.
- Bloquear também é uma escolha válida. Alguns publishers bloqueiam rastreadores de IA para proteger o conteúdo. Tudo bem — desde que seja deliberado. O problema de verdade é bloqueá-los por acidente, como um
Disallow: /amplo que sobrou de um site de testes.
Um exemplo para copiar (dar as boas-vindas à IA)
User-agent: *
Allow: /
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://seusite.com.br/sitemap.xml
Para bloquear um rastreador específico, dê a ele o próprio bloco:
User-agent: GPTBot
Disallow: /
Erros comuns
- Um
Disallow: /esquecido que bloqueia todo mundo sem barulho. - Bloquear uma pasta da qual o seu conteúdo de fato depende.
- Esquecer a linha
Sitemap:— é assim que os rastreadores descobrem todas as suas páginas.
Em resumo
robots.txt é o portão de entrada e uma das quatro camadas da nossa introdução ao GEO. Abra seusite.com.br/robots.txt, garanta que os rastreadores de IA não estejam bloqueados por acidente e adicione uma linha Sitemap:. Leva dois minutos e decide se a IA pode ler você.
Experimente nossa ferramenta gratuita: Gerador de robots.txt e llms.txt →