robots.txt para rastreadores de IA: você deve permitir GPTBot e ClaudeBot?

robots.txt é um pequeno arquivo de texto que diz aos rastreadores quais partes do seu site eles podem ler. Os rastreadores de IA o respeitam — então este único arquivo pode decidir se ChatGPT, Claude e Perplexity têm permissão para usar o seu conteúdo.

O que o robots.txt faz

Ele fica na raiz do seu site (seusite.com.br/robots.txt) e lista regras para cada rastreador. Cada rastreador se identifica com um nome de «user-agent», e você pode permitir ou bloquear caminhos para cada um.

Os principais rastreadores de IA

Permitir ou bloquear?

Um exemplo para copiar (dar as boas-vindas à IA)

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://seusite.com.br/sitemap.xml

Para bloquear um rastreador específico, dê a ele o próprio bloco:

User-agent: GPTBot
Disallow: /

Erros comuns

Em resumo

robots.txt é o portão de entrada e uma das quatro camadas da nossa introdução ao GEO. Abra seusite.com.br/robots.txt, garanta que os rastreadores de IA não estejam bloqueados por acidente e adicione uma linha Sitemap:. Leva dois minutos e decide se a IA pode ler você.

← Todos os guias