robots.txt pour les robots d'IA : faut-il autoriser GPTBot et ClaudeBot ?
robots.txt est un petit fichier texte qui indique aux robots quelles parties de votre site ils peuvent lire. Les robots d’IA le respectent — ce seul fichier peut donc décider si ChatGPT, Claude et Perplexity ont le droit d’utiliser votre contenu.
Ce que fait robots.txt
Il se trouve à la racine de votre site (votresite.fr/robots.txt) et liste des règles pour chaque robot. Chaque robot s’identifie par un nom de « user-agent », et vous pouvez autoriser ou interdire des chemins pour chacun.
Les principaux robots d’IA
- GPTBot — le robot d’OpenAI.
- OAI-SearchBot — le robot d’OpenAI pour les résultats de recherche de ChatGPT.
- ChatGPT-User — récupère une page quand un utilisateur demande à ChatGPT d’ouvrir un lien.
- ClaudeBot — le robot d’Anthropic (Claude).
- PerplexityBot — le robot de Perplexity.
- Google-Extended — contrôle si Google peut utiliser votre contenu pour ses produits d’IA, indépendamment de la recherche Google classique.
Autoriser ou bloquer ?
- Si vous voulez être cité dans les réponses d’IA, autorisez-les. Être lu, c’est ainsi que vous apparaissez comme source.
- Bloquer est aussi un choix valable. Certains éditeurs bloquent les robots d’IA pour protéger leur contenu. C’est très bien — du moment que c’est délibéré. Le vrai problème est de les bloquer par accident, comme un
Disallow: /trop large laissé par un site de préproduction.
Un exemple à copier (accueillir l’IA)
User-agent: *
Allow: /
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://votresite.fr/sitemap.xml
Pour bloquer plutôt un robot précis, donnez-lui son propre bloc :
User-agent: GPTBot
Disallow: /
Erreurs fréquentes
- Un
Disallow: /oublié qui bloque tout le monde sans bruit. - Bloquer un dossier dont votre contenu dépend en réalité.
- Oublier la ligne
Sitemap:— c’est ainsi que les robots découvrent toutes vos pages.
En résumé
robots.txt est le portail d’entrée, et l’une des quatre couches de notre introduction au GEO. Ouvrez votresite.fr/robots.txt, assurez-vous que les robots d’IA ne sont pas bloqués par accident, et ajoutez une ligne Sitemap:. Cela prend deux minutes et décide si l’IA peut vous lire tout court.
Essayez notre outil gratuit : Générateur de robots.txt et llms.txt →