robots.txt pour les robots d'IA : faut-il autoriser GPTBot et ClaudeBot ?

robots.txt est un petit fichier texte qui indique aux robots quelles parties de votre site ils peuvent lire. Les robots d’IA le respectent — ce seul fichier peut donc décider si ChatGPT, Claude et Perplexity ont le droit d’utiliser votre contenu.

Ce que fait robots.txt

Il se trouve à la racine de votre site (votresite.fr/robots.txt) et liste des règles pour chaque robot. Chaque robot s’identifie par un nom de « user-agent », et vous pouvez autoriser ou interdire des chemins pour chacun.

Les principaux robots d’IA

Autoriser ou bloquer ?

Un exemple à copier (accueillir l’IA)

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://votresite.fr/sitemap.xml

Pour bloquer plutôt un robot précis, donnez-lui son propre bloc :

User-agent: GPTBot
Disallow: /

Erreurs fréquentes

En résumé

robots.txt est le portail d’entrée, et l’une des quatre couches de notre introduction au GEO. Ouvrez votresite.fr/robots.txt, assurez-vous que les robots d’IA ne sont pas bloqués par accident, et ajoutez une ligne Sitemap:. Cela prend deux minutes et décide si l’IA peut vous lire tout court.

← Tous les guides