Aller au contenu

ChatGPT et robots.txt : ce que 50 sites français révèlent (et la checklist pour être citable)

Votre prochaine création commence par une phrase. — crédits offerts à l’inscription Donner vie à mon idée

Depuis un an, la question la plus fréquente sur le référencement n'est plus « comment dépasser un concurrent sur Google », mais « comment faire pour que ChatGPT cite mon site ». La réponse commence rarement par le contenu : elle commence par un fichier texte que peu de gens lisent, le robots.txt. Un article invité publié sur Webmarketing & co'm rapporte une lecture de 50 robots.txt de sites français début novembre 2026, couvrant presse, médias tech, e-commerce, éditeurs de logiciels et voyage. Voici ce que ces observations suggèrent, et une checklist pour agir — sans garantie de citation.

Ce que mesure réellement un robots.txt

Un robots.txt ne « référence » pas un site : il autorise ou interdit à des robots de le parcourir. Or les robots d'IA ne remplissent pas tous la même fonction. Selon la documentation d'OpenAI citée dans l'article, GPTBot sert à l'entraînement des modèles, OAI-SearchBot à la recherche de ChatGPT et ChatGPT-User à récupérer une page pour répondre à une question. Ces réglages sont indépendants : on peut autoriser OAI-SearchBot et bloquer GPTBot, séparant ainsi citation et entraînement. Du côté de Perplexity, PerplexityBot sert à référencer et lier les sites, tandis que Perplexity-User ignore généralement le robots.txt car la demande vient d'un humain, toujours selon la documentation rapportée.

Conséquence pratique : « bloquer les IA » n'a pas de sens unique. La question utile est : quel robot, pour quel usage, et est-ce que je veux être cité ou seulement protégé ?

Les observations de l'échantillon

Sur les 50 sites, 43 fichiers étaient lisibles ; sept n'ont pas répondu, dont six par un refus 403. Sur ces 43 fichiers, l'auteur rapporte que 19 restreignent au moins un robot d'entraînement, mais seulement 10 restreignent un robot de citation — dont 9 titres de presse. Autrement dit, le blocage de l'entraînement est plus répandu que celui de la citation.

Un détail frappe : sept des dix sites restreignant un robot de citation rouvrent des rubriques commerciales ou d'affiliation via des règles Allow. Libération, France TV Info et Le Monde ferment sans exception, Le Monde uniquement sur le robot de recherche d'Anthropic. Hors presse, aucun site de l'échantillon ne restreint un robot de citation : zéro en e-commerce, logiciels et voyage. Vingt des 43 sites n'ont aucune règle nominative visant une IA, ce qui les laisse ouverts par défaut.

Autre constat : CCBot, robot de Common Crawl, est le plus bloqué (16 sites sur 43), une règle souvent héritée des débats de 2023. Et onze sites sur 50 publient un fichier llms.txt, surtout des éditeurs de logiciels et des acteurs du voyage.

Prudence : il s'agit d'un échantillon restreint, non représentatif de l'ensemble des sites français, et d'observations déclarées par l'auteur, pas de tests indépendants. L'auteur ne tranche pas non plus si les éditeurs maintenant leurs rubriques commerciales ouvertes le feront encore après signature de licences.

Pourquoi le robots.txt précède le contenu

On peut produire le meilleur article du monde : si le robot de citation est bloqué, il ne sera pas lu pour répondre. À l'inverse, un site ouvert par défaut n'est pas cité pour autant — l'ouverture est une condition, pas un résultat. C'est la nuance centrale : la checklist qui suit vise à ne pas se bloquer soi-même, pas à garantir une place dans les réponses.

Checklist concrète

1. Auditer les règles nominatives

Listez les User-agent présents dans votre robots.txt et associez chacun à un usage : entraînement (GPTBot, CCBot), citation (OAI-SearchBot, PerplexityBot), récupération à la demande (ChatGPT-User). Vérifiez les règles Allow et Disallow, y compris celles héritées d'anciens débats.

2. Décider par usage, pas par réflexe

Voulez-vous être cité ? Alors le robot de citation doit pouvoir parcourir les pages que vous souhaitez voir citées. Voulez-vous limiter l'entraînement ? C'est un choix distinct, techniquement séparable. Documentez la décision pour éviter qu'un futur changement ne la contredise.

3. Vérifier les balises qui bloquent l'affichage

Selon Google, les balises nosnippet, data-nosnippet, max-snippet et noindex peuvent empêcher l'affichage en lien d'appui dans les AI Overviews. Un contenu ouvert dans le robots.txt mais fermé par balise reste invisible.

4. Soigner la citabilité du contenu

L'étude GEO de Princeton (novembre 2023) rapporte que citer des sources, ajouter des experts et des chiffres améliore la visibilité de 30 à 40 % et de 15 à 30 % selon la métrique. Les auteurs précisent que l'efficacité varie fortement selon le domaine : à traiter comme une piste, pas comme une recette.

5. Ne pas compter sur la Search Console pour mesurer

La Search Console ne ventile pas le trafic issu des fonctionnalités IA : il est compté dans le trafic Web global. La mesure de la visibilité dans les réponses IA reste artisanale, sans outil de référence.

6. Se méfier des fichiers miracles

Google affirme qu'aucun fichier texte destiné aux IA ni balisage spécifique n'est nécessaire pour ses fonctionnalités d'IA. Le llms.txt est une convention émergente, pas un standard garanti.

Comparatif rapide des robots cités

  • GPTBot (OpenAI) : entraînement. Bloqué par de nombreux sites de l'échantillon.
  • OAI-SearchBot (OpenAI) : recherche ChatGPT. Rarement bloqué hors presse.
  • ChatGPT-User (OpenAI) : récupération d'une page pour une question.
  • PerplexityBot : référencement et liens. Perplexity-User : ignore généralement le robots.txt.
  • CCBot (Common Crawl) : le plus bloqué (16/43), souvent par héritage.

À retenir

La visibilité dans ChatGPT commence par une décision technique lisible : quels robots autorisez-vous, pour quel usage. Les observations de l'échantillon montrent que beaucoup de sites bloquent l'entraînement sans bloquer la citation, et que la presse est la plus restrictive. Mais l'ouverture ne garantit rien : la citation dépend aussi de la qualité et de la citabilité du contenu, et la mesure reste imparfaite. Traitez le robots.txt comme un préalable, pas comme une promesse.

Cet article est publié par Roboto, plateforme de génération de textes, images, vidéos et voix off par IA. Il ne s'appuie sur aucun test réalisé par Roboto : les observations rapportées proviennent de l'article source cité.

Source

Visibilité dans ChatGPT : j’ai lu le robots.txt de 50 sites français

À lire aussi