Depuis fin 2025, on peut enfin bloquer les crawlers IA d'entraînement sans sortir de Google ni des réponses des assistants. Cloudflare a formalisé la méthode avec sa Content Signals Policy, puis un réglage en un clic dans son tableau de bord. La vraie difficulté n'est pas technique : c'est de trier trois familles de robots que presque tout le monde confond. Je vous explique concrètement quoi refuser, quoi garder ouvert, et comment poser une configuration qui tient.
Indexation, entraînement, réponses IA : trois robots à ne pas confondre
La confusion que je vois le plus souvent en audit : croire qu'il n'y a qu'un seul type de robot IA à bloquer. En réalité, contrôler les robots IA suppose de séparer trois usages qui n'ont rien à voir.
Le premier, c'est le crawler d'indexation : Googlebot, Bingbot. Il alimente l'index de recherche classique et vos positions. On ne le touche jamais, sous peine de disparaître du SERP. Le deuxième, c'est le crawler d'entraînement IA : GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended côté Google. Il aspire votre contenu pour entraîner des modèles, sans jamais vous envoyer de trafic ni de citation. C'est celui que la plupart des éditeurs veulent refuser.
Le troisième est le plus subtil et le plus récent : le crawler qui alimente les réponses IA en temps réel. OAI-SearchBot pour la recherche ChatGPT, Claude-SearchBot côté Anthropic, PerplexityBot pour Perplexity. Lui va chercher votre page au moment où un utilisateur pose une question, et peut vous citer avec un lien. Le bloquer par réflexe anti-IA, c'est se rayer soi-même des réponses génératives. C'est exactement le sujet de fond quand on veut être cité par ChatGPT, Perplexity et Gemini.
Ce que Cloudflare a vraiment changé (et ce que ça ne fait pas)
Le déclencheur de ce guide, c'est Cloudflare. Le 24 septembre 2025, ils ont lancé la Content Signals Policy : une extension du robots.txt qui exprime, de façon lisible par les machines, ce que vous autorisez après l'accès au contenu. Trois signaux existent : search (construire un index et renvoyer des liens et extraits), ai-input (injecter le contenu dans un modèle en temps réel, type RAG pour une réponse générative) et ai-train (entraîner ou affiner un modèle).
Chaque signal prend une valeur simple, yes ou no. La configuration type que Cloudflare a poussée par défaut sur les sites gérés revient à dire : Content-Signal: search=yes, ai-train=no. Traduction : oui à l'indexation, non à l'entraînement. C'est précisément l'équilibre que cherchent la majorité de mes clients.
En septembre 2026, Cloudflare a ajouté un réglage en un clic dans son dashboard, avec trois catégories de bots (Search, Training, Agent) et plusieurs niveaux d'action (autoriser, refuser l'entraînement, bloquer sur les pages avec publicité, bloquer). Pratique, mais attention au point clef : un signal reste une préférence déclarative. Il dit ce que vous voulez, il ne l'impose pas. Un opérateur respectueux le suivra ; un bot qui décide de l'ignorer passera quand même. Le vrai blocage se joue au niveau du réseau.
Le piège : refuser l'entraînement sans se couper des citations
Voici la faute que je répare le plus souvent. Un éditeur, effrayé par l'IA, colle dans son robots.txt un Disallow global pour tout ce qui ressemble à un robot IA. Résultat : il bloque aussi OAI-SearchBot et PerplexityBot, donc il se retire des réponses de ChatGPT et Perplexity, là où il aurait pu gagner de la visibilité et des citations.
La bonne logique est chirurgicale. Côté OpenAI, on refuse GPTBot (entraînement) mais on garde OAI-SearchBot (recherche ChatGPT). Côté Anthropic, on refuse ClaudeBot mais on peut garder Claude-SearchBot. On refuse CCBot (Common Crawl, source d'entraînement massive) et Google-Extended, et on laisse PerplexityBot venir chercher les pages en temps réel. C'est ce tri fin qui fait la différence entre protéger son contenu et se saborder.
- À garder ouverts : Googlebot, Bingbot (indexation), OAI-SearchBot, Claude-SearchBot, PerplexityBot (réponses IA temps réel).
- À refuser : GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Bytespider, Meta-ExternalAgent (entraînement).
- À trancher au cas par cas : les agents déclenchés par un utilisateur (ChatGPT-User, Claude-User), qui posent un problème à part.
Google-Extended : ce qu'il fait, ce qu'il ne fait pas
Google-Extended cristallise beaucoup de malentendus, alors soyons précis. Ce n'est pas un crawler qui parcourt vos pages : c'est un jeton de permission. Il contrôle si le contenu déjà collecté par Googlebot peut servir à entraîner et à nourrir les modèles génératifs de Google, comme Gemini et Vertex AI.
Le point rassurant, confirmé par la documentation Google : bloquer Google-Extended n'affecte ni votre classement, ni votre indexation dans la recherche. Vous refusez l'usage IA sans payer un centime de SEO. En revanche, ne comptez pas dessus pour sortir des AI Overviews : ces résumés génératifs s'appuient sur Googlebot et l'index de recherche, pas sur Google-Extended. Pour agir sur les AI Overviews, on est sur des contrôles de snippet (nosnippet, max-snippet, data-nosnippet), avec l'effet de bord de perdre aussi les extraits enrichis. Deux systèmes indépendants qu'il ne faut surtout pas mélanger.
L'angle mort des agents : ce que l'affaire OpenAI a révélé
Le point le plus dérangeant de 2026 concerne les agents. Le rapport State of the Bots de TollBit, sur le premier semestre 2026, a montré que ChatGPT-User, le robot de récupération déclenché quand un utilisateur pose une question, a accédé à des pages pourtant marquées en Disallow, sur plus de sites que tout autre bot IA suivi. Environ 15 % des fetchers IA identifiés ont touché des URL interdites sur des sites européens.
La position d'OpenAI est assumée : selon eux, le robots.txt peut ne pas s'appliquer aux requêtes de ChatGPT-User, parce qu'elles sont initiées par une action humaine et non par un crawler autonome. On peut ne pas être d'accord, mais la leçon opérationnelle est claire : pour tout ce qui compte vraiment, un fichier texte poli ne suffit pas. Si vous voulez réellement empêcher un accès, il faut un blocage au bord du réseau, WAF ou Bot Management, qui répond par un refus, pas par une simple préférence. La souveraineté sur son contenu rejoint ici un sujet plus large que j'ai déjà abordé, celui de la souveraineté numérique et des alternatives européennes.
Ma configuration recommandée (SEO technique + GEO)
Voici la trame que je déploie, en combinant robots.txt (la déclaration) et réglage Cloudflare ou équivalent (l'application). L'ordre compte : on autorise explicitement l'utile avant de refuser le reste.
Dans le robots.txt
On laisse Googlebot et Bingbot totalement libres. On ajoute la ligne de signaux Content-Signal: search=yes, ai-train=no pour poser l'intention. Puis on cible nommément les crawlers d'entraînement avec un Disallow: / dédié à GPTBot, ClaudeBot, CCBot, Google-Extended, Bytespider et Meta-ExternalAgent. On laisse au contraire OAI-SearchBot, Claude-SearchBot et PerplexityBot passer, pour rester citable.
Au niveau du réseau
C'est la couche qui transforme la préférence en règle. Via Cloudflare, on active le blocage des bots d'entraînement et on autorise les bots de recherche et de réponse. C'est ce qui protège réellement contre un agent qui ignore le robots.txt. Pensez aussi à garder ou créer un fichier de guidage éditorial pour les IA : j'ai détaillé son intérêt réel dans mon analyse du fichier llms.txt.
Ce qu'un réglage seul ne réglera jamais
Cocher une case dans Cloudflare prend trente secondes. Construire une stratégie qui protège votre contenu tout en maximisant vos citations IA, c'est un autre métier. Un réglage par défaut ne sait pas quelles pages vous voulez laisser aspirer pour la notoriété et lesquelles verrouiller, ni comment articuler cela avec votre maillage, vos données structurées et votre positionnement dans les réponses génératives.
C'est tout le sens de mon travail chez Treelink : croiser le SEO technique et le GEO pour que vous restiez indexé, cité et protégé, sans sacrifier l'un pour l'autre. On audite qui crawle vraiment votre site, on décide bot par bot, on mesure l'effet sur les positions comme sur les citations, et on ajuste. Un tableau de bord ne fait pas ces arbitrages à votre place.
Envie d'un avis concret sur votre situation ?
On regarde ensemble vos données et vos priorités, sans jargon.
Réserver 30 min avec Charles-Henry
Bloquer les crawlers IA fait-il perdre des positions sur Google ?
Bloquer Google-Extended me sort-il des AI Overviews ?
Un robots.txt suffit-il pour bloquer l'entraînement IA ?
Quelle est la différence entre GPTBot et OAI-SearchBot ?
Comment savoir quels robots IA visitent mon site ?
- Cloudflare - Content Signals Policy (blog officiel)
- Cloudflare - Nouveau contrôle sur l'usage du contenu (communiqué)
- Blog du Modérateur - Cloudflare permet de refuser l'entraînement IA sans disparaître de Google
- Search Engine Journal - OpenAI dit que le robots.txt peut ne pas s'appliquer à son fetch bot
- Search Engine Journal - Liste des user-agents des crawlers IA
- 🔗 Accompagnement SEO technique
- 🔗 Accompagnement GEO
- 🔗 Le fichier llms.txt : faut-il vraiment ce fichier pour être cité par les IA
- 🔗 Comment être cité par ChatGPT, Perplexity et Gemini
- 🔗 Souveraineté numérique et alternatives européennes
- 🌐 Cloudflare - Content Signals Policy (documentation officielle)
- 🌐 Google Search Central - Présentation des crawlers Google (dont Google-Extended)
.jpg)
