Robots d’IA : bloquer l’entraînement sans perdre tes citations

Non, tu ne perds pas tes citations en bloquant l’entraînement des IA. Deux familles de robots coexistent : ceux qui entraînent les modèles (GPTBot, ClaudeBot) et ceux qui vont chercher tes pages en direct pour te citer (OAI-SearchBot, Claude-SearchBot). Bloque les premiers, laisse passer les seconds : tu protèges ton contenu et tu gardes toute ta visibilité.

D’abord, c’est quoi un robot d’IA ?

Un robot (on dit aussi bot, crawler ou spider) est un petit programme automatique qui visite des pages web et lit leur contenu, exactement comme Googlebot le fait depuis vingt ans pour alimenter la recherche Google. Ce passage d’un robot sur tes pages porte un nom : le crawl. La nouveauté, c’est que les entreprises d’IA ont désormais leurs propres robots. Et voici ce que presque personne ne comprend : tous les robots d’IA ne font pas le même métier.

Il y en a deux, bien distincts :

• L’entraînement. Le robot aspire d’énormes quantités de texte pour « apprendre » à parler au modèle. C’est une opération massive, faite en amont, figée à une date donnée (le fameux cutoff). Ton contenu devient une goutte d’eau dans un océan de données, et le modèle n’en garde aucune trace attribuée.
• La recherche (ou récupération en direct). Quand un internaute pose une question, le robot part chercher des pages fraîches en temps réel pour construire la réponse, et il affiche les liens de ses sources.

Pour le GEO (Generative Engine Optimization), c’est-à-dire pour être cité dans les réponses des IA, seule la deuxième famille compte vraiment.

Les deux familles de robots (le tableau à garder sous le coude)

Le user-agent, en première colonne, c’est le nom sous lequel un robot se présente quand il visite ton site. Voici la carte d’identité des principaux robots que tu croises dans tes logs serveur en 2026 :

Ce qu’il faut retenir : GPTBot et ClaudeBot servent à entraîner les modèles d’OpenAI et d’Anthropic. OAI-SearchBot et Claude-SearchBot servent à la recherche : ce sont eux qui vont chercher tes pages quand quelqu’un pose une question, et ce sont eux qui te citent. Bloquer les premiers n’empêche jamais les seconds de faire leur travail.

Attention à un cas particulier : Google. Googlebot alimente à la fois la recherche Google classique et le grounding de Gemini (quand Gemini va vérifier une info sur le web en direct). Si tu bloques Googlebot, tu perds les deux d’un seul coup. Le bon réflexe : laisser Googlebot passer, et n’utiliser le jeton Google-Extended que si tu veux refuser que ton contenu serve à entraîner Gemini. Ça n’affecte ni ton classement ni tes citations.

Bloquer l’entraînement, ça coûte des citations ? Non.

C’est la peur numéro un, et elle est infondée. Les citations dans ChatGPT Search, Perplexity ou la recherche de Claude ne dépendent pas du fait que ton site ait servi à l’entraînement. Elles dépendent de deux choses seulement : que le robot de recherche puisse lire ta page, et que ton contenu réponde clairement à la question posée.

Autrement dit, tu peux fermer la porte à GPTBot et ClaudeBot tout en déroulant le tapis rouge à OAI-SearchBot et Claude-SearchBot. Tu protèges ton travail contre l’entraînement (un choix parfaitement légitime) sans sacrifier un gramme de visibilité. Ce sont deux robinets indépendants : l’un ne coupe jamais l’autre.

Les 3 erreurs de blocage qui te rendent invisible

La plupart des sites qui disparaissent des réponses IA ne se sont pas fait « déclasser » : ils se sont bloqués eux-mêmes. Les trois fautes classiques :

1. Tout bloquer d’un coup. Une règle User-agent: suivie de Disallow: / coupe tout*, y compris les robots de recherche. Tu deviens invisible partout, IA comprises.
2. Confondre les familles. Bloquer OAI-SearchBot ou Claude-SearchBot en croyant « arrêter l’entraînement » : tu supprimes précisément les robots qui te citent, et tu laisses parfois passer ceux que tu voulais bloquer.
3. Bloquer Googlebot. Tu crois te protéger de Gemini et tu sabordes aussi ta recherche Google, alors que le grounding de Gemini passe par le même robot.

Et même quand tes robots sont bien réglés, encore faut-il que ton contenu soit lisible et bien placé : laisser entrer le bon robot ne sert à rien si ta réponse est enterrée en bas de page. C’est ce que traite la réponse directe.

Les règles robots.txt prêtes à coller

Où poser le fichier et comment le vérifier, c’est le sujet de laisser les IA lire ton site. Ici, on ne regarde que les règles elles-mêmes. Chaque bloc dit à un robot précis ce qu’il a le droit de lire, et la syntaxe est minimale :

• User-agent: = le nom du robot concerné.
• Disallow: / = interdiction de tout le site.
• Allow: / = autorisation.

Par défaut, si aucune règle ne mentionne un robot, il est autorisé. Bloquer l’entraînement demande donc d’être explicite. Voici une recette qui bloque l’entraînement tout en gardant les citations :

# --- Bloquer l'entraînement ---
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# --- Autoriser la recherche / les citations ---
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# --- Ne jamais bloquer Googlebot (recherche + Gemini) ---
User-agent: Googlebot
Allow: /

Si au contraire tu veux un maximum de visibilité partout et que la question de l’entraînement t’est égale, ne mets aucune règle Disallow pour les robots d’IA : ils sont autorisés par défaut, tu n’as rien à faire.

Ta stratégie robots 2026 en 4 décisions

Voici comment trancher, dans l’ordre :

1. Laisse toujours passer les robots de recherche. OAI-SearchBot, Claude-SearchBot, PerplexityBot et Googlebot sont tes alliés. Les bloquer, c’est te rendre invisible dans les réponses IA : l’erreur la plus coûteuse de toutes.
2. Décide, à froid, pour l’entraînement. Bloquer GPTBot, ClaudeBot et CCBot est un choix stratégique légitime (protéger ton contenu) qui ne te coûte aucune citation. Ne pas les bloquer peut aider ta marque à être « connue » des modèles. Les deux options se défendent : l’essentiel est de choisir consciemment.
3. Ne touche jamais à Googlebot. Tu perdrais la recherche Google et le grounding de Gemini d’un seul geste.
4. Mets à jour et vérifie chaque trimestre. Ce rythme n’a rien d’arbitraire, il répond à une contrainte réelle : les noms de robots changent pour de bon, de nouveaux apparaissent, et un robots.txt qu’on ne relit jamais finit par bloquer un robot rebaptisé ou par en ignorer un nouveau.

Une fois la technique en place, c’est ton contenu qui fait le reste. Ouvrir la porte aux bons robots ne sert à rien s’ils tombent sur une page laissée en l’état depuis des années : voir la fraîcheur du contenu.

Pour aller plus loin sur le versant contenu, vois comment l’IA choisit ses sources et où les IA vont chercher. Et pour vérifier que ta stratégie porte ses fruits, apprends à savoir si tu es cité. L’ensemble s’inscrit dans le Guide Ultime du GEO.

FAQ

Bloquer GPTBot empêche-t-il ChatGPT de me citer ? Non. GPTBot sert à l’entraînement, pas aux citations. Les citations dans ChatGPT Search proviennent d’OAI-SearchBot, un robot différent. Tant que tu laisses passer OAI-SearchBot, tu restes parfaitement citable, même en bloquant GPTBot.

Faut-il bloquer l’entraînement des IA ? C’est un choix, pas une obligation. Le bloquer protège ton contenu sans te coûter de citations. Le laisser ouvert peut aider les modèles à « connaître » ta marque. Aucune des deux options ne te pénalise côté visibilité, tant que les robots de recherche restent autorisés.

Le robots.txt bloque-t-il vraiment les IA ? C’est une consigne respectée par les acteurs sérieux (OpenAI, Anthropic, Google), pas une barrière technique. Pour un blocage garanti, filtre les user-agents côté serveur ou via un pare-feu comme Cloudflare.

Et Gemini, comment le gérer ? Laisse passer Googlebot : il alimente à la fois la recherche Google et le grounding de Gemini. Si tu veux seulement refuser l’entraînement de Gemini, active le jeton Google-Extended. Ça n’affecte ni ton référencement ni tes citations.

Sources

• Documentation OpenAI (GPTBot, OAI-SearchBot) et Anthropic (ClaudeBot, Claude-SearchBot)
• Google Search Central : documentation Googlebot et Google-Extended
• Common Crawl : documentation du robot CCBot

🚀 Le Guide Ultime du GEO en PDF, pour le prix d’un café ☕

150 pages à lire d’une traite, hors ligne. Avec les checklists par partie et les modèles prêts à copier, qui ne sont pas sur le site.

Le télécharger →

Rédaction assistée par IA, sous contrôle éditorial humain.