Robots.txt et IA : comment laisser les robots d’IA lire (et citer) ton site

Pour espérer être cité par une IA, tu dois d’abord l’autoriser à lire ton site. Dans ton fichier robots.txt, laisse passer les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) : ce sont eux qui citent. Vérifie ensuite que ton HTML est propre, rapide et lisible sans dépendre entièrement du JavaScript.

C’est le point aveugle du GEO (Generative Engine Optimization), l’art de se faire citer dans les réponses des IA. Tu peux écrire le meilleur contenu du monde : si un robot d’IA se cogne contre une porte fermée ou une page illisible, tu n’existes pas pour lui. Cet article, c’est la partie « plomberie » : la moins glamour, mais celle qui peut annuler tout le reste si tu la négliges.

Le robots.txt, c’est quoi au juste ?

Le robots.txt est un simple fichier texte posé à la racine de ton site, accessible à l’adresse tonsite.fr/robots.txt. Il sert de panneau à l’entrée : il dit aux robots qui passent « toi, tu peux entrer », « toi, non », « cette pièce est interdite ». Historiquement, il parlait surtout à Googlebot, le robot du moteur de recherche.

Depuis 2023, une nouvelle vague de visiteurs frappe à la porte : les robots des IA. OpenAI, Anthropic, Google et Perplexity envoient chacun leurs propres agents parcourir le web. Et toute réponse d’IA commence par un robot qui a lu ton site.

Le point important à comprendre tout de suite : le robots.txt ne bloque rien techniquement. Il demande poliment. Les robots sérieux (ceux d’OpenAI, Google, Anthropic, Perplexity) respectent tes consignes. Mais c’est une convention, pas un mur. Pour vraiment interdire l’accès, il faut d’autres outils (authentification, blocage serveur). Le robots.txt, lui, gère la relation avec les robots qui jouent le jeu, et ce sont justement ceux qui t’intéressent.

Les robots à laisser entrer

Chaque éditeur fait circuler plusieurs robots, et ils ne font pas le même métier : les uns entraînent les modèles, les autres vont chercher tes pages en direct pour construire une réponse. Seuls les seconds affichent une source cliquable qui pointe vers toi. C’est la distinction la plus importante du GEO technique, et elle est traitée en détail (tableau complet des robots à l’appui) dans entraînement vs recherche.

Pour la plomberie, retiens la liste courte : ces trois-là ne se bloquent jamais. Le user-agent, en première colonne, c’est le nom sous lequel un robot se présente quand il visite ton site.

Ton robots.txt prêt à copier

Voici la configuration de départ d’un site qui veut être cité. Adapte-la, mais garde la logique.

# Autoriser tous les robots d'IA à lire le site
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://tonsite.fr/sitemap.xml

Si tu préfères refuser l’entraînement des modèles sans renoncer à tes citations, la variante est prête à coller dans entraînement vs recherche. Ce que tu ne dois jamais écrire, en revanche, c’est un Disallow: / global : il ferme la porte à tout le monde, y compris aux robots qui te citeraient. C’est une des fautes qu’on liste dans les mythes et erreurs du GEO.

Trois réflexes à ne pas oublier :

1. N’oublie pas ton sitemap. La ligne Sitemap: indique aux robots où trouver la liste de tes pages. C’est un raccourci précieux pour qu’ils découvrent tout ton contenu.
2. Ne bloque pas tes ressources. Interdire l’accès aux fichiers CSS ou JS peut empêcher un robot de comprendre ta page. Laisse-les accessibles.
3. Teste après chaque modif. Une erreur de syntaxe dans le robots.txt peut fermer tout le site sans que tu t’en rendes compte. Vérifie l’URL tonsite.fr/robots.txt dans ton navigateur après publication.

Le fichier llms.txt : l’idée séduisante qui ne prend pas (encore)

Tu vas forcément croiser le terme llms.txt (pour large language models, les grands modèles de langage qu’on abrège en LLM). L’idée est élégante : un fichier, posé lui aussi à la racine, qui présenterait ton site aux IA dans un format clair et hiérarchisé, une sorte de « plan du site rédigé pour les modèles de langage », avec tes pages clés et un résumé de chacune. Sur le papier, c’est le rêve du rédacteur GEO : tu mâches le travail au moteur.

Dans les faits, il faut être honnête : en novembre 2025, seuls 10,13 % des sites avaient mis en place un fichier llms.txt (SE Ranking, ~300 000 domaines), et la même étude ne trouve aucune corrélation entre sa présence et le fait d’être cité. Google, lui, est explicite dans sa documentation : Google Search ignore ces fichiers (Search Central, mise à jour du 10 juillet 2026). Aucun des grands moteurs n’en a fait un standard officiel. Miser ta stratégie dessus aujourd’hui serait une erreur de priorité.

Faut-il l’ignorer complètement ? Non. Le mettre en place coûte peu, ne casse rien, et si un moteur décide un jour de s’en servir, tu seras prêt. Mais range-le dans la case « bonus optionnel », pas dans la case « fondation ». Ta fondation, ce sont un robots.txt propre et des pages lisibles.

Et depuis, une seconde vie s’est dessinée, qui n’a rien à voir avec les citations. Anthropic recommande le fichier dans sa documentation destinée aux agents, OpenAI s’en sert pour son SDK Agents et son protocole de commerce agentique, Perplexity indique le récupérer pour prioriser des pages, et l’audit Lighthouse de Chrome vérifie sa présence depuis mai 2026. Ceux qui le lisent vraiment aujourd’hui, ce sont surtout les assistants de code. Autrement dit : il ne sert pas à se faire citer, il commence à servir à se faire utiliser par des agents. La conclusion pratique ne bouge pas, seule la raison de le poser change.

Un site lisible au crawl : HTML propre, vitesse, JavaScript

Le crawl, c’est le passage d’un robot sur ton site pour parcourir tes pages et en lire le contenu. Autoriser les robots ne suffit pas : encore faut-il qu’ils comprennent ce qu’ils lisent. Un robot de recherche a peu de temps et de patience. Trois facteurs font toute la différence.

Le HTML doit être propre et structuré. Tes titres dans des balises de titre (<h1>, <h2>), tes listes dans de vraies listes, tes tableaux dans de vrais tableaux. Ce n’est pas cosmétique : la structure aide le robot à repérer et isoler l’info citable. Ce qu’il en fait ensuite dépend de la façon dont tu rédiges le passage lui-même : c’est le sujet de la réponse directe.

La vitesse compte. Une page lente est une page qu’un robot risque d’abandonner ou de crawler moins souvent. Si ton site est lent à crawler, tes mises à jour mettent plus de temps à être vues, et tu perds le bénéfice de les avoir faites. On développe ce point dans la fraîcheur du contenu.

Évite le tout-JavaScript. C’est le piège technique n°1. Beaucoup de sites modernes affichent leur contenu uniquement après exécution de JavaScript dans le navigateur. Problème : de nombreux robots d’IA ne rendent pas (ou mal) le JavaScript. Si ton texte n’apparaît que « après le JS », le robot voit une page quasi vide. Règle de survie : ton contenu essentiel doit être présent dans le HTML brut, celui qui arrive avant toute exécution de script.

Comment vérifier ? Astuce simple : dans ton navigateur, fais un clic droit puis « Afficher le code source de la page » (pas l’inspecteur, le code source brut). Si tu retrouves ton texte dedans, les robots le verront aussi. S’il est absent, tu as un problème de rendu à régler en priorité, bien avant d’écrire un mot de plus.

Une fois cette plomberie en place, la question devient : comment savoir où les IA vont effectivement chercher ? C’est un tout autre chantier, qu’on explore dans où les IA vont chercher.

Garde en tête ce que la technique fait et ne fait pas : elle enlève les barrières, elle ne fabrique pas la confiance. Un robots.txt parfait ouvre la porte, il ne décide pas de la citation. Pour la vue d’ensemble de la démarche, reviens au Guide Ultime du GEO.

FAQ

Où se trouve mon robots.txt et comment le vérifier ? Il est à la racine de ton site, à l’adresse tonsite.fr/robots.txt. Tape cette URL dans ton navigateur pour voir son contenu actuel. Après chaque modification, revérifie l’URL : une erreur de syntaxe peut bloquer l’ensemble de ton site sans avertissement.

Mon site en JavaScript est-il un problème pour les IA ? Potentiellement, oui. Beaucoup de robots d’IA lisent mal le contenu généré uniquement par JavaScript côté navigateur. Si ton texte n’apparaît qu’après exécution du JS, le robot risque de voir une page vide. Vérifie via « Afficher le code source » que ton contenu essentiel est présent dans le HTML brut.

Autoriser les robots suffit-il pour être cité ? Non, c’est une condition nécessaire mais pas suffisante. L’accès ouvre la porte ; ensuite, c’est la qualité, la structure et la fraîcheur de ton contenu qui décident de la citation.

Sources

• SE Ranking : présence d’un fichier llms.txt sur ~300 000 domaines (novembre 2025), 10,13 % des sites, sans corrélation avec le fait d’être cité.
• Google Search Central : Google Search ignore les fichiers llms.txt (mise à jour du 10 juillet 2026).
• Documentation Anthropic (Writing for Agents), SDK Agents et protocole de commerce agentique d’OpenAI, déclarations de Perplexity, audit Agentic Browsing de Lighthouse 13.3 (mai 2026) : le fichier est utilisé côté agents, sans engagement d’aucun moteur pour le choix des citations. Relevé du 23/07/2026.
• Documentation des user-agents d’IA : GPTBot & ClaudeBot (entraînement) ; OAI-SearchBot & Claude-SearchBot (recherche).

🚀 Le Guide Ultime du GEO en PDF, pour le prix d’un café ☕

150 pages à lire d’une traite, hors ligne. Avec les checklists par partie et les modèles prêts à copier, qui ne sont pas sur le site.

Le télécharger →

Rédaction assistée par IA, sous contrôle éditorial humain.