À quoi sert le fichier robots.txt ?

C’est un fichier texte posé à la racine de ton site, à l’adresse tonsite.fr/robots.txt. Il liste les robots qui ont le droit d’entrer et ceux qui ne l’ont pas. Tous les robots sérieux le lisent avant de venir.

Deux instructions suffisent à tout comprendre. Allow: / autorise l’accès à tout le site. Disallow: / l’interdit entièrement. Chaque bloc commence par User-agent: suivi du nom du robot concerné.

Pourquoi ne pas tout bloquer, ni tout autoriser

C’est la question que la plupart des générateurs escamotent : ils affichent une liste plate de noms à cocher, sans dire ce que chacun fait. Or les robots d’IA ont trois rôles bien différents, et les confondre mène à des décisions qu’on regrette.

Rôle	Exemples	Le bloquer, ça veut dire quoi
Il cite	OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot	tu disparais des réponses
Il sert un humain	ChatGPT-User, Claude-User, Perplexity-User	tu perds de vrais visiteurs qui avaient déjà ton adresse
Il entraîne le modèle	GPTBot, ClaudeBot, Google-Extended	aucune citation perdue, mais ta marque ne fera pas partie de ce que le modèle sait sans chercher

D’où le réglage proposé par défaut : être cité, sans nourrir l’entraînement. Tu restes visible dans les réponses de ChatGPT, Claude, Perplexity et Google, et tes textes ne servent pas à entraîner les modèles. Ce n’est pas le meilleur réglage dans l’absolu, c’est le plus prudent : il ne fait perdre aucune citation. Si tu veux aussi que ton nom soit connu des modèles eux-mêmes, autorise tout.

L’erreur la plus fréquente, c’est de bloquer GPTBot en croyant se protéger, puis de bloquer aussi OAI-SearchBot parce que le nom commence pareil. Le premier ne fait qu’entraîner. Le second est celui qui te cite dans ChatGPT.

Comment poser le fichier

1. Ouvre tonsite.fr/robots.txt dans ton navigateur pour voir ce que tu as déjà.
2. Si un fichier existe, copie le bloc généré ci-dessus et ajoute-le à la fin, sans rien supprimer. Les règles déjà présentes ont souvent été posées par une extension : les effacer casse des choses.
3. Si tu n’as aucun fichier, déplie « donne-moi le fichier entier » et enregistre le tout dans un fichier nommé robots.txt, à la racine de ton site.
4. Vérifie que le fichier s’affiche bien en rechargeant tonsite.fr/robots.txt.

Sur WordPress, le fichier est souvent virtuel : il n’existe pas sur le disque, il est produit à la volée par une extension de référencement. Dans ce cas, l’endroit où coller le bloc se trouve dans les réglages de cette extension, pas par FTP.

Questions fréquentes

Est-ce que ça empêche vraiment un robot de venir ?

Le fichier robots.txt est une consigne, pas une barrière. Les robots des grands éditeurs la respectent, c’est leur intérêt. Un robot malveillant, lui, l’ignorera : pour l’arrêter, il faut un pare-feu, pas un fichier texte.

Un fichier autorisant tout garantit-il que les IA me lisent ?

Non, et c’est important. Le fichier dit ce que tu autorises. Il ne dit pas si la porte s’ouvre : un pare-feu ou une protection d’hébergeur peut couper la connexion sans que rien n’apparaisse dans le fichier. Et rien ne te le signale : pas d’erreur dans ton tableau de bord, pas de baisse de trafic, puisqu’un robot refusé n’a jamais été un visiteur. Le seul moyen de le savoir est de frapper à la porte au nom de chaque robot et de comparer.

Combien de temps avant que ça soit pris en compte ?

Les robots relisent le fichier régulièrement, en général sous quelques jours. Une autorisation nouvelle ne produit donc pas d’effet immédiat : il faut ensuite que le robot passe, lise tes pages, et qu’elles soient jugées dignes d’être citées.

Et le fichier llms.txt, faut-il en poser un aussi ?

Pas d’urgence, mais ce n’est pas inutile non plus. Aucun grand moteur ne s’engage à le lire pour décider quoi citer, et Google dit qu’il n’est pas nécessaire. En revanche Anthropic le recommande pour les agents, OpenAI s’en sert dans son SDK Agents, et Perplexity dit le récupérer. Cinq minutes de travail dont l’effet viendra peut-être. Un générateur est disponible ici.

Dois-je bloquer les robots d’entraînement ?

C’est un arbitrage, et il est défendable dans les deux sens. Les bloquer ne te coûte aucune citation en recherche : les robots qui citent sont des robots différents, et Google précise que Google-Extended n’affecte pas la Recherche. Mais ce n’est pas gratuit pour autant. Ta marque ne fera pas partie de ce que le modèle sait de lui-même, sans chercher, et c’est précisément ce qui joue quand quelqu’un demande « tu connais telle entreprise ? ». À toi de voir ce qui compte le plus.

Et ensuite ?

Une fois le fichier posé, vérifie le résultat avec le test de visibilité IA : il relit ton robots.txt moteur par moteur et contrôle une quarantaine d’autres points, du balisage aux dates.

Dans la foulée, le générateur de llms.txt présente tes pages importantes aux agents. C’est le geste suivant, et il prend cinq minutes.

Et pour comprendre ce qui se passe après l’autorisation, le Guide Ultime du GEO détaille en trente et un chapitres comment un contenu devient citable. Il existe aussi en PDF, 150 pages avec les checklists et les modèles, pour le prix d’un café.

Conception assistée par IA