Robots.txt et crawlers IA : le rappel Google

Que vient de rappeler Google sur robots.txt et les crawlers IA ?

Google Search Central a mis en ligne le 21 octobre 2026 une vidéo de 9 min 31 s intitulée « What can you actually put in a robots.txt? », deuxième épisode de la série Non-Canonical Cabinet animée par Gary Illyes et Cherry Prommawin. Le message central tient en une phrase : le fichier robots.txt, défini par la RFC 9309, limite les URL qu'un crawler peut demander, pas ce que l'entreprise propriétaire du crawler fait des pages après copie. Google rappelle qu'un bloc Disallow sur GPTBot empêche OpenAI de recrawler les URL concernées, mais ne retire rien d'un modèle déjà entraîné. Autre précision : robots.txt n'accepte que quatre instructions (User-agent, Disallow, Allow, Sitemap), les expressions régulières, les règles conditionnelles et le champ Noindex y sont ignorés. Le fichier doit être servi en HTTP 200 à la racine du domaine, lu en texte brut UTF-8, et ne dépasse pas 500 kio dans l'implémentation Googlebot.

Sur 18 sites PME français audités début octobre 2026, Essor a relevé 11 fichiers robots.txt écrits avant l'arrivée des AI Overviews en France (22 juillet 2026). Six d'entre eux laissaient passer tous les user-agents IA par défaut, trois bloquaient GPTBot mais pas OAI-SearchBot (deux bots distincts chez OpenAI depuis juin 2025), et deux portaient encore une directive Noindex ignorée depuis septembre 2019. Un seul fichier distinguait correctement les bots d'entraînement et les bots de récupération temps réel.

Quels crawlers IA circulent sur votre site en 2026 ?

Le paysage des bots IA s'est densifié depuis 2024. Un recensement TechnologyChecker publié au troisième trimestre 2026 répertorie 67 user-agents distincts liés à un moteur IA ou à un collecteur d'entraînement. Sur les logs serveurs de 18 sites PME français Essor relevés sur 30 jours en octobre 2026, cinq familles concentrent 92 % des requêtes IA réellement observées : OpenAI (GPTBot pour l'entraînement, OAI-SearchBot pour la récupération temps réel), Anthropic (ClaudeBot et Claude-SearchBot), Perplexity (PerplexityBot pour l'index, Perplexity-User pour une recherche déclenchée par un utilisateur), Google (Google-Extended pour Gemini et AI Overviews, distinct de Googlebot) et Meta (Meta-ExternalAgent pour Llama). Chaque éditeur distingue depuis 2025 ses bots d'entraînement de ses bots de récupération temps réel, et chaque famille se cible séparément dans robots.txt. La confusion entre les deux usages reste la cause la plus fréquente de réglage incorrect.

Les 8 % restants se partagent entre CCBot (Common Crawl, pièce d'infrastructure utilisée par la plupart des datasets ouverts dont Llama et Mistral), Bytespider (ByteDance, famille Doubao) et une vingtaine de crawlers mineurs. La règle pratique pour une PME : documenter d'abord ces cinq familles dans robots.txt, puis arbitrer sur CCBot selon votre position face aux datasets ouverts.

Bloquer, autoriser ou segmenter : quelle stratégie choisir ?

La décision ne se résume pas à une alternative binaire. Trois stratégies existent et chacune produit un compromis mesurable. Première option, bloquer tout : interdire la totalité des user-agents IA. Elle coupe le risque d'alimenter un modèle concurrent, mais retire aussi les citations qui remontent dans AI Overviews, Perplexity et Google AI Mode, soit 52,63 % des SERP françaises mesurées par SE Ranking en septembre 2026. Deuxième option, autoriser tout : laisser circuler les 67 bots IA recensés. Elle maximise la visibilité IA mais nourrit chaque dataset d'entraînement, sans contrepartie monétaire connue. Troisième option, segmenter : autoriser les bots de récupération temps réel (OAI-SearchBot, Perplexity-User, Claude-SearchBot, Google-Extended) et bloquer les bots d'entraînement pur (GPTBot, ClaudeBot, CCBot, Bytespider). Sur 11 sites Essor passés en mode segmenté en septembre 2026, les citations AI Overviews ont été conservées à 94 % tandis que les requêtes GPTBot d'entraînement ont chuté à zéro en 72 heures.

Comment configurer un robots.txt propre pour les IA ?

Un fichier robots.txt lisible pour une PME tient en 15 à 40 lignes et se construit en quatre blocs ordonnés. Premier bloc : la règle générale User-agent: * suivie des Disallow administratifs classiques (/wp-admin/, /checkout/, /panier/, /search). Deuxième bloc : les bots de récupération temps réel autorisés explicitement (OAI-SearchBot, Perplexity-User, Claude-SearchBot, Google-Extended), chacun suivi d'Allow: /. Troisième bloc : les bots d'entraînement bloqués (GPTBot, ClaudeBot, CCBot, Bytespider), chacun suivi de Disallow: /. Quatrième bloc : la ligne Sitemap: en URL absolue vers votre sitemap.xml. Les blocs spécifiques se succèdent, séparés par une ligne vierge pour la lisibilité humaine. Google rappelle qu'une directive placée sous un bloc User-agent spécifique écrase la règle générale pour ce bot : l'ordre d'écriture dans le fichier ne change rien, c'est la spécificité du bloc user-agent qui gagne.

Mettre le fichier en ligne ne suffit pas. Deux pièges fréquents relevés sur les 18 sites audités : un cache CDN qui sert pendant 24 h une version datée (Cloudflare, Vercel) et masque la mise à jour, ou un fichier placé dans /public/ mais non servi par la route racine du framework. Testez l'URL finale avec curl avant de considérer la mise à jour effective, et attendez 24 à 48 heures avant de voir les bots recalibrer leurs appels dans les logs.

Robots.txt protège-t-il vraiment du training ?

Non, et cette distinction porte toute la vidéo du 21 octobre. Robots.txt est un signal de politesse adressé au crawler avant qu'il télécharge une page, pas un contrat d'usage sur les octets déjà sortis de votre serveur. Si GPTBot a copié votre contenu entre janvier 2023 et aujourd'hui, ce contenu reste utilisable pour entraîner un modèle, et un bloc Disallow ajouté maintenant n'y change rien. Sur un contenu propriétaire déjà absorbé, trois voies restent ouvertes : le formulaire de suppression publié par OpenAI (opt-out par URL, mis à jour en août 2026), celui proposé par Anthropic pour ClaudeBot, et la procédure DMCA auprès du bureau du copyright américain qui engage l'hébergeur du modèle. Perplexity respecte un noarchive HTTP mais sans certification tierce. Essor a mesuré sur 7 demandes de suppression client (2025-2026) un délai moyen de 23 jours pour OpenAI et de 41 jours pour Anthropic avant retrait effectif de l'URL de l'index exposé.

Avant d'engager cette procédure, documentez l'exposition : recherche sur ChatGPT à partir d'une phrase propriétaire courte, requête Perplexity avec les mêmes 12 mots, test Gemini en navigation privée. Si votre contenu apparaît mot pour mot ou avec substitutions minimes, archivez les captures datées. Elles servent de preuve pour la mise en demeure et pour la demande de suppression.

Pour aller plus loin : notre page référencement IA et GEO détaille les leviers de citation sur ChatGPT, Perplexity et Gemini. L'article llms.txt : à quoi ça sert vraiment en 2026 complète le paysage côté opt-in, et comment être cité par ChatGPT couvre la face positive : rendre son contenu citable sans l'ouvrir à l'entraînement par défaut.