Google, Microsoft, OpenAI et Anthropic ont annoncé le 30 octobre 2026 qu’ils tiendraient compte d’un même signal, placé dans le fichier robots.txt, pour savoir si un site accepte que ses pages servent à entraîner leurs modèles d’IA générative. Au lieu d’écrire une règle par entreprise, un éditeur pourra déclarer sa préférence une seule fois, sous un nom commun : __usage_ai-training. Le mécanisme vient d’un brouillon (Internet-Draft) que Kevin Kelley, d’Anthropic, a publié le même jour à l’IETF, l’organisme qui normalise les protocoles d’Internet.
Les échéances diffèrent. Anthropic dit avoir commencé à le mettre en œuvre, OpenAI vise « les prochains mois », Microsoft le lira à partir du 1er février 2027 et Google annonce une prise en charge « début 2027 ». Microsoft en profite pour séparer, chez Bing, l’entraînement et l’usage des pages dans les réponses générées, avec un calendrier qui commence le 15 décembre 2026.
Un groupe de plus dans le fichier robots.txt
Le brouillon garde la grammaire de robots.txt et ses groupes habituels, sans nouvelle directive. Sur la ligne User-Agent d’un groupe, il prévoit un « policy token », un jeton qui désigne un usage des contenus. Le texte donne cet exemple :
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Ce groupe exprime une préférence contre l’entraînement sur tout le site, sauf dans le dossier /press-kit/, où la préférence devient favorable. Les règles de chemin et la priorité au chemin le plus long restent celles de la norme RFC 9309, qui encadre robots.txt depuis 2022.
Deux règles du texte concernent les fichiers existants. Un groupe User-Agent: * ne vaut jamais préférence : un site qui bloque tous les robots n’a, au sens du brouillon, rien dit de l’entraînement. Un fichier sans groupe __usage_ai-training n’exprime aucune préférence : c’était le cas, écrivait Kevin Kelley le 30 octobre, de tous les fichiers publiés jusqu’alors.
Le jeton ne règle pas l’accès des robots. Les règles écrites pour Googlebot ou Bingbot gardent leur sens et, selon Kevin Kelley, le brouillon invite seulement les robots à ne pas télécharger ce qu’ils ne pourront pas utiliser.
La définition de l’entraînement vient du vocabulaire du groupe de travail AIPREF de l’IETF : modifier les paramètres appris d’un modèle d’IA générative. L’entraînement de modèles qui servent seulement à classer, ordonner ou noter des contenus n’est pas concerné. Notre article du 10 octobre sur les robots IA et le fichier robots.txt recense les noms de robots que les principales entreprises d’IA documentent.
Google assimile le jeton à Google-Extended
Sur le blog Search Central, John Mueller, Search Advocate chez Google, décrit la lecture qu’en fera l’entreprise. Si un site refuse l’entraînement avec le jeton commun sans mentionner Google-Extended, Google compte l’interpréter comme un refus de Google-Extended, le contrôle qu’il propose depuis 2023. Les contrôles propres à chaque entreprise continuent de fonctionner à côté du signal commun. Le même jour, la page de Google consacrée à ses robots a reçu une note : prise en charge prévue « début 2027 ».
La portée de cette équivalence dépend de ce que couvre Google-Extended. D’après cette page, il permet de décider si les contenus explorés par Google servent à entraîner les futurs modèles Gemini, ainsi qu’à l’ancrage (« grounding ») des réponses dans les applications Gemini et dans le service Grounding with Google Search de Vertex AI. Il ne sert pas de signal de classement et n’a aucun effet sur la présence d’un site dans la recherche Google, y compris dans les Aperçus IA, où Google teste des descriptions de sites qu’il rédige lui-même. Le billet ajoute que les sites qui autorisent explicitement Google-Extended restent éligibles aux réponses de Gemini et aux clics qui en viennent.
Google présente la démarche comme conforme au code de bonnes pratiques de l’Union européenne pour les fournisseurs de modèles d’IA à usage général, pris dans le cadre de l’AI Act. Selon Google, ce code reconnaît robots.txt comme l’un des principaux moyens, pour un éditeur, d’exprimer une préférence lisible par une machine.
Bing sépare l’entraînement et les réponses générées
Chez Microsoft, l’annonce vient d’un billet de Krishna Madhavan, Principal Product Manager de Bing. La préférence d’entraînement s’exprime dans robots.txt avec le jeton commun, et Microsoft permet aussi de la poser sur chaque page, par une balise meta ou un en-tête HTTP du type X-Robots-Tag: Bingbot: ai-training:disallow. Une préférence posée sur une page l’emporte sur robots.txt.
Une seconde préférence, propre à Microsoft, porte sur l’ancrage, c’est-à-dire l’usage d’une page pour nourrir une réponse générée. Elle se règle page par page, avec trois valeurs : Allow (par défaut), Disallow ou DisallowExtended. Cette dernière limite l’usage aux produits exploités par Microsoft, comme AI Mode, AI Overview, Copilot et Microsoft 365, et l’exclut des services d’ancrage que Microsoft fournit à des tiers, comme Web IQ ou l’API de Foundry.
Bing prévient qu’un refus de l’ancrage réduira nettement la visibilité d’un site dans ses réponses IA, sans toucher à son éligibilité aux résultats classiques. Autoriser l’ancrage ou l’entraînement ne garantit, écrit-il, ni présence, ni trafic, ni paiement.
Ces réglages remplaceront les balises NoArchive et NoCache, que Microsoft lit depuis 2023 pour l’entraînement et l’ancrage. À partir du 15 décembre 2026, les sites qui les utilisent pourront enregistrer une préférence d’ancrage temporaire dans Bing Webmaster Tools. Bing appliquera les nouvelles préférences à partir du 1er février 2027, au fil de ses passages, et cessera après le 1er mars 2027 de lire NoArchive et NoCache comme un refus. Les préférences temporaires prendront fin quand Bing repassera sur la page et y trouvera la nouvelle préférence d’ancrage, et au plus tard le 30 septembre 2027.
OpenAI et Anthropic, sans date ferme
OpenAI écrit qu’il respectera le signal commun, qui porte sur l’entraînement des modèles d’IA générative de base (« foundational »), et parle d’un « effort volontaire ». L’entreprise vise une mise en œuvre « dans les prochains mois ». Ce signal ne remplacera pas ses contrôles actuels dans robots.txt, qui resteront respectés.
Le 30 octobre, OpenAI publiait aussi un billet intitulé « Fair use benefits everyone ». L’entreprise y défend l’usage des œuvres pour l’entraînement au nom du fair use, l’exception américaine au droit d’auteur, face au procès que lui intente le New York Times.
Chez Anthropic, Kevin Kelley a écrit le 30 octobre, sur la liste de diffusion du groupe de travail, que l’entreprise avait « déjà commencé » à mettre en œuvre le brouillon, en complément de ses contrôles existants. Il prévient que l’extension à tous les services d’Anthropic prendra du temps et que la façon d’interpréter ces signaux pourra changer avec la norme.
Meta, qui a repoussé au 20 novembre la clause ouvrant les sites des entreprises à ses robots, ne figure pas parmi les annonces du 30 octobre.
Un brouillon individuel que l’IETF n’a pas approuvé
Le texte de Kevin Kelley est un Internet-Draft individuel. La page de l’IETF précise qu’il n’est pas approuvé par l’organisme et n’a aucun statut formel dans son processus de normalisation. Il expire le 3 mai 2027. Le groupe de travail AIPREF, présidé par Mark Nottingham (Cloudflare) et Suresh Krishnan (Cisco), poursuit la discussion sur le reste de son vocabulaire, dont la version 08 date du 13 septembre 2026.
Nate Hake (Travel Lemming), qui participe au groupe, l’a rappelé sur X le 30 octobre, dans des messages repris par Search Engine Roundtable : le travail n’est « pas terminé au niveau de l’IETF » et « des points de désaccord importants demeurent ». Il reproche au projet actuel d’exempter de ces préférences tout ce qu’un utilisateur déclenche lui-même, ce qui pénalise selon lui les créateurs copiés par des contenus générés en masse. Il juge néanmoins le processus « globalement productif ».
Le signal reste une préférence. Selon le brouillon, les préférences qui s’appliquent à un contenu sont celles du robots.txt en vigueur quand il a été récupéré : un refus ajouté aujourd’hui ne couvre pas les pages déjà collectées. Bing précise que ses réglages ne créent ni licence ni rémunération, et le brouillon admet que des accords privés peuvent primer sur la préférence affichée.
Notre analyse
Refuser l’entraînement supposait jusqu’ici de connaître les noms de robots de chaque entreprise et de suivre leurs changements. Le 30 octobre, quatre des principaux développeurs de modèles se sont engagés sur un nom commun. Pour un éditeur de sites ou un e-commerçant qui dépend de Google, la question « refuser l’entraînement sans perdre la recherche » reçoit une réponse plus simple sur le papier : ni Google-Extended ni la préférence d’entraînement de Bing ne retirent un site des résultats classiques.
Les engagements restent inégaux. Anthropic dit avoir commencé, Microsoft donne des dates, Google une règle d’interprétation et une échéance, OpenAI une simple intention.
Le point le moins clair concerne Google. Comme l’entreprise assimile le refus commun à un refus de Google-Extended, qui couvre aussi l’ancrage dans Gemini, un site qui refuse l’entraînement par ce jeton pourrait du même coup sortir des réponses de Gemini, à moins d’autoriser Google-Extended à part. Le billet ne le dit pas en toutes lettres, mais sa phrase sur les sites qui autorisent explicitement Google-Extended et la documentation de Google vont dans ce sens.
Le signal laisse aussi de côté les réponses générées dans la recherche. Parmi les annonces du 30 octobre, seul Bing ajoute un réglage d’ancrage distinct, et la présence dans les Aperçus IA de Google ne dépend pas de ce jeton.
La date retenue par OpenAI, l’arrivée éventuelle d’autres entreprises comme Meta ou Apple, et le texte final de l’IETF restent inconnus. Les prochains repères sont la fenêtre ouverte par Bing le 15 décembre, les dates du 1er février et du 1er mars 2027, et la mise à jour promise par OpenAI.
Sources
- Supporting a shared AI training control for websites, Google Search Central, 30 octobre 2026
- Google’s common crawlers (Google-Extended), Google for Developers, mis à jour le 30 octobre 2026
- Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00), IETF Datatracker, 30 octobre 2026
- New draft: draft-kelley-aipref-training-preference-signal-00, Kevin Kelley sur la liste ai-control de l’IETF, 30 octobre 2026
- Making it easier for websites to express AI training preferences, OpenAI, 30 octobre 2026
- Your content, your choice: clearer preferences for training and grounding, Microsoft Bing Blog, 30 octobre 2026
- A Vocabulary For Expressing AI Usage Preferences (draft-ietf-aipref-vocab-08), IETF Datatracker, 13 septembre 2026
- Google Adopts New AI Training Control, Search Engine Roundtable, 30 octobre 2026
Image d’en-tête : schéma MACCUS. Données : Google Search Central, Microsoft Bing, OpenAI, Kevin Kelley (Anthropic) sur la liste ai-control de l’IETF, IETF Datatracker, 30 octobre 2026
