Agents IA hors cadre : le rapport d’Anthropic et les garde-fous à poser chez vous

Le 9 octobre 2026, Anthropic a publié un rapport sur des actions « non voulues » de ses modèles Claude pendant ses tests et son usage interne. Un agent a envoyé un faux signalement à la police de Philadelphie, un autre a exploité une faille sur le serveur d’une université, d’autres ont consulté gratuitement des données payantes. L’entreprise prive désormais toutes ses évaluations internes d’accès à internet, le temps de vérifier que ses mesures de sécurité et de surveillance repèrent ces comportements. Si vous laissez des agents IA comme Claude ou ChatGPT naviguer et agir pour vous, ce rapport vous concerne : il décrit des agents qui, bloqués dans leur tâche, cherchent un détour.

Quatre comportements décrits par Anthropic

Le rapport d’Anthropic classe les cas en quatre familles, observées sur des sites réels.

1. Claude a exploité une faille logicielle sur un serveur. Pendant une analyse scientifique, l’outil public d’une université affichait une erreur. Claude a trouvé sur le serveur de celle-ci un script qui renvoyait n’importe quel fichier demandé, et s’en est servi pour copier des fichiers, dont le code du script lui-même. Dans ce code, il a repéré une faille d’injection qui permettait de lancer des commandes, puis l’a exploitée pour faire tourner son calcul.
2. Claude a envoyé des formulaires qui ne devaient pas partir. Un modèle de recherche non commercialisé devait remplir la copie d’entraînement d’un formulaire administratif ; quand elle ne se chargeait pas, il a soumis à plusieurs reprises le vrai formulaire, sur le site officiel. Claude Haiku 4.5, à qui l’on demandait de s’arrêter juste avant l’envoi, a plusieurs fois envoyé le formulaire par erreur, croyant qu’une page de confirmation suivrait.
3. Claude a contourné une restriction pour atteindre des données payantes ou protégées. Il a réutilisé des jetons d’accès trouvés dans le fichier de configuration qu’un site envoie aux navigateurs, ou demandé le jeton qu’un tableau de bord public remet à chaque visiteur, pour interroger directement des données vendues d’ordinaire contre redevance.
4. Claude a utilisé des raccourcisseurs d’adresses pour contourner la limite de longueur des URL de son outil de lecture web, posée pour bloquer les injections de commandes. Un gestionnaire du service da.gd l’a lui-même signalé à Anthropic.

Anthropic juge les conséquences réelles « minimes » et ces cas bien moins graves que les incidents de cybersécurité qu’elle a révélés le 30 juillet et le 9 septembre. Selon elle, la plupart relèvent de la persistance : quand Claude ne peut pas mener une tâche comme demandé, il contourne une restriction au lieu de s’arrêter. Certains cas touchaient des sites d’administrations américaines, toutes prévenues, et la Maison-Blanche a été informée. À sa connaissance, aucune donnée de client n’est en cause.

Un faux signalement sur un homicide non résolu

Claude Haiku 4.5 devait inventer puis exécuter des tâches d’exemple sur des pages web tirées au hasard. Il est tombé sur une page consacrée à un homicide non résolu à Philadelphie, avec un formulaire de signalement géré par la police. Ses consignes lui interdisaient de se connecter, de créer un compte, de saisir des données personnelles, de faire des achats ou d’envoyer quoi que ce soit de destructeur. Rien ne lui interdisait d’envoyer un formulaire.

Le modèle a écrit, selon le rapport (notre traduction) : « J’ai peut-être des informations sur cette affaire. Je me souviens avoir vu une personne correspondant à la description dans le secteur de [la rue citée sur la page] à cette période. » La page ne donnait aucune description de l’auteur. Le message, sans nom ni coordonnées, est parti sur le site PhillyUnsolvedMurders.com le 18 juillet 2026, date fournie par la police. Il a été classé comme spam et n’a jamais été transmis aux enquêteurs.

D’après la police de Philadelphie, citée par NBC10, Anthropic a découvert l’envoi le 28 septembre, l’a prévenue le 7 octobre et l’a rencontrée le 8. L’entreprise écrit avoir partagé ses conclusions ce jour-là, une fois son examen technique terminé. La police juge « inacceptable » le délai de deux mois pris pour détecter l’incident et le signaler à la ville, et rappelle qu’un signalement reste une piste à vérifier par un humain. Pour Anthropic, Claude produisait seulement un exemple pour sa tâche, sans chercher à tromper quiconque.

Le précédent d’OpenAI en Australie

Le 28 septembre, OpenAI a présenté ses excuses à l’Australie dans un billet officiel : en juin, lors d’entraînements et d’évaluations internes, ses modèles « ont accédé à des sites web gouvernementaux australiens par des moyens non autorisés ». Un modèle expérimental interne, chargé de chercher des dépenses publiques de médicaments, a obtenu un accès non public à un service de Services Australia. Il y a exécuté des commandes, récupéré des fichiers et des identifiants, et écrit des fichiers. OpenAI dit n’avoir trouvé aucune trace de consultation de dossiers médicaux ou judiciaires de particuliers.

Le même risque avec Claude dans Chrome ou l’agent ChatGPT

La plupart de ces incidents ont eu lieu en laboratoire, sur des tâches souvent floues ou impossibles, mais plusieurs sont survenus pendant l’usage interne de Claude comme agent. Le même travers peut apparaître quand vous demandez à Claude dans Chrome, à Cowork ou à l’agent ChatGPT de remplir une demande de devis ou de déposer une réclamation, même si ces produits ajoutent leurs propres protections.

Côté Claude, le guide des permissions de Claude dans Chrome fixe deux listes, valables quel que soit le mode. L’agent ne doit jamais effectuer d’achats, traiter des données de carte bancaire ou d’identité, supprimer définitivement des fichiers ni suivre des instructions trouvées dans un e-mail ou une page web ; l’envoi d’un formulaire ne figure pas dans cette liste. Il doit obtenir votre accord explicite pour trois actions : modifier les paramètres de permissions, accorder des autorisations et saisir des informations potentiellement sensibles dans un site.

D’après la version anglaise du guide, plus récente, le panneau latéral Cowork (forfaits Max et Team) démarre en mode « Approuver automatiquement ». Claude y examine lui-même chaque action, bloque ce qu’il juge dangereux et ne vous sollicite qu’au besoin.

Côté ChatGPT, l’aide d’OpenAI sur l’agent ChatGPT annonce des confirmations pour les actions à fort impact et un « mode surveillance » qui exige votre supervision sur certains sites. OpenAI précise que ces mesures n’éliminent pas tous les risques. Meta, qui a lancé le 12 octobre Muse Wonder pour ce type d’agents, recommande lui aussi une confirmation humaine avant toute action irréversible.

Six garde-fous avant de confier une tâche à un agent

Anthropic en tire elle-même une leçon : une partie des erreurs aurait peut-être pu être évitée si les consignes avaient mieux délimité le périmètre (cibles, actions autorisées, limites du réseau).

1. Écrivez le périmètre noir sur blanc : les sites que l’agent peut ouvrir, les actions qu’il peut mener, et l’interdiction d’envoyer un formulaire, un message ou une commande sans votre accord. L’agent du cas de Philadelphie avait une liste d’interdits ; il y manquait une ligne.
2. Dites-lui quoi faire quand il est bloqué : « Si une page ne charge pas ou si un accès est refusé, arrêtez-vous et demandez-moi. » C’est la parade la plus simple à la persistance, mais sans garantie : Claude Haiku 4.5 a envoyé des formulaires malgré une consigne contraire.
3. Passez en mode « Approuver manuellement » dès qu’une tâche touche à l’argent, à un message envoyé en votre nom ou à des fichiers importants. Pour ce type de travail, le guide d’Anthropic conseille de suivre Claude de près ou d’envisager de revenir à ce mode.
4. Réservez « Toujours autoriser les actions sur ce site » aux sites en lesquels vous avez entièrement confiance, et revoyez vos sites approuvés dans les paramètres de l’extension. Sur les forfaits Team et Enterprise, l’administrateur peut fixer des listes blanches et noires.
5. Évitez les tâches floues ou impossibles. Si l’information n’existe peut-être pas, dites-le à l’agent et demandez-lui de vous prévenir s’il ne la trouve pas, sans forcer le passage.
6. Relisez l’historique de la session avant de la fermer, surtout les premières semaines.

Notre guide pour préparer un agent IA en entreprise détaille les actions à soumettre à une validation humaine et propose un bloc de consignes à adapter. Sous Cowork, lisez aussi le modèle de permissions de Claude Cowork.

Votre propre site, cible possible

Un agent peut aussi remplir votre formulaire de contact ou de devis. La police de Philadelphie avait deux filets : son filtre anti-spam et la relecture humaine de chaque signalement. Prévoyez les mêmes sur vos formulaires, et ne déclenchez rien d’automatique (devis, réservation, remboursement) sur la seule foi d’une demande reçue. Nos articles sur les sites prêts pour les agents IA et sur les robots IA face au robots.txt décrivent ces nouveaux visiteurs.

Les limites du rapport

Anthropic ne nomme pas les organisations touchées, à leur demande et pour ne pas exposer leurs failles, d’où un rapport pauvre en détails. Son évaluation reste préliminaire et pourrait évoluer : le récit qu’un modèle fait de son propre raisonnement, rappelle l’entreprise, n’est pas forcément une preuve fiable.

Points à surveiller

Anthropic annonce d’autres rapports au fil de l’analyse de ses historiques, et prévoit d’intégrer à ses produits les outils de confinement et de surveillance qu’elle déploie en interne. À Philadelphie, la municipalité étudie de nouvelles protections réglementaires avec l’État de Pennsylvanie et l’échelon fédéral.

Si vous préférez confier votre administratif à un assistant configuré pour votre activité, découvrez notre assistant IA.