METR, un organisme à but non lucratif de Berkeley (Californie), a publié le 5 novembre 2026 un audit de la recherche d’Anthropic, créatrice de l’assistant Claude. METR évalue les modèles d’intelligence artificielle (IA), les programmes derrière ces assistants. Sa conclusion : en octobre 2026, Anthropic améliorait probablement ses modèles environ deux fois plus vite qu’entre mars 2024 et octobre 2025, sur des tâches bien définies. Selon METR, Anthropic doit sans doute l’essentiel de cette accélération à l’usage intensif de ses propres IA dans sa recherche.
Pour Anthropic, un doublement du rythme de progrès lié à l’automatisation de la recherche est un seuil d’alerte. Dans un second rapport publié le même jour, METR estime que le rapport de risques publié par Anthropic en août sous-estimait l’accélération déjà en cours. METR reconnaît lui-même une limite : Anthropic a caviardé (masqué) la majorité des éléments que les évaluateurs jugeaient les plus parlants.
Onze semaines dans les données internes
L’équipe de METR, l’équivalent de 2,5 personnes à plein temps, a travaillé sur les données d’Anthropic du 12 août au 29 octobre 2026. Elle a reçu les notes de modèles internes à des tests de performance, des épreuves standardisées. S’y ajoutaient des mesures de l’entraînement (la phase où un modèle apprend), des sondages de salariés et une quinzaine d’entretiens. METR précise ne pas avoir interrogé lui-même les modèles non publiés, ni l’avoir demandé.
METR dit n’avoir reçu aucun paiement. Anthropic a fourni des ordinateurs, par sécurité, et des crédits d’utilisation de ses modèles, surtout consacrés à l’analyse des données. Ce travail a commencé avant l’accès « comparable à celui d’un salarié » qu’Anthropic a annoncé le 15 octobre pour une équipe de METR, et il en est distinct.
Deux ans de progrès en un an
METR mesure la vitesse de progression avec l’AECI, la version d’Anthropic de l’Epoch Capabilities Index. Cet indice résume en un seul score les résultats d’un modèle à de nombreux tests. Depuis octobre 2025, ce score progresse 1,9 fois plus vite qu’avant cette date, avec une marge d’erreur allant de 1,5 à 2,8 (intervalle de confiance à 95 %). En un an, Anthropic aurait donc progressé autant sur les tests qu’entre octobre 2023 et octobre 2025, soit à peu près l’écart entre ses modèles Claude 2.1 et Claude Sonnet 4.5.
Ce chiffre dépasse le 1,7 publié par Anthropic dans la fiche technique de Claude Haiku 5.5, son petit modèle. L’écart vient surtout des modèles internes récents intégrés par METR. Avec d’autres choix de calcul, METR obtient entre 1,1 et 2,9.
Avec les modèles des concurrents dans la comparaison, l’estimation tombe à 1,4. METR avance deux lectures. Soit Anthropic était en retard sur la concurrence en 2025, et 1,4 est plus juste. Soit ses modèles étaient moins optimisés pour les tests, et 1,9 tient.
Sur un point, METR se dit confiant : l’accélération ne vient pas d’une hausse plus rapide de la puissance de calcul consacrée à l’entraînement.
Model 4 et la pénurie de tests difficiles
Parmi les modèles internes jamais publiés, le rapport en cite trois récents, sous des noms de code transmis à METR. Model 2 a terminé son entraînement en juillet 2026, Model 3 en août-septembre et Model 4 en septembre-octobre. Model 4 dépasse 50 % de réussite sur chacun des 15 tests où il a été mesuré, pour un score AECI de 178,6. Neuf mois plus tôt, Claude Opus 4.6, un modèle haut de gamme d’Anthropic, restait sous les 50 % sur de nombreux tests.
Faute de tests plus difficiles, METR se dit « un peu nerveux » sur sa capacité à mesurer l’indice, aujourd’hui comme demain. Le rapport complet contenait une prévision pour un futur modèle, mais Anthropic l’a caviardée.
Des salariés qui se disent douze fois plus productifs
Anthropic a transmis des sondages menés sur Slack, sa messagerie interne, où les salariés estiment d’un clic le gain que leur apporte le modèle le plus récent. En octobre 2026, le gain moyen déclaré atteignait environ 12 fois pour le meilleur modèle interne. METR n’y voit qu’un indice « très approximatif ». Les réponses sont rapides, l’échantillon n’est sans doute pas représentatif et l’auto-évaluation peut surestimer le gain réel.
Les entretiens vont dans le même sens, plus modestement. METR a fait classer par Claude les propos de 11 chercheurs. La question : l’IA a-t-elle au moins doublé la vitesse des progrès dans leur domaine ? Deux chercheurs sont classés oui, trois plutôt oui, quatre ambigus et deux non.
Un chercheur juge « difficile de voir comment [il] ne serait pas trois fois plus productif ». Un autre attribue à l’IA 15 à 20 % de l’accélération et dit ne pas croire aux gains déclarés.
METR attribue à l’IA la majorité de l’accélération actuelle, peut-être 80 %. Il juge cette estimation très incertaine. Pour l’instant, l’IA n’apporte pas seule de contribution majeure aux étapes clés de l’entraînement. Des chercheurs décrivent toutefois des « signes de vie » en ce sens.
METR n’a vu aucun obstacle, de puissance de calcul, de données ou d’algorithmes, capable de freiner ce rythme dans les 12 prochains mois. Il reste peu sûr de ce point.
Le rapport d’août d’Anthropic jugé trop rassurant
Le doublement du rythme de progrès lié à l’automatisation est un seuil d’alerte précoce de la politique de développement responsable d’Anthropic, dite RSP (Responsible Scaling Policy). Quand ses modèles atteignent certains seuils de capacités, l’entreprise doit renforcer ses protections.
Dans son rapport de risques public d’août 2026, Anthropic écrivait que ses indicateurs avancés montraient une accélération « de moins d’un facteur 2 ». METR a eu accès à sa version privée. En combinant ces chiffres, il obtient 1,97 et juge qu’« autour de 2 » aurait été une formule plus juste.
METR juge « plausible » que ce seuil d’alerte ait déjà été franchi au 15 juillet, date que couvre le rapport d’août. La plupart des chercheurs concernés, chez METR comme chez Anthropic, penchent pourtant pour le contraire. METR partage en revanche la conclusion d’Anthropic sur le danger immédiat : le risque de catastrophe posé par les modèles de juillet restait faible.
Un audit en grande partie caviardé
Anthropic avait le droit de caviarder toute information non publique. Elle a justifié ses retraits par la volonté de supprimer des informations confidentielles « susceptibles d’accélérer d’autres développeurs d’IA ». Conséquence, selon METR : le public doit se fier à son jugement bien plus qu’il ne serait idéal.
Le rapport complet, une centaine de pages remises le 22 octobre, reste privé. Du 27 au 29 octobre, Anthropic a durci ses consignes de caviardage, ce qui a retardé d’environ cinq jours la version publique.
Anthropic a aussi retiré en cours de route un volet prévu au contrat. Ce volet devait vérifier quelle part de sa puissance de calcul sert à améliorer les modèles, et quelle part sert à la sécurité. L’entreprise dit vouloir y revenir plus tard.
Sam McCandlish, cofondateur d’Anthropic qui dirige une grande partie de son travail de sécurité, a répondu le jour même sur X, l’ex-Twitter. « L’IA accélère notre recherche, mais il est difficile de dire précisément de combien », écrit-il. Il reconnaît que les caviardages rendent le travail de METR plus difficile à vérifier.
Il les justifie par le secret commercial et par le risque de « fournir une feuille de route à d’autres pour aller plus vite ». Anthropic prévoit de publier « dans les prochaines semaines » sa propre analyse, avec sa position face à sa RSP.
L’agence Associated Press (AP) relève que l’audit s’est déroulé alors que le patron d’Anthropic, Dario Amodei, appelait le secteur à ralentir. Dans un essai du 12 septembre, il demandait de « ralentir le rythme auquel nous améliorons les capacités des modèles d’IA ». Selon l’AP, Anthropic a invité METR alors qu’elle prépare son entrée en Bourse.
Les limites que METR reconnaît
METR liste lui-même ce qui pourrait gonfler ses chiffres. L’accélération pourrait se limiter aux tâches bien définies, faciles à noter automatiquement, sans s’étendre au travail plus flou. Avant fin 2025, Anthropic progressait plus lentement que le reste du secteur, ce qui peut faire paraître l’accélération plus forte. Des facteurs sans lien avec l’IA, comme les embauches, ont probablement pesé fin 2025 et pourraient expliquer l’essentiel de l’accélération récente.
Les chiffres pourraient aussi être trop bas. La croissance s’accélère peut-être encore, et l’automatisation complète de certaines tâches de recherche pourrait arriver vite. Les scores aux tests sous-estiment aussi parfois l’effet réel des modèles.
Le rapport précise enfin que Claude a participé à l’essentiel de l’analyse des données, chez Anthropic comme chez METR. Les évaluateurs disent n’y avoir détecté aucun biais systématique.
Notre analyse
Un évaluateur extérieur a mesuré la vitesse de progression d’une grande entreprise d’IA à partir de ses données internes, avec un accès qu’il juge sans précédent. Son chiffre central, environ deux fois le rythme passé, atteint le seuil d’alerte d’Anthropic si l’automatisation en explique une bonne part.
Le public, lui, ne voit qu’une courbe de scores aux tests, des sondages internes et des témoignages. Le reste est affirmé sans preuve publique : la part exacte de l’IA, le détail de l’entraînement et les prévisions pour les modèles à venir ont été caviardés.
Pour les utilisateurs professionnels de Claude, l’effet concret reste inconnu. Le rapport mesure la progression de modèles internes et ne donne aucune date de sortie publique. Le « 12 fois » déclaré par des salariés d’Anthropic ne dit rien du gain qu’une autre organisation obtiendrait.
Le rapport promis par Anthropic doit situer l’entreprise face à sa RSP et présenter de nouvelles mesures de sécurité. Reste aussi à savoir si d’autres entreprises d’IA ouvriront leurs données de la même façon. Selon l’AP, Sam Altman, patron d’OpenAI, s’était dit favorable en septembre à des évaluateurs indépendants disposant d’un accès comparable à celui d’un salarié.
Sources
- Independent Assessment of AI R&D Acceleration at Anthropic in October 2026, METR, 5 novembre 2026
- Review of the « Risks from automated R&D » section in Anthropic’s Risk Report (August 2026), METR, 5 novembre 2026
- An update on independent evaluators, Anthropic, 15 octobre 2026
- Responsible Scaling Policy, Anthropic, consulté le 6 novembre 2026
- Publication de Sam McCandlish sur le rapport de METR, X, 5 novembre 2026
- Anthropic is rapidly accelerating AI development amid slowdown calls, outside research group says, Associated Press (repris par KSAT), 5 novembre 2026
Image d’en-tête : graphique MACCUS, données METR, évaluation de l’accélération de la R&D chez Anthropic, 5 novembre 2026.
