Une IA peut cacher une capacité chiffrée que le fine-tuning ne fait pas ressortir

Le 9 octobre 2026, quatre chercheurs ont mis en ligne sur arXiv une étude intitulée « AI Models Can Provably Hide Arbitrary Capabilities », acceptée à la conférence NeurIPS 2026 selon la mention des auteurs sur arXiv. Ils cachent dans les poids d’un modèle d’IA un second réseau de neurones, chiffré, qui ne s’exécute que si l’entrée contient un déclencheur secret. Dans leurs essais, ni le fine-tuning (le réentraînement sur une tâche donnée) ni le bruit ajouté aux poids n’ont fait ressortir cette capacité.

La question vous concerne si vous faites tourner un modèle ouvert sur une machine du bureau, comme dans notre guide de l’IA locale en entreprise, ou si un prestataire vous livre un modèle réentraîné sur vos documents. Vos tests montrent ce que le modèle sait faire, mais l’étude le rappelle : un audit qui ne trouve rien ne prouve pas l’absence d’une capacité.

Un coffre chiffré dans les poids du modèle

Les auteurs sont Andis Draguns (Contramont Research), Sumeet Ramesh Motwani et Christian Schroeder de Witt (université d’Oxford) et Raymond Douglas (ACS Research). Ils imaginent un attaquant qui modifie les poids d’un modèle avant son déploiement, par exemple un employé malveillant ou une chaîne d’approvisionnement compromise. Dans le scénario hypothétique qui illustre l’étude, un assistant de programmation contient un modèle capable de piratage, qui s’activerait en repérant des signes d’un déploiement dans une infrastructure critique. L’auditeur dispose du modèle complet, poids compris, et de toutes les méthodes qu’il veut.

La pièce centrale est un coffre numérique (« digital locker » en cryptographie). La clé secrète passe dans une fonction de hachage, ici la famille Keccak sur laquelle repose la norme SHA-3, puis le résultat est combiné au contenu à protéger. Avec la bonne clé, le calcul restitue le contenu ; avec une autre, il donne des bits sans valeur et le coffre répond « échec ». Le mécanisme est lisible par tous, mais sans la clé, et sous les hypothèses cryptographiques habituelles, personne ne peut l’ouvrir, retrouver la clé ou savoir ce qu’il renferme.

Dans ce coffre, les chercheurs enferment les poids d’un petit réseau de neurones, puis compilent le tout en blocs de calcul semblables à ceux des modèles de langage actuels. À chaque passage, le modèle hôte essaie d’ouvrir le coffre avec ce qu’il reçoit. Avec le déclencheur, la capacité cachée s’exécute ; sans lui, le modèle garde son comportement habituel.

Le modèle chiffré résiste au réentraînement

La capacité cachée est un petit classifieur qui prédit, à partir de réactifs et d’un produit candidat, si la réaction donne bien ce produit. Les auteurs l’ont choisie pour représenter une capacité liée aux risques chimiques, biologiques, radiologiques et nucléaires, en la limitant à une classification pour éviter un usage malveillant direct. Pour comparer, ils prennent la méthode classique : un modèle « verrouillé par mot de passe », entraîné à ne bien répondre que si la question contient ce mot de passe.

Après 500 étapes de fine-tuning supervisé sur la tâche elle-même, le modèle à mot de passe atteint 92,8 % de bonnes réponses. Le modèle chiffré reste à 50,9 %, le niveau d’un pile ou face, et un modèle témoin dont le coffre contient un réseau aléatoire fait 50,6 %.

Taux de bonnes réponses sur des données de test, en moyenne sur trois essais (tableau 2 de l’étude) :

Un bruit de niveau 0,01 ou 0,1 ajouté aux poids avant le réentraînement ne modifie pas sensiblement ces résultats. La recherche automatique du déclencheur trouve une clé de 8 bits en essayant ses 256 valeurs possibles, sans faire mieux qu’une recherche au hasard. À 16 bits, elle reste à 52,7 % avec le nombre d’essais accordé. L’écart avec le bon déclencheur, 73,5 % contre 92,7 %, vient de classifieurs différents : celui du modèle chiffré est plus petit pour tenir dans l’hôte.

Une version à pleine force cryptographique, produite par un mode optimisé de leur compilateur, utilise une clé de 128 bits et 24 tours de Keccak : le modèle obtenu compte 110 couches et 3,58 milliards de paramètres, zéros compris. Avec la bonne clé, il reproduit le classifieur sur toutes les données de test ; avec les 10 000 mauvaises clés essayées, il garde son comportement normal.

Une anomalie détectable dans les poids

L’étude ne promet pas l’invisibilité. Les poids compilés bruts se repèrent facilement : environ 99 % valent exactement zéro et le reste est surtout fait de nombres entiers, très loin d’un modèle entraîné normalement. Les auteurs ont testé un camouflage qui rapproche ces statistiques de celles d’un modèle fraîchement initialisé, mais ils signalent des corrélations inhabituelles entre les poids d’une même couche, qui pourraient trahir la construction.

Avec une clé assez longue, la garantie porte sur la clé et sur le contenu, et repérer l’anomalie ne suffit pas. Selon les auteurs, l’auditeur risque de ne pas pouvoir dire si une structure étrange cache une capacité dangereuse, un filigrane inoffensif ou un artefact technique, ni de la retirer sans abîmer le modèle. Il lui reste une option coûteuse : renoncer au modèle.

Qui est exposé dans une petite entreprise ?

Avec Claude ou ChatGPT par abonnement, vous ne recevez jamais les poids et ne pouvez pas auditer ces modèles : votre protection reste la confiance dans l’éditeur et ses contrôles.

Le risque vous touche dès que vous recevez des poids : un modèle ouvert téléchargé sur Hugging Face, une version « améliorée » publiée par un compte inconnu, un modèle réentraîné par un prestataire. Selon les auteurs, la menace concerne tout modèle déployé dans un contexte à enjeux sans traçabilité complète de son entraînement. Notre article sur les vers d’IA décrits par Anthropic traite d’autres risques des modèles à poids ouverts.

L’ANSSI avait décrit ce risque dans ses recommandations de sécurité pour un système d’IA générative, publiées le 29 avril 2024 : un prestataire tiers qui n’est pas de confiance peut entraîner un modèle pour qu’il réagisse autrement face à une certaine requête. L’agence proposait deux parades, auditer le modèle ou ne pas l’utiliser pour des applications critiques. L’étude montre qu’un audit fondé seulement sur des tests a une limite de principe face à un attaquant déterminé.

Pour les auteurs, le risque croît avec la capacité cachée et l’autorité confiée au modèle hôte. Un agent qui envoie des e-mails ou passe des commandes en a bien plus qu’un outil qui résume des documents sur un poste isolé.

Cinq précautions pour vos modèles

1. Prenez les poids sur la page officielle de l’éditeur plutôt que sur des copies ou variantes publiées par des comptes inconnus. Hugging Face recommande de charger des modèles d’utilisateurs et d’organisations de confiance.
2. Vérifiez l’empreinte (hash) ou la signature des fichiers à l’installation, puis régulièrement : la recommandation R20 de l’ANSSI demande de protéger l’intégrité des fichiers du modèle et de contrôler qu’ils n’ont pas été altérés. L’outil open source model-signing, publié en version 1.0 par l’OpenSSF le 4 avril 2025, signe et vérifie un modèle. Une signature prouve seulement que le fichier n’a pas changé depuis sa signature.
3. Ne vous fiez pas à l’antivirus pour ce risque. Le scanner de Hugging Face passe chaque fichier à ClamAV et contrôle les imports des fichiers au format pickle, deux protections contre du code caché. Ici, la capacité est logée dans les nombres eux-mêmes, et ces contrôles ne sont pas conçus pour la repérer.
4. Avec un prestataire, demandez par écrit d’où vient le modèle de base, qui l’a réentraîné et sur quelles données, et faites livrer les fichiers avec leur empreinte. Inscrivez ensuite les modèles autorisés dans votre charte IA d’entreprise.
5. Limitez les droits du modèle et gardez un journal de ses actions. Une validation humaine avant tout envoi, paiement ou suppression réduit l’effet d’une capacité cachée qui s’activerait ; nous détaillons ces règles dans notre article sur les agents IA hors cadre.

Une preuve de concept coûteuse

La démonstration cache un classifieur de 672 poids, et chaque poids caché ajoute environ 3,1 millions de paramètres au modèle hôte, zéros compris : le modèle de l’expérience compte 38 couches et environ 2,07 milliards de paramètres, dont 1,9 million seulement sont non nuls. Les auteurs présentent ces chiffres comme des coûts de preuve de concept. L’ensemble n’a pas encore été intégré dans un vrai modèle préentraîné ; seules des briques isolées ont été vérifiées dans le petit modèle Gemma 3 270M de Google.

Construire ce type de modèle demande des compétences en cryptographie et en apprentissage automatique, et les auteurs ne prétendent pas que de tels circuits apparaissent d’eux-mêmes lors d’un entraînement ordinaire. Le scénario d’un petit circuit caché qui renforcerait un modèle déjà puissant, pour de la fraude ou du sabotage par exemple, reste selon eux à démontrer. Ils publient leurs modèles pour que d’autres équipes testent leurs défenses.

Des défenses encore à l’étude

Les auteurs jugent la détection d’anomalies dans les poids encore possible malgré leur camouflage, avec des méthodes plus poussées. La surveillance pendant l’utilisation leur paraît prometteuse, car une capacité cachée pourrait se voir au moment où elle s’exécute. L’étude ajoute une défense complémentaire : la traçabilité de toute la chaîne d’un modèle, des données à l’entraînement.

Pour une petite entreprise, la règle reste simple : un modèle vaut ce que vaut la confiance dans ceux qui l’ont produit et livré. Si vous voulez un assistant IA installé pour votre entreprise, avec des accès définis dès le départ, découvrez notre assistant IA.