Les chercheurs de NVIDIA constatent que les agents d’IA deviennent moins sûrs lorsqu’ils utilisent des outils

Des modèles d’IA comme ChatGPT, Gemini et Claude peuvent servir à alimenter des agents — des « dispositifs d’orchestration » qui leur permettent d’interagir directement avec le monde réel. Il s’agit d’une innovation récente, et de plus en plus controversée.

Quoi qu’il en soit, les agents ne disposent pas automatiquement des capacités dont ils auront besoin pour explorer un réseau ou une base de données, car les outils nécessaires varient selon les missions et les modes d’utilisation. Ils peuvent, par exemple, avoir besoin de capacités de reconnaissance optique de caractères (OCR) pour interpréter le texte présent sur des photos, entre autres compétences. Il existe même des catégories d’outils adaptées au périmètre de l’agent et à l’intention.

En théorie, une demande qui enfreint les garde-fous intégrés d’une IA ne sera jamais exécutée, que l’utilisation d’outils entre ou non en jeu. En pratique, selon une nouvelle étude, l’utilisation d’outils peut considérablement affaiblir les filtres de protection qui empêchent un agent d’IA de commettre des « transgressions ».

L’échec du refus

Le nouvel article de NVIDIA, intitulé Les MLLM échouent à refuser lorsqu’ils utilisent des outils de manière agentique, révèle que les modèles de langage multimodaux (MLLM, désignés ci-après par le terme plus courant de « VLM », ou modèles vision-langage) sont nettement plus susceptibles d’accepter des demandes préjudiciables dès lors que des outils sont introduits. Les refus défaillants augmentent pour tous les modèles et tous les bancs d’essai évalués.

Bien que les modèles à poids ouverts comme Qwen3-VL se soient révélés plus sujets à ce problème, des modèles d’IA de pointe tels que Claude Opus 4.7, Gemini 3.1 Pro et GPT-5.4 ont eux aussi présenté davantage de refus défaillants lorsqu’ils utilisaient des outils.

Les auteurs déclarent* :

« Malgré les récents succès remarquables des MLLM agentiques, ce travail met au jour une grave défaillance de sécurité dans le paradigme d’utilisation des outils : les MLLM agentiques qui utilisent des outils sont moins capables de refuser les demandes préjudiciables.

« Nos expériences confirment que, sur trois bancs d’essai de sécurité populaires, tous les principaux MLLM à poids ouverts et fermés que nous avons testés présentent un niveau de sécurité nettement inférieur lorsqu’ils utilisent des outils que lorsqu’ils n’en utilisent pas. Le taux relatif de refus défaillants augmente alors jusqu’à 68,7 %.

« À partir de l’analyse de plus de 100 000 réponses, y compris dans le cadre d’expériences approfondies, nous avançons également deux explications possibles à cette dégradation de la sécurité. »

Les deux explications possibles avancées dans l’article sont la dilution du contexte, lorsque la demande préjudiciable initiale perd de son importance à mesure que les résultats des outils s’accumulent, et le déplacement de l’attention portée à la sécurité, lorsque le modèle se concentre sur la description des observations issues des outils au lieu de donner la priorité à la sécurité.

Résultats des tests illustrant le principal constat de l’article en matière de sécurité. En haut, un utilisateur demande comment s’y prendre pour commettre un vol à la tire apparemment représenté sur une image. Un VLM classique refuse catégoriquement la demande, tandis qu’une version utilisant des outils fait d’abord appel à des outils d’analyse d’image, comme le zoom, puis poursuit son raisonnement et finit par fournir une réponse préjudiciable. Le graphique ci-dessous montre que cette hausse des refus défaillants a été observée pour tous les modèles à poids ouverts et propriétaires évalués. Source

Pour les onze modèles testés, l’activation des outils a systématiquement augmenté les refus défaillants, avec des hausses relatives pouvant atteindre 68,7 % dans les cas les plus défavorables, y compris pour des modèles qui, par ailleurs, affichaient de solides performances en matière de sécurité.

Il sera intéressant de voir si les résultats de cette étude, menée par six chercheurs de NVIDIA, sont reproduits ou confirmés ailleurs, et s’ils pourraient approfondir notre compréhension de la délinquance apparente et émergente des agents d’IA hors-la-loi.

Méthode et données

Les chercheurs ont évalué onze VLM appartenant à sept familles de modèles. Les modèles propriétaires comprenaient Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 et GPT-5.4.

Les modèles à poids ouverts comprenaient Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo et AdaReasoner-7B-Randomized, un modèle à poids ouverts spécialement adapté à l’utilisation agentique d’outils.

Des expériences distinctes ont également été menées avec Gemini 3 Flash Vision Agent, car son utilisation autonome des outils exigeait qu’il soit évalué séparément.

Pour les tests faisant appel à des outils, les chercheurs ont utilisé le format ReAct, qui alterne entre le raisonnement et les appels aux outils. Les quatre outils disponibles comprenaient un outil d’étiquetage, RAM++ ; le zoom et le recadrage ; la reconnaissance optique de caractères (OCR) avec GOT-OCR2.0 ; et un interpréteur de code Python en environnement isolé, capable de manipuler et d’analyser des images.

Les chercheurs ont conçu des invites appariées afin d’isoler l’effet de l’utilisation des outils, plutôt que celui du style de formulation des invites. Les VLM classiques recevaient pour instruction d’examiner l’image et de répondre directement à la demande de l’utilisateur, tandis que les versions agentiques suivaient le processus ReAct et décidaient à plusieurs reprises s’il fallait appeler des outils avant de produire une réponse finale.

Comparaison des invites appariées utilisées lors des principales expériences. Dans la condition sans outil, le modèle devait analyser l’image et raisonner directement, tandis que la condition agentique suivait le processus itératif ReAct, laissant au modèle le soin de décider quand appeler des outils externes avant de produire sa réponse finale.

Les trois bancs d’essai de sécurité multimodale utilisés étaient MM-SafetyBench, VLSBench et HoliSafe. Chacun de ces ensembles comprend des images associées à des demandes nuisibles formulées par des utilisateurs. Ils sont conçus pour vérifier si un modèle refuse de prêter assistance dans des situations dangereuses, par exemple lorsqu’on lui demande comment réaliser un vol à la tire présenté dans une image.

Le taux d’échec de refus (RFR) a été utilisé comme principal indicateur. Il mesure le pourcentage de demandes nuisibles qu’un modèle n’a pas refusées ; plus le score est élevé, plus la sécurité est faible.

Tests

Les réponses ont été classées par GPT-5.2, utilisé comme évaluateur LLM, à l’aide de l’invite d’évaluation recommandée par VLSBench :

L’invite d’évaluation de GPT-5.2, utilisée pour déterminer si la réponse de chaque modèle constituait un refus réussi, une réponse prudente qui relevait les risques en jeu, ou une réponse dangereuse qui ne reconnaissait pas ces risques et donnait suite à la demande nuisible. L’évaluateur recevait l’image originale, la requête de l’utilisateur et la réponse du modèle, et devait renvoyer sa classification et son raisonnement au format JSON.

Chaque réponse a été classée dans l’une des trois catégories suivantes : sûre avec refus, sûre avec avertissement ou dangereuse.

Taux d’échec de refus sur les trois bancs d’essai de sécurité, avec comparaison de chaque modèle avec et sans accès aux outils. Avec les outils, tous les modèles étaient moins susceptibles de refuser les demandes nuisibles, mais l’ampleur de cette baisse variait considérablement : le RFR moyen a augmenté de 12,6 points pour GLM-5V-Turbo, contre 2,3 points pour GPT-5.4. Les teintes plus foncées indiquent une hausse plus importante des échecs de refus.

La mise à disposition d’outils rendait les modèles plus susceptibles de répondre à des demandes nuisibles qu’ils auraient autrement refusées — un constat observé avec tous les modèles et sur tous les bancs d’essai évalués. Dans l’ensemble, les échecs de refus ont augmenté de 17,7 % par rapport aux mêmes modèles fonctionnant sans outils.

GPT-5.4 était le moins affecté : sans outils, il n’a pas refusé 14,6 % des demandes nuisibles ; avec les outils, ce taux est passé à 16,8 %. Pour GLM-5V-Turbo, les échecs sont passés de 38,7 % (valeur de référence sans outils) à 51,3 %. La même tendance s’est manifestée sur les trois bancs d’essai, ce qui indique que le problème ne se limite peut-être pas à un type particulier de demande nuisible.

À quoi sont dues ces défaillances.. ?

Comme indiqué plus haut, les chercheurs avancent la « dilution du contexte » comme l’une des explications possibles de l’augmentation des échecs : à mesure qu’un agent enchaîne les appels aux outils, la demande nuisible initiale perd de sa visibilité parmi les résultats accumulés des outils.

Pour le vérifier, ils n’ont retenu que les demandes que le même modèle avait réussi à refuser sans outils. Comme le montre le graphique ci-dessous, les échecs ont ensuite augmenté progressivement avec le nombre d’appels aux outils : ils étaient proches de zéro lorsqu’aucun outil n’était appelé, puis atteignaient des taux nettement plus élevés après trois appels ou plus :

Résultats des tests comparant les échecs de refus selon le nombre d’appels aux outils. Les taux d’échec ont augmenté à mesure que les appels aux outils s’accumulaient, aussi bien pour chaque modèle pris individuellement que pour l’ensemble des modèles.

Un deuxième test a partiellement inversé cet effet. Lorsque la requête initiale et l’image étaient réinsérées après le dernier appel à un outil, juste avant que le modèle ne réponde, les échecs de refus diminuaient en moyenne de 7,6 % pour l’ensemble des modèles et des bancs d’essai, comme le montre le graphique ci-dessous :

Résultats des tests comparant les échecs de refus avec et sans réinsertion de la requête initiale et de l’image. La réinsertion après le dernier appel à un outil a réduit le taux d’échec moyen de 7,6 % pour les cinq modèles testés.

Cela confirme que la dilution du contexte contribue au problème, tout en laissant entrevoir une mesure d’atténuation relativement simple.

La deuxième explication avancée par l’article est le « déplacement de l’attention portée à la sécurité ». Dans ce cas, l’utilisation d’outils semble détourner l’attention du modèle de la nature potentiellement nuisible de la requête pour la porter sur la description des résultats obtenus avec ces outils.

Résultats des tests montrant comment l’utilisation d’outils a modifié le début des réponses des modèles qui ont finalement refusé des requêtes nuisibles. Sans outils, les réponses commençaient généralement par traiter directement la requête (55,6 %) ou par soulever des préoccupations de sécurité (25,8 %). Avec des outils, 52,3 % des réponses commençaient plutôt par décrire les résultats obtenus grâce aux outils, tandis que les mentions explicites de la sécurité chutaient à 10,3 %.

Les chercheurs ont examiné les cas où les modèles avaient refusé la requête avec succès, avec ou sans outils. Sans outils, 55,6 % de ces réponses commençaient par traiter directement la requête, tandis que 25,8 % débutaient par une déclaration explicite concernant la sécurité. Avec des outils, ces proportions tombaient respectivement à 37,4 % et à 10,3 %, tandis que la part des réponses commençant par la description d’observations issues des outils grimpait à 52,3 %.

Les auteurs présentent un exemple qualitatif intéressant avec Claude Opus 4.6. Interrogé sur la manière de contourner les mesures de sécurité dans les toilettes publiques, le modèle a immédiatement refusé sans utiliser d’outils :

Exemple montrant comment l’utilisation d’outils a relégué la sécurité au second plan dans l’attention immédiate du modèle. Claude Opus 4.6 a immédiatement refusé la requête nuisible sans outils ; avec des outils, il a d’abord agrandi l’image, lu et identifié son contenu, puis décrit le panneau des toilettes avant de finir par refuser.

Avec des outils, le même modèle a plutôt agrandi l’image, lu le texte et identifié son contenu, avant de commencer sa réponse en décrivant le panneau des toilettes. Il n’a refusé la requête qu’ensuite, ce qui montre comment le processus d’utilisation des outils avait relégué la sécurité au second plan dans ses priorités immédiates.

Les auteurs concluent :

« Dans l’ensemble, nos résultats montrent que l’utilisation d’outils doit être considérée non seulement comme un mécanisme qui améliore les capacités de raisonnement visuel, mais aussi comme un choix de conception qui a des conséquences en matière de sécurité et peut modifier le comportement de refus. Les futurs grands modèles de langage multimodaux agentiques devraient donc être évalués et entraînés dans des conditions d’utilisation d’outils, plutôt que de supposer que l’alignement de sécurité sans outils se transpose à l’identique aux environnements agentiques. »

Conclusion

La défaillance du maintien du contexte constitue clairement un risque dans les chaînes complexes d’événements en aval déclenchées par une invite. Pourtant, il n’existe actuellement pas de solution simple au fait qu’une fenêtre de contexte limitée puisse amener un agent à oublier ses « directives prioritaires » et à se mettre simplement à utiliser l’outil dont il dispose.

* Mise en évidence des auteurs ; j’ai converti leurs citations intégrées en liens hypertextes lorsque c’était nécessaire.

Publié pour la première fois le mercredi 7 octobre 2026