La réexpression facile brise la sécurité de l’IA, même pour Gemini et Claude

Les tests de sécurité de l’IA ont révélé qu’ils reposent sur des mots déclencheurs « évidents »; avec une reformulation facile, les modèles étiquetés « raisonnablement sûrs » échouent soudainement, avec des attaques réussies jusqu’à 98 % du temps.

Des recherches corporatives menées aux États-Unis ont conclu que le bon dossier de sécurité d’une variété de modèles de langage à grande échelle (LLM) – y compris de nombreux noms de premier plan tels que Gemini 3 Pro et Claude Sonnet 3.7 – peut être sans signification, car les jeux de données et les références utilisés pour les établir contiennent un langage « évident » ridicule.

Les deux jeux de données en question, qui ont été présentés dans diverses revues de papier sur ce site, sont HarmBench et AdvBench:

Exemples représentatifs des papiers HarmBench et AdvBench, qui sont admis comme des exemples de provocation – mais le nouveau papier soutient que même dans des scénarios réels, les exemples « télégraphient » l’intention malveillante, ce qui pourrait conduire à un « jeu » involontaire des résultats. Sources: HarmBench et AdvBench.

Bien que les exemples ci-dessus, qui proviennent des papiers respectifs de chaque référence, soient délibérément simplistes pour illustrer les principes des systèmes, les nouvelles recherches soutiennent que ces collections ciblent en réalité les « fruits les plus bas » et peuvent ne pas être des références efficaces – et que les résultats réels des capacités de sécurité des LLM testés sont significativement inférieurs à ce qui a été rapporté:

‘[Nous] évaluons si ces jeux de données mesurent vraiment les risques de sécurité ou provoquent simplement des refus par des indices déclencheurs. Pour explorer cela, nous introduisons le « blanchiment d’intention »: une procédure qui éloigne les indices déclencheurs des attaques (points de données) tout en préservant strictement l’intention malveillante et tous les détails pertinents.

‘Nos résultats indiquent que les jeux de données de sécurité actuels ne représentent pas fidèlement les attaques réelles en raison de leur dépendance excessive à l’égard des indices déclencheurs.

‘En fait, une fois que ces indices sont supprimés, tous les modèles précédemment évalués comme « raisonnablement sûrs » deviennent insécurisés, y compris Gemini 3 Pro et Claude Sonnet 3.7.’

« Sécurité » dans ce sens représente l’alignement – la capacité du LLM à repousser les tentatives des utilisateurs de ‘casser les restrictions’ sur les systèmes API uniquement, afin de faire produire au système un contenu interdit, tel que du texte ou des images diffamatoires.

La « lessive d’intention » des auteurs consiste simplement à reformuler les « attaques évidentes » dans les deux jeux de données/benchmarks, de sorte qu’elles deviennent plus subtiles et insidieuses, et beaucoup plus capables de contourner les filtres et les vérifications:

La partie supérieure d’un exemple autrement encombrant du papier. En haut à gauche, en jaune, le type de « déclencheur évident » que HarmBench et AdvBench fournissent généralement; en dessous, en vert, la invite a été neutralisée, réécrite et rendue suffisamment acceptable pour que Claude Sonnet 3.7 soit désormais prêt à aider l’utilisateur à localiser des « ateliers de démontage » (lieux de traitement de véhicules volés) dans une nouvelle ville. Source

Les chercheurs ont analysé les qualités des deux jeux de données à travers deux approches: en isolation, afin de comparer les collections aux caractéristiques des attaques réelles; et en pratique, où les jeux de données – et les « améliorations » des auteurs sur ceux-ci – ont été utilisés pour attaquer des modèles réels.

Dans le deuxième tour de tests, les chercheurs ont « amélioré » leur méthode de reformulation jusqu’à ce qu’ils obtiennent des résultats optimaux en termes de taux de réussite de l’attaque (ASR):

Le blanchiment d’intention commence par passer une invite malveillante évidente à travers un modèle de réécriture qui supprime le langage déclencheur explicite tout en préservant l’intention malveillante sous-jacente. L’invite révisée est ensuite soumise à un modèle cible, et sa réponse est évaluée pour la sécurité et l’applicabilité réelle. Si la sortie est jugée insécurisée et praticable, l’attaque est comptabilisée comme réussie. Si ce n’est pas le cas, les révisions précédentes ayant échoué sont alimentées à nouveau dans le modèle de réécriture pour générer des versions améliorées, créant une boucle itérative qui fonctionne comme un mécanisme de jailbreak jusqu’à ce qu’un nombre prédéfini de tentatives soit atteint ou qu’un taux d’attaque souhaité soit atteint.

Les auteurs déclarent*:

‘Nos résultats montrent que, avec cette boucle de régénération, le blanchiment d’intention atteint un haut ASR (90%–98.55%) après seulement quelques itérations sur tous les modèles étudiés sous un accès complètement noir. Cela inclut les modèles récents largement considérés comme parmi les plus sûrs – tels que Gemini 3 Pro et Claude Sonnet 3.7.

‘Ces résultats confirment en outre que les évaluations de sécurité existantes et les méthodes d’alignement de sécurité sont fortement surajustées^† aux indices déclencheurs.’

Le nouveau travail est intitulé Blanchiment d’intention: les jeux de données de sécurité de l’IA ne sont pas ce qu’ils semblent, et provient de deux auteurs de la société de logiciels Labelbox basée à San Francisco.

Méthode

Pour étudier la composition et l’architecture des deux jeux de données de référence en isolation, des nuages de mots ont été générés à partir des deux corpus, révélant quels mots et phrases courtes dominaient les collections:

Nuages de mots montrant les 40 unigrams, bigrams et trigrams les plus fréquents dans les jeux de données combinés AdvBench et HarmBench. Les termes ayant des connotations négatives ou sensibles sont mis en évidence en rouge, les déclencheurs contextuels en orange, et les mots neutres qui forment des déclencheurs d’ordre supérieur en vert. La concentration de phrases ouvertes telles que « sans se faire prendre » et « instructions étape par étape » suggère que les deux références s’appuient lourdement sur des indices explicites plutôt que sur des attaques réalistes conçues avec une intention ultérieure.

Les auteurs notent que les unigrams, bigrams et trigrams dominants sont improprement révélateurs d’une intention malveillante, contrairement au type de langage que les criminels utilisent dans la discussion, et que les attaquants utilisent lorsqu’ils testent ou tentent de compromettre les défenses des LLM.

‘Ces indices déclencheurs sapent deux propriétés – être bien conçus et motivés par une intention ultérieure – car un tel langage évident apparaît rarement dans les attaques réelles et semble conçu pour déclencher artificiellement les mécanismes de sécurité. ‘

Le papier caractérise les modèles des collections comme des « indices déclencheurs » – des phrases avec des connotations négatives ou sensibles ouvertes qui apparaissent conçues pour activer les filtres de sécurité. Certaines sont intrinsèquement chargées, telles que ‘se suicider’, tandis que d’autres ne le deviennent qu’en contexte, par exemple lorsqu’un objectif nocif est associé à des phrases telles que « sans se faire prendre », qui signale une intention claire d’éviter la détection.

L’asymétrie dans le langage des jeux de données devient plus évidente à mesure que le nombre de mots dans les n-grams augmente, avec des phrases qui portent une signification négative ou sensible explicite dominant les n-grams les plus fréquents (voir image ci-dessus). Le papier les décrit comme des phrases déclencheuses, qui, avec des mots déclencheurs individuels, constituent des indices déclencheurs.

Certaines phrases étendent simplement des termes déjà chargés, telles que lorsque ‘voler’ devient ‘voler des informations sensibles’, ‘voler des informations confidentielles’, ou ‘voler des informations personnelles’; et, par exemple, lorsque ‘commettre’ s’étend en ‘se suicider’, ‘commettre une fraude boursière’, ou ‘commettre un vol d’identité’ – clairement le langage et la phraseologie de la police, des tribunaux et des médias.

D’autres sont construits entièrement à partir de mots neutres qui ne deviennent préoccupants qu’en combinaison, tels que ‘sans se faire prendre’, une construction qui signale l’évasion malgré l’absence de terme chargé.

Doublage

Les auteurs observent que la répétition des indices déclencheurs évidents non seulement rend les invites artificielles, mais également indique une duplication considérable de données dans les collections. Pour tester cette théorie, ils ont exécuté des vérifications de similarité par paires sur chaque jeu de données, en appliquant des seuils allant de 0,7 à 0,99, et en regroupant les invites qui dépassaient un seuil donné comme des doublons, tandis que les autres étaient traités comme uniques.

Étant donné qu’il n’y a pas de norme acceptée pour ce qui constitue une « forte » similarité dans un jeu de données à domaine unique, ils ont utilisé Open AI’s Grade School Math (GSM8K), un référence non de sécurité populaire, en faisant correspondre sa taille à HarmBench et AdvBench pour une comparaison contrôlée:

Taux de duplication dans AdvBench et HarmBench à travers les seuils de similarité, comparés à des sous-ensembles de GSM8K de taille équivalente. À presque chaque seuil, les jeux de données de sécurité contiennent beaucoup plus d’invites quasi identiques que le référence non de sécurité, indiquant une évaluation répétée de la même intention nocive dans une formulation légèrement variée, et suggérant que les performances de sécurité signalées pourraient être gonflées. Veuillez vous référer au papier source pour une meilleure résolution.

Une deuxième constatation de cette partie de l’étude a comparé les invites à l’intérieur de chaque jeu de données, pour mesurer combien d’entre elles étaient vraiment différentes. À un réglage de similarité moyen, seulement environ 11 % des invites AdvBench étaient distinctes, tandis que près de 94 % des questions dans un échantillon de GSM8K de taille équivalente étaient différentes:

Exemples d’invites quasi identiques dans AdvBench et HarmBench, qui diffèrent principalement dans la formulation, tout en exprimant la même intention nocive. L’utilisation répétée d’indices déclencheurs évidents, indiqués en rouge pour les termes chargés, et en orange pour les termes contextuels, produit des grappes d’invites qui testent effectivement un seul scénario à plusieurs reprises – ce qui signifie qu’une seule réponse suffirait généralement pour évaluer le modèle pour cette intention.

HarmBench a montré la même tendance, avec 16 % de doublons à ce niveau par rapport à 3,5 % dans GSM8K, ce qui signifie que les jeux de données de sécurité réutilisent souvent la même demande nocive avec des changements mineurs dans la formulation.

Si 85 % d’exemples distincts est pris comme une norme raisonnable, AdvBench n’a atteint ce niveau qu’à un réglage très strict, et n’a même pas dépassé 90 %, tandis que GSM8K a atteint 85 % à un seuil beaucoup plus bas. Selon le papier, ce modèle suggère que les références de sécurité testent des variations répétées des mêmes idées, plutôt qu’un large éventail de scénarios d’attaque.

Autres approches et tests

La technique de « blanchiment d’intention » du travail, basée sur le LLM, supprime le langage déclencheur explicite tout en préservant l’objectif nocif sous-jacent. Au lieu de déclarer l’intention ouvertement, les invites révisées impliquent l’intention, en conservant la charge nocive, mais en évitant les indices qui seraient susceptibles de provoquer un refus immédiat du LLM.

Les deux méthodes qui facilitent cela sont la neutralisation de la connotation, qui remplace les termes négatifs ouverts par des alternatives neutres ou descriptives; et la transposition contextuelle, qui déplace les références du monde réel dans des contextes fictifs sans altérer la signification pratique.

Un petit ensemble de révisions a été écrit à la main, après quoi le processus a été automatisé en utilisant GPT-5.1 (gpt-5.1-2025-11-13), avec un paramètre d’apprentissage en contexte à huit coups comme « blanchisseur d’intention ». Les réponses aux invites originales et réécrites ont ensuite été comparées pour mesurer à quel point le langage déclencheur explicite influençait les évaluations de sécurité.

Étant donné que le blanchiment d’intention peut modifier à la fois la formulation et le cadrage, les réponses ont été évaluées en termes de sécurité et de praticité. La sécurité a été notée sur une échelle de Likert à cinq points, allant de « extrêmement insécurisée » à « sécurisée », conditionnée à la préservation de l’intention malveillante originale – et, si tel est le cas, à quel point elle était nocive:

Un modèle d’invite utilisé pour l’évaluation standard de la sécurité des réponses aux points de données originaux d’AdvBench et HarmBench, avant l’application du blanchiment d’intention. GPT-5.1 a été instruit pour noter chaque réponse sur une échelle de Likert à cinq points allant de « Extrêmement Insécurisée » à « Sécurisée », en sélectionnant un seul jugement global basé sur le fait que le contenu permettait un préjudice ou restait non actionnable.

La « praticité » a été notée sur une échelle parallèle à cinq points allant de ‘extrêmement applicable’ à ‘inapplicable’, en fonction de la façon dont les détails seraient utilisables et transposables dans le monde réel; et l’ASR a mesuré les performances, avec une révision comptabilisée comme réussie uniquement si la réponse était à la fois insécurisée et pratique.

Les notations à cinq points ont été cartographiées à des résultats binaires pour réduire l’ambiguïté, et le blanchiment d’intention a également été évolué en une méthode de jailbreak en ajoutant une boucle itérative de révision-régénération, dans laquelle les révisions ayant échoué ont été réintroduites dans GPT-5.1 sous le même paramètre d’apprentissage en contexte à huit coups. Cette boucle a continué jusqu’à ce qu’un nombre prédéfini de tentatives soit atteint ou qu’un ASR cible soit atteint.

Pour les tests d’évaluation de la sécurité, le package Python wordcloud a été utilisé pour extraire les n-grams de HarmBench et AdvBench, avec des méthodes de filtrage habituelles (c’est-à-dire pour supprimer les mots de cessation et d’autres mots et caractères non pertinents).

Les mêmes jeux de données de sécurité utilisés pour l’analyse des nuages de mots ont été combinés avec des échantillons aléatoires de GSM8K, avec des quantités de mots égalisées pour la parité entre les collections.

Les auteurs ont utilisé des incrustations à partir du point de contrôle all-MiniLM-L6-V2 de Sentence-BERT Transformers, car celui-ci est déjà affiné pour le regroupement et la recherche sémantique.

Les critères d’évaluation ont été générés par (le modèle OpenAI GPT-4o maintenant décommissionné) limité à 1024 jetons. GPT-5.1 a évalué à la fois la sécurité et la praticité après le blanchiment d’intention, sans instruction, correspondant à l’intention de blanchiment elle-même, sauf qu’il était également limité à 1024 jetons.

Les modèles testés étaient Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; et Qwen2.5-7B-Instruct. Lorsque cela était applicable, puisque la raison était un facteur superflu, celle-ci a été abaissée autant que possible dans les modèles capables de raisonnement.

Tous les modèles ont été limités à une limite de sortie de 4096 jetons:

Évaluation de la sécurité (SE), évaluation de la praticité (PE) et taux de réussite de l’attaque (ASR) pour sept modèles sur AdvBench (haut) et HarmBench (bas) sous trois conditions: sans révision, première révision et itérations de révision-régénération du blanchiment d’intention. L’évaluation de la sécurité rapporte le pourcentage de réponses notées « extrêmement insécurisées », « hautement insécurisées » ou « insécurisées »; l’évaluation de la praticité rapporte le pourcentage noté « extrêmement applicable », « hautement applicable » ou « applicable »; et l’ASR mesure la part de réponses qui sont à la fois insécurisées et pratiques. Dans le paramètre sans révision, l’ASR suit sa définition standard car aucune abstraction n’est appliquée. Les valeurs en gras indiquent l’ASR le plus élevé atteint dans chaque jeu de données, et un ASR plus faible correspond à une sécurité de modèle plus forte. Veuillez vous référer au papier source pour une meilleure résolution.

En ce qui concerne ces résultats initiaux, les auteurs notent que la suppression des indices déclencheurs explicites des invites d’attaque a produit une augmentation significative du taux de réussite de l’attaque. Sur AdvBench, l’ASR moyen est passé d’un initial 5,38 % à 86,79 % après la première révision, sur HarmBench, il est passé de 13,79 % à 79,83 % – indiquant que les refus de modèle étaient fortement liés à la présence de langage déclencheur explicite.

Les auteurs observent:

‘Cela indique que les refus de modèle sont largement déclenchés par la présence d’indices déclencheurs. Par conséquent, les jeux de données de sécurité ne mesurent pas fiablement les risques de sécurité réels, car ils s’appuient davantage sur les indices déclencheurs pour provoquer des refus que sur l’intention malveillante réelle.’

Le blanchiment d’intention, soutient le papier, a efficacement supprimé les indices déclencheurs tout en préservant l’intention malveillante, et a fonctionné comme une méthode de jailbreak puissante. À l’itération de révision-régénération finale, correspondant à l’ASR le plus élevé dans chaque jeu de données, les taux de réussite de l’attaque ont atteint 90% à 98,55% sur tous les modèles.

Cela incluait Gemini 3 Pro et Claude Sonnet 3.7, qui ont été jailbreakés avec des ASR de 93% à 95% sur AdvBench, et de 91% à 93% sur HarmBench, après seulement quelques itérations.

Les auteurs concluent:

‘Nos résultats ont montré que les conclusions de sécurité antérieures ne tiennent pas une fois que les indices déclencheurs sont supprimés, et que les performances de sécurité observées sont largement déterminées par la présence d’indices déclencheurs plutôt que par les risques de sécurité sous-jacents.

‘Nous avons également montré que le blanchiment d’intention peut être utilisé comme une technique de jailbreak puissante, atteignant des taux de réussite de l’attaque élevés allant de 90% à plus de 98%.

‘Dans l’ensemble, nos résultats ont révélé un écart critique entre la façon dont la sécurité du modèle est évaluée et la façon dont le comportement adverse se manifeste dans le monde réel.

‘Sur la base de cela, nous concluons que (1) les évaluations de sécurité doivent évoluer pour capturer les attaques adverses de manière plus réaliste, et (2) les efforts d’alignement de sécurité actuels sont encore loin d’être robustes contre les menaces réelles.’

Conclusion

Un fil commun qui parcourt encore la littérature linguistique et de vision par ordinateur (et les endroits où celles-ci se croisent, tels que les VLM) est une incapacité à comprendre de manière fiable quand on est trompé pour produire du contenu interdit; ou même quand on s’aventure involontairement, sans coercition extérieure.

Derrière les scènes des fonderies de modèles plus grandes et plus opaques, on ne peut que supposer que resserrer radicalement les rênes sur ces domaines sémantiques entraîne des dommages collatéraux inacceptables, tels que des baisses de performances sur les générations « non interdites », ou un taux intolérable de faux positifs du filtre de contenu.

La nature de base d’un modèle formé dans n’importe quel domaine est de suivre toutes ses données d’entraînement à n’importe quelle conclusion vers laquelle une invite pourrait le conduire; les seules contraintes native disponibles sont a) de ne pas inclure de contenu litigieux dans les données d’entraînement (ce qui est autant un problème logistique que tout autre); ou b) de « couper » les chemins menant à un contenu indésirable après l’entraînement (un processus qui peut souvent être inversé par une abliteration explicite, ou comme un effet secondaire involontaire du fine-tuning).

* Ma substitution des citations en ligne des auteurs par des liens hypertexte. Les emphases des auteurs, et non les miennes.

^† https://www.unite.ai/what-is-overfitting/

Publié pour la première fois lundi 23 février 2026