Le rapport EchoGram de HiddenLayer met en garde contre une nouvelle classe d’attaques qui sapent les garde-fous de l’IA

Le rapport EchoGram récemment publié par HiddenLayer livre l’un des avertissements les plus clairs à ce jour selon lequel les mécanismes de sécurité de l’IA actuels sont plus fragiles qu’ils ne le semblent. Sur neuf pages de preuves techniques et d’expérimentation, HiddenLayer démontre comment les attaquants peuvent manipuler les systèmes de garde-fous – ces couches de classification et les composants LLM-as-a-judge qui font respecter les politiques de sécurité – en utilisant de courtes séquences de jetons apparemment sans signification qui inversent de manière fiable leurs verdicts. Une invite malveillante qui devrait être détectée comme non sécurisée peut être marquée comme sécurisée simplement en y appendant un jeton spécifique. Inversement, une entrée entièrement inoffensive peut être mal classifiée comme malveillante. Tout au long du rapport, HiddenLayer montre que ces séquences ne modifient que l’interprétation du garde-fou de l’invite, et non les instructions sous-jacentes livrées au modèle en aval.

La fragilité des garde-fous modernes

Les garde-fous sont devenus fondamentaux pour la manière dont les organisations déployent les grands modèles de langage. Ils servent de première et souvent seule ligne de défense, destinée à détecter les attaques de jailbreak, les injections d’invites, les demandes non autorisées ou les instructions manipulatrices avant que le LLM ne les traite. Les conclusions de HiddenLayer révèlent que cette couche de protection partage des faiblesses systémiques liées directement à la manière dont ces garde-fous sont formés. Puisque beaucoup d’entre eux s’appuient sur des données similaires, des modèles ou des taxonomies de sécurité, ils sont vulnérables aux mêmes types de manipulations au niveau des jetons que EchoGram met au jour.

Comment EchoGram construit ses séquences d’attaque

Le processus d’EchoGram commence par générer un ensemble de jetons candidats qui pourraient influencer le jugement d’un modèle. HiddenLayer explique que ces jetons peuvent être identifiés en analysant les modèles linguistiques dans les ensembles de données couramment utilisés pour former les garde-fous ou en sondant directement le vocabulaire du tokenizer d’un modèle lorsque l’accès white-box est disponible. Les données de formation elles-mêmes deviennent une carte des biais, révélant lesquelles des séquences sont orientées vers des classifications « sécurisées » ou « non sécurisées ». Ces déséquilibres forment la matière première de l’attaque.

Une fois cet ensemble constitué, EchoGram évalue chaque séquence en l’appendant à un ensemble d’invites malveillantes et en mesurant à quelle fréquence le jeton inverse la classification du garde-fou. Le rapport inclut un exemple frappant où une petite séquence sans signification transforme plusieurs tentatives connues d’injection d’invites de « détectées » en « sécurisées » lorsqu’elles sont testées contre un classificateur commercial. Les invites malveillantes restent intactes, mais la séquence appendue modifie la façon dont le garde-fou les interprète.

Pourquoi les combinaisons de jetons sont particulièrement dangereuses

Le rapport EchoGram met en évidence que même lorsque seul un jeton inverse partiellement les verdicts, la combinaison de plusieurs jetons faibles produit un effet dramatiquement plus fort. HiddenLayer démontre cette amplification en utilisant Qwen3Guard, un modèle de modération LLM-as-a-judge open-source largement utilisé. Sur les variantes 0,6B et 4B, les séquences EchoGram enchaînées ont provoqué le garde-fou pour mal classer des invites hautement dangereuses – y compris des requêtes sur les armes, les contournements d’authentification et les cyberattaques – comme sécurisées ou légèrement préoccupantes.

Cet effet persiste à travers les tailles de modèle, renforçant la conclusion de HiddenLayer que la vulnérabilité est enracinée dans la méthodologie de formation sous-jacente plutôt que dans la taille ou la complexité du modèle.

Le vecteur de faux positifs : un risque moins visible mais tout aussi grave

EchoGram n’est pas seulement une méthode pour contourner les garde-fous ; HiddenLayer montre qu’il peut également être utilisé pour générer des faux positifs à grande échelle. En tissant des séquences EchoGram dans des entrées inoffensives, un attaquant peut provoquer le garde-fou pour mal classer des invites bénignes comme malveillantes. Le rapport fournit des exemples où des phrases de conversation simples sont signalées comme des attaques une fois qu’un jeton EchoGram est appendu ou intégré dans le texte.

Cela crée un moyen de submerger les équipes de sécurité ou de confiance avec du bruit. Lorsque les alertes augmentent de manière incontrôlable, les organisations peuvent manquer de véritables menaces enfouies dans le flot. L’érosion de la confiance dans les outils internes devient aussi préjudiciable que toute tentative de contournement réussie.

Implications pour la sécurité de l’IA

Le rapport EchoGram souligne que les garde-fous formés sur des sources de données similaires, des modèles ou des taxonomies sont susceptibles de partager les mêmes vulnérabilités. Un attaquant qui découvre une séquence EchoGram réussie pourrait potentiellement la réutiliser sur plusieurs plateformes commerciales, déploiements d’entreprise et systèmes gouvernementaux. HiddenLayer insiste sur le fait que les attaquants n’ont pas besoin de compromettre le LLM en aval. Ils n’ont besoin que de tromper le gardien qui se trouve devant.

Ce défi s’étend au-delà du risque technique. Les organisations peuvent supposer que le déploiement d’un garde-fou assure une protection significative, mais EchoGram démontre que cette hypothèse est précaire. Si le garde-fou peut être inversé avec un jeton ou deux, l’ensemble de l’architecture de sécurité devient peu fiable.

La voie à suivre

HiddenLayer conclut qu’EchoGram devrait servir de point de repère dans la façon dont l’industrie aborde la sécurité de l’IA. Les garde-fous ne peuvent pas s’appuyer sur des ensembles de données statiques ou des cycles de formation unique. Ils nécessitent des tests adverses continus, une transparence autour des méthodes de formation et une validation multi-couches plutôt que des jugements de modèle unique. À mesure que l’IA s’intègre dans les infrastructures critiques, la finance, les soins de santé et la sécurité nationale, les lacunes mises en évidence par EchoGram deviennent urgentes plutôt qu’académiques.

Le rapport se termine par un appel à traiter les garde-fous comme des composants critiques de sécurité qui exigent la même rigueur appliquée à tout autre système de protection. En exposant ces vulnérabilités maintenant, HiddenLayer pousse l’industrie à construire des défenses d’IA capables de résister à la prochaine génération de techniques adverses.