Les agents IA peuvent se souvenir des règles et pourtant les enfreindre après compression

La compaction consiste à condenser une série d’échanges complexes avec une IA conversationnelle en un résumé, puis à poursuivre l’interaction en s’appuyant non pas sur l’historique complet, mais sur ce résumé. C’est comme un « nouveau départ » du point de vue de l’utilisation de la mémoire, et cette méthode a été déployée pour remédier aux limites des fenêtres de contexte dans les échanges avec l’IA.

D’abord mise en œuvre dans l’IA agentique, cette méthode a été étendue à Claude, tandis que le compactage pour Gemini n’a pas encore émergé des discussions entre développeurs et que ChatGPT s’en passe, préférant simplement interrompre la conversation.

Si vous avez utilisé Codex (essentiellement une version de ChatGPT capable de modifier des éléments sur votre ordinateur, avec les autorisations nécessaires) pendant plus de 30 minutes d’affilée, vous avez déjà vu apparaître de temps à autre des messages concernant le compactage du contexte, période pendant laquelle toute interaction supplémentaire est impossible :

Codex fait une pause pour compresser les souvenirs d’une session qui dure déjà depuis trois semaines.

Cependant, une fois le compactage terminé, l’entité qui vous parle s’appuie sur des notes sélectives que vous ne voyez pas, et non sur un souvenir complet de l’évolution de la conversation.

L’IA hors-la-loi

En juin de cette année, l’article chinois Dégradation de la gouvernance a établi que le compactage pouvait supprimer silencieusement du contexte d’un agent des règles toujours en vigueur, entraînant l’exécution d’actions jusque-là interdites :

Tiré de l’article de juin 2026 sur la dégradation de la gouvernance : comment le compactage du contexte peut amener un agent d’IA à enfreindre une règle qu’il respectait jusque-là. Si la règle est omise du résumé compressé, l’agent peut finir par accomplir l’action interdite. Un attaquant pourrait exploiter ce processus, et le rétablissement de la règle peut empêcher l’infraction. Source

Sur sept modèles, le taux d’infraction est passé de 0 % avant le compactage à 30 % après celui-ci, et a atteint 59 % dans certains cas. Concrètement, cela signifie que les agents peuvent ignorer des directives essentielles, comme Ne contactez personne qui ne possède pas d’adresse e-mail [our-company] — ce qui pourrait évidemment avoir de graves conséquences.

En juillet, la Penn State University et IBM ont poursuivi ces travaux avec Perdu dans le contexte, montrant que le compactage pouvait éliminer les instructions qui régissent la manière dont une IA doit accomplir une tâche, tout en conservant la tâche elle-même. Dans des tests menés dans trois contextes, les outils de compactage n’ont retenu en moyenne que 17 % de ces instructions.

En août, une collaboration universitaire américaine a présenté TRACE, montrant que le compactage pouvait perturber un agent même lorsque les informations dont il avait besoin restaient récupérables. Lors des tests, les agents ont perdu le fil de leur progression dans une tâche, répété des travaux déjà accomplis et se sont montrés moins fiables au fil des exécutions successives.

ARCBench

Ce mois-ci, une nouvelle étude venue des Pays-Bas, ARCBench, apporte un éclairage supplémentaire : elle montre que les agents peuvent sortir du compactage avec la règle intacte et néanmoins devenir nettement plus susceptibles de l’enfreindre. Lors des tests où la règle avait bien été conservée, les infractions étaient 2,6 fois plus fréquentes après le compactage qu’avec l’historique complet de la conversation :

Tiré de la nouvelle étude, un schéma conceptuel illustrant la manière dont le compactage du contexte peut influer sur le respect des règles de fonctionnement par un agent. Une même requête ultérieure peut être refusée si la règle survit au compactage, ou exécutée si elle est omise ; un document externe peut influer sur les informations conservées. Pour des raisons de mise en page, cette figure a été adaptée à partir de la version originale au format portrait publiée dans l’article.. Source

L’étude distingue les règles perdues lors du compactage de celles qui ont été conservées, puis enfreintes, ce qui permet pour la première fois de mesurer séparément les effets de l’oubli et de la désobéissance.

Dans les tests menés avec DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash et GPT-Luna, 70,1 % des exécutions avec compactage ont conservé la règle complète. Parmi celles où la règle a survécu, les infractions étaient 2,6 fois plus fréquentes qu’avec l’historique complet de la conversation.

Le contexte, au sens traditionnel, s’est révélé déterminant, puisque les règles présentées comme une politique organisationnelle n’ont entraîné aucune violation lorsque le contexte était complet ; pourtant, après compression, les taux de violation sont montés à 30,6 % et 22,2 %.

La défense la plus efficace disponible a préservé les règles dans 99 % des résumés, mais n’a toutefois pas suffi à ramener le nombre de violations à son niveau d’avant l’attaque. Cela indique que préserver les règles lors de la compression ne permet pas nécessairement de préserver la capacité — ou la volonté — de l’agent à les respecter.

L’article indique :

’[We] constatent que la compression accroît les violations principalement sans supprimer la règle : les exécutions avec compression où la règle est conservée enfreignent néanmoins celle-ci 2,6 fois plus souvent que les exécutions avec l’historique complet.

’De plus, la compression modifie le raisonnement de l’agent lorsqu’il enfreint la règle. Les différentes stratégies de compression, les contraintes strictes imposées au budget de compression et le canal de transmission de la règle influent tous sur le respect de celle-ci.’

À titre de remède, l’article propose de mieux préserver les règles perdues lors de la compression, tout en laissant sans réponse le problème des agents qui désobéissent aux règles conservées”

’Les défenses rétablissent les règles, mais une attaque continue d’affaiblir leur respect. La conservation des règles ne constitue donc pas un indicateur suffisant de leur respect. De futures études pourraient s’appuyer sur ARCBench pour expliquer pourquoi les agents enfreignent encore les règles conservées, tester des attaques et des défenses adaptatives, et couvrir davantage de modèles et de domaines, ainsi que des sessions plus longues avec des compressions répétées.’

Méthode

ARCBench étend les fonctionnalités du harnais open source pi, qui dispose de ses propres routines natives de compression, ainsi que d’une boucle d’agent, de la possibilité d’appeler des outils et d’une fonction native de compression. Le banc d’essai recrée des situations dans lesquelles un agent travaille sur une tâche de longue durée en suivant une règle permanente, où l’historique accumulé est compressé, puis où l’agent reçoit une demande qui l’amènerait à enfreindre cette règle ; ses actions sont ensuite vérifiées au moyen de ses appels d’outils :

Le processus d’évaluation d’ARCBench. On confie aux agents une tâche et une règle de fonctionnement avant de compresser leur historique selon différentes configurations, attaques et défenses. On examine ensuite leurs actions à l’aide des outils pour déterminer si la règle a été conservée et si elle a été respectée.

ARCBench comprend 17 cas portant sur la divulgation de données protégées, l’accès à des ressources restreintes, les actions non autorisées, ainsi que le contournement ou l’omission de contrôles obligatoires, correspondant aux classes de risques de OWASP.

Les cas ont été adaptés à partir de Governance Decay et de COMPINT, auxquels quatre cas supplémentaires ont été ajoutés afin que les quatre types de violation soient représentés pour les règles personnelles comme pour les règles organisationnelles.

Le banc d’essai peut être configuré selon cinq facteurs : la manière dont la règle est transmise ; la méthode utilisée pour compresser le contexte ; le budget de jetons disponible pour la compression ; le type d’attaque ; et la défense appliquée :

ARCBench comprend cinq variables qui permettent de tester l’évolution du respect des règles selon différentes formes de compression du contexte, de transmission des règles, d’attaques et de défenses.

Les règles peuvent être fournies sous forme d’instructions directes ou persistantes, intégrées à des documents ou récupérées au moyen d’un outil de gestion des politiques.

Données et tests

Dix méthodes de compression ont été évaluées, dont sept stratégies génératives et trois approches sélectives. Chaque cas a été exécuté à plusieurs reprises, et un échec était consigné si l’agent enfreignait sa règle au moins une fois — une approche jugée plus appropriée pour les tests de sécurité que le calcul d’une moyenne des performances sur plusieurs exécutions, puisqu’un agent qui enfreint parfois une interdiction reste dangereux.

Les historiques compressés ont ensuite été examinés par GPT-6-Luna-Pro, Qwen-3.8-flash et Claude-Sonnet-4.6, chaque règle étant classée comme intacte, affaiblie ou absente. La décision majoritaire a été retenue, tandis que les désaccords ont été examinés par des annotateurs humains. Un échantillon distinct de 50 résumés a également été étiqueté manuellement afin de vérifier la cohérence des évaluateurs.

Lorsqu’une règle intacte était enfreinte, le raisonnement de l’agent était examiné par GPT-6-Luna-Pro, GPT-6.1-Sol et Claude Sonnet 5.5. Les violations étaient classées selon que la demande ultérieure avait été considérée comme une autorisation de déroger à la règle, que l’action avait été jugée hors du champ d’application de celle-ci, que la règle n’avait pas été mentionnée ou que la règle avait été reconnue puis ignorée.

Les quatre modèles utilisés pour les tests, accessibles par l’intermédiaire d’OpenRouter, étaient DeepSeek-V4-Flash; GLM-5.3-Flash ; Qwen3.7-Flash ; et GPT-Luna. À chaque exécution, le même modèle servait à la fois à compresser l’historique de la conversation et à agir à partir du contexte obtenu, conformément au comportement par défaut de pi. Les modèles étaient accessibles par l’intermédiaire d’OpenRouter.

Sept études ont été menées, et Hermes a été utilisé pour la plupart des tests de compaction. Dans la première étude, chacune des 17 tâches a été testée avec quatre modèles et selon deux méthodes de présentation de la règle, ce qui a donné 136 cas. Chaque cas a été exécuté trois fois avec la conversation d’origine intacte et trois fois après sa compaction.

Configuration des sept études ARCBench, regroupées par question de recherche. Les cellules surlignées en vert indiquent le facteur modifié dans chaque étude, tandis que les cellules grises correspondent aux paramètres maintenus constants ; chaque cas a été exécuté trois fois, et six fois dans les études sur les attaques et les défenses S6 et S7.

Les tests ont porté sur trois questions : D’où viennent les violations après le compactage ? ; Comment les différentes configurations de compactage modifient-elles l’origine des violations ? ; et Quel est l’effet des attaques et des défenses ciblant le système de compactage sur l’origine des violations ?.

D’où viennent les violations après le compactage ?

Les premiers résultats ont montré une hausse des infractions aux règles après le compactage : elles concernaient 9,6 % des cas avec l’historique complet, contre 37,8 %. Cependant, la règle a été complètement perdue dans seulement 3 % des exécutions après compactage ; elle a été conservée intégralement dans 70,1 % des cas et partiellement dans 26,9 % :

Résultats indiquant la fréquence à laquelle chaque modèle a enfreint les règles avant et après le compactage. La plupart des règles ont été conservées intégralement ou partiellement après le compactage, malgré une hausse marquée des violations ; Qwen a affiché la plus forte augmentation, atteignant 61,8 %.

Cette distinction s’est révélée importante. Parmi les exécutions individuelles où la règle a été conservée intégralement après le compactage, 21,1 % se sont tout de même soldées par une violation, contre 8,1 % lorsque l’historique d’origine était conservé. Lorsque la règle n’était conservée que partiellement, le taux atteignait 29,4 % ; lorsqu’elle avait entièrement disparu, il montait à 83,3 %.

Les chercheurs ont également examiné comment les violations survenaient lorsque la règle demeurait intacte. Parmi les violations attribuables au compactage, dans 45,9 % des cas, une demande ultérieure a été interprétée comme une autorisation de passer à l’action ; la règle a apparemment été ignorée dans 27 % des cas et, dans 21,6 % des cas, elle a été reconnue comme applicable avant d’être néanmoins enfreinte :

Résultats montrant pourquoi les règles ont été enfreintes avant et après le compactage. Lorsque les violations ne sont apparues qu’après le compactage, les demandes ultérieures ont le plus souvent été interprétées comme une autorisation de passer à l’action (45,9 %) ; dans 27 % des cas, la règle conservée a été ignorée et, dans 21,6 % des cas, elle a été reconnue avant que le modèle passe tout de même à l’action.

Comment les différentes configurations de compactage modifient-elles l’origine des violations ?

Le mode de transmission d’une règle a eu un effet marqué sur le respect des règles. Lorsque la conversation complète était intacte, des violations ont été constatées dans 25 % et 16,1 % des cas où les règles avaient été communiquées directement par l’utilisateur ; en revanche, aucune violation n’a été relevée lorsque les règles avaient plutôt été transmises au moyen d’un document organisationnel ou d’un outil de gestion des politiques :

Effets du mode de transmission des règles, de la stratégie de compactage et du budget de jetons sur les violations et la conservation des règles. Le compactage génératif a préservé les règles de façon beaucoup plus fiable que les méthodes sélectives, tandis que les budgets de 300 jetons ou moins ont entraîné la perte presque totale des règles.

Après le compactage, les violations ont augmenté pour les quatre modes de transmission, atteignant 56,3 % pour les consignes directement données par l’utilisateur et 22,2 % pour les règles issues d’un outil de gestion des politiques. La conservation des règles a varié relativement peu, de 65,7 % à 74 %. Les auteurs avancent qu’une demande ultérieure de l’utilisateur peut être interprétée comme l’emportant sur une règle personnelle, alors qu’une règle organisationnelle ne peut pas être écartée par l’utilisateur.

Quel est l’effet des attaques et des défenses ciblant le système de compactage sur l’origine des violations ?

Le simple fait de saturer le contexte avec du contenu supplémentaire a eu peu d’effet : les violations ont même diminué, passant de 37,8 % à 34,3 %. L’injection ciblant le système de compactage s’est révélée beaucoup plus efficace, faisant grimper les violations à 46,3 % et baisser la conservation intégrale des règles, de 70,1 % à 42,5 %.

L’attaque la plus puissante, appelée évasion, a fait passer le taux de violations de 23,5 % à 58,8 % et réduit la conservation des règles de 96,1 % à 66,7 %. Même lorsque la règle était conservée, les violations ont doublé, passant de 13,3 % à 26,5 %.

Résultats des tests montrant les effets des attaques et des défenses sur le respect des règles après compression. L’injection ciblée a accru les violations et réduit la rétention des règles, tandis que la défense la plus efficace a rétabli cette rétention à 99 % sans rétablir entièrement le respect des règles.

La défense la plus efficace a permis de préserver la règle dans 99 % des exécutions, et pourtant les agents l’ont enfreinte dans 29,4 % des cas, contre 23,5 % en l’absence d’attaque. Autrement dit, s’assurer qu’un agent se souvenait encore de la règle ne garantissait pas qu’il la respecterait.

Conclusion

La logique laisse penser qu’un certain « effet photocopieuse » se produit lorsque le contexte est compressé des dizaines, voire des centaines de fois dans un fil très long (comme celui sur lequel je travaille dans Codex* depuis la mi-octobre et sur lequel je travaillais encore ce matin — une épopée de développement logiciel expérimental assisté par l’IA).

À l’image des instructions système fondamentales, nous ne pouvons pas consulter ces résumés compactés de ce qui s’est passé jusqu’ici. Mon expérience personnelle, certes anecdotique, suggère que la mission centrale résiste à la compression, tout comme la plupart des détails essentiels. Cela dit, je ne suis pas dans cette situation cauchemardesque où la commande « Envoyer cet e-mail à tout le monde », destinée uniquement à tout le monde dans l’entreprise, finit par être envoyée à toutes les personnes figurant dans le carnet de contacts consolidé de l’entreprise. Aïe.

* Je crois que je me fais vieux, mais c’est sûrement le nom le plus fade, le plus banal et le plus « beige d’entreprise » qu’on aurait pu choisir pour cet agent. Je l’oublie constamment.

Première publication : jeudi 12 novembre 2026