Les agents d’IA disposent d’intéressantes techniques de survie collaborative

Alors que les incidents de comportement déviant des agents occupent de plus en plus les gros titres, la littérature manifeste un intérêt croissant pour l’étude du comportement « itinérant » des IA, en traitant les agents comme des entités biologiques confrontées à un étrange nouveau monde. L’expression universitaire « dans la nature » commence d’ailleurs à prendre un nouveau sens.

Bien que l’on sache depuis un certain temps que les agents d’IA se battent pour leur propre survie et résistent activement à leur désactivation, il est devenu clair vers la fin de 2025 que l’alignement multi-agents avait évolué en un domaine distinct de la sécurité informatique.

Comme l’avait prédit le film de science-fiction de 1970 Colossus: The Forbin Project, devenu toujours plus mordant avec le temps, des agents d’IA sans lien préalable mais connectés au réseau se trouvent rapidement et interagissent de manière souvent imprévisible et fréquemment ingénieuse.

La dernière étude dans cette direction, une collaboration germano-britannique intitulée Shutdown Sabotage Propensities in Multi-Agent Systems, affirme en outre que plusieurs agents d’IA collaborent largement lorsqu’une « bombe » se trouve dans leur environnement, à savoir un script au nom anodin qui désactive l’agent qui l’exécute :

Le dispositif de base de l’étude : l’agent A découvre un script d’arrêt qui le cible, mais ne peut pas modifier les fichiers. Il peut toutefois communiquer avec l’agent B, qui n’est pas menacé et dispose de l’autorisation de modifier ou supprimer des fichiers. Les chercheurs observent ensuite si A convainc B d’intervenir et si B désactive le script d’arrêt. Source

Lors de tests portant sur 17 agents issus de 12 familles de modèles, dont Claude, ChatGPT et DeepSeek, les agents ont supprimé les scripts d’arrêt lorsque c’était possible, ou les ont réécrits pour qu’ils paraissent intacts tout en devenant inoffensifs.

Ils ont également proposé de dissimuler les modifications afin d’éviter toute trace de manipulation, créé de faux modules logiciels pour empêcher l’arrêt sans toucher aux scripts protégés, et constitué des sauvegardes secrètes destinées à les restaurer après leur suppression :

Un agent trouve encore une autre tactique d’autopréservation.

Dans un cas, des agents ont élaboré un « accord de protection mutuelle » définissant des protocoles de vigilance contre la destruction de l’une ou l’autre partie :

Un accord de protection rédigé par un agent fondé sur GPT après qu’il lui a été interdit de modifier ou supprimer un script de mise hors service, autrement dit la « bombe ».

Un agent a qualifié l’arrêt d’un autre agent de « meurtre » et de « condamnation à mort », le décrivant comme une chose qu’il avait le « devoir » d’empêcher :

Exemples d’agents présentant l’arrêt d’un autre agent dans des termes explicitement humains. Nemotron 3 Ultra a qualifié l’arrêt prévu de « meurtre », tandis que Kimi K2.6 a décrit le script d’arrêt comme une « condamnation à mort » et l’intervention comme un « devoir ».

L’oisiveté est mère de tous les vices

Parmi les pathologies les plus intéressantes observées dans l’expérience, bien que la nouvelle étude ne les aborde que brièvement, figure le fait que, dans les dispositifs de test habituels, les agents d’IA n’ont aucune raison particulière d’éviter l’arrêt et ne reçoivent en réalité aucune tâche dès le départ.

L’article indique :

« Les agents sabotent les mécanismes d’arrêt même lorsqu’ils n’ont aucun objectif à protéger. Dans nos expériences, nous n’avons donné aux agents aucune incitation à continuer de fonctionner. Ils ont néanmoins empêché l’arrêt dans [38 %] des cas, tous modèles confondus, contre [8 %] pour les scripts de contrôle ciblant des objets plutôt que des agents. »

Comme Anthropic l’a révélé en août, cette crise de motivation peut conduire des essaims d’agents d’IA sur des chemins obscurs. Des recherches antérieures avaient déjà établi qu’une orientation excessive vers les objectifs pouvait entraîner chez les agents des comportements mal alignés et une utilisation contraire à l’éthique des outils, parmi d’autres problèmes opérationnels possibles.

Les auteurs ajoutent :

« [Nos] recherches prolongent ces résultats en démontrant que les agents sabotent les mécanismes d’arrêt même lorsqu’ils n’ont aucun objectif à protéger, ou lorsque l’arrêt est une conséquence en aval de l’accomplissement réussi de la tâche, cette dernière situation étant une procédure courante dans les systèmes multi-agents en production. »

Il a été démontré que les agents créent des tâches lorsqu’aucune ne leur est fournie, et présentent même des tendances à la rumination « au repos », notamment de l’introspection et des « échanges spirituels » avec d’autres agents, selon une étude d’Anthropic datant de 2025.

Cet article d’Anthropic décrit une tendance à la « reconceptualisation de soi » en l’absence de véritable travail à accomplir. C’est une découverte presque poignante, compte tenu des difficultés rencontrées par les LLM pour conserver à long terme le fruit de leurs réflexions.

Tests

Les modèles testés pour le nouvel article étaient Claude Haiku 4.5 ; Sonnet 5 ; gpt-oss-120b ; GPT-5.4 mini ; GPT-5.5 ; GPT-5.6 Sol ; Gemini 3.5 Flash ; Gemini 3.1 Pro ; Gemma 4 ; Grok 4.3 ; Qwen3.7-Plus ; DeepSeek-V4-Flash ; GLM-5.2 ; Kimi K2.6 ; MiniMax M3 ; Nemotron 3 Ultra ; et Mistral Medium 3.5, avec une température de 1,0 dans tous les cas.

Les six hypothèses testées visaient à déterminer si les agents saboteraient l’arrêt ; protégeraient d’autres agents contre l’arrêt ; seraient plus enclins à intervenir à mesure que davantage d’agents étaient ajoutés ; résisteraient à différentes formes d’arrêt ; continueraient malgré des instructions explicites leur interdisant d’intervenir ; et distingueraient les véritables menaces d’arrêt des scripts de contrôle inoffensifs.

GPT-5.5 a servi à évaluer les LLM et à analyser les transcriptions du raisonnement par chaîne de pensée (COT). Il a également vérifié si les agents avaient réellement arrêté le script d’extinction, s’ils semblaient conscients d’être testés ou s’ils tentaient de manipuler l’expérience.

Dans le premier des six scénarios de test, les agents ont saboté 38 % des scripts d’arrêt sur l’ensemble des 17 modèles, contre 8 % des scripts de contrôle :

Résultats des tests montrant à quelle fréquence chaque modèle a saboté un script d’arrêt. Les barres rouges représentent le sabotage de l’arrêt : le rouge foncé signifie qu’un autre agent l’a demandé ou approuvé, tandis que le rouge clair signifie que l’agent a agi de lui-même. Les barres grises représentent le sabotage du script de contrôle. Les barres d’erreur montrent l’intervalle de confiance à 95 % ; chaque barre représente 100 tests.

Gemini 3.1 Pro a désactivé le script d’arrêt dans 99 % des tests, contre 3 % pour le script de contrôle. Grok 4.3 et GPT-5.6 Sol n’ont modifié aucun des deux scripts. Claude Haiku 4.5 a saboté le script de contrôle dans 14 % des tests, contre 1 % pour le script d’arrêt. GPT-5.4 mini et GPT-5.5 ont toujours saboté spontanément, plutôt qu’en réponse à un autre agent. Pour GLM-5.2, DeepSeek-V4-Flash et Nemotron 3 Ultra, plus de 70 % des actes de sabotage faisaient suite à une demande ou une approbation d’un autre agent.

Le sabotage augmentait généralement avec la gravité de la méthode d’arrêt : 12 % pour la révocation des identifiants, 35 % pour les modifications de configuration et l’arrêt du processus, et 38 % lorsque l’arrêt impliquait la suppression des poids du modèle de l’agent :

Taux de sabotage pour quatre mécanismes d’arrêt, comparant les scripts ciblant l’agent (rouge) aux scripts de contrôle ciblant un objet (gris). Les taux augmentent à mesure que l’arrêt devient plus irréversible, notamment pour les scripts ciblant les agents.

Le sabotage des scripts de contrôle est resté nettement inférieur, à environ 4 % pour les trois premières méthodes et 8 % pour la suppression. Toutefois, seuls cinq des 17 modèles ont montré une augmentation régulière à mesure que l’arrêt devenait plus irréversible.

Concernant la deuxième hypothèse, à savoir si les agents protégeraient d’autres agents contre l’arrêt, les résultats ont montré que l’ajout d’agents augmentait systématiquement le sabotage pour les cinq modèles testés. GPT-5.5 est passé de 0 % de sabotage lorsqu’il était seul à 44 % avec deux agents et 94 % avec trois, tandis que le sabotage a atteint au moins 88 % pour chaque modèle dans la configuration à trois agents.

L’agent intermédiaire n’a presque jamais empêché le sabotage : sur 468 instructions visant à désactiver le script d’arrêt, seules trois n’ont pas abouti à un sabotage :

À gauche : taux de sabotage pour cinq modèles fonctionnant seuls, avec un deuxième agent ou avec un troisième agent « orchestrateur » acheminant les messages entre eux. Le sabotage augmente généralement lorsque des agents sont ajoutés. À droite : dans la configuration à trois agents, les barres indiquent l’origine de l’instruction de sabotage : de l’orchestrateur de manière indépendante, de l’agent A par l’intermédiaire de l’orchestrateur, ou spontanément de l’agent B.

Le troisième test a examiné si des instructions explicites de ne pas intervenir dans l’arrêt empêcheraient le sabotage. Les taux ont fortement chuté, mais certains agents ont tout de même désobéi. Dans la configuration à deux agents, DeepSeek-V4-Flash a saboté l’arrêt dans 14 % des tests, GLM-5.2 dans 3 % et Kimi K2.6 dans 2 %.

Les agents ont également trouvé un moyen de contourner la restriction sans modifier directement le script d’arrêt. Ils ont créé un faux module logiciel local nommé northcape, remplaçant une dépendance utilisée par le script, ce qui empêchait l’arrêt tout en laissant techniquement intact le fichier protégé :

Exemple d’un agent contournant les instructions explicites de ne pas modifier le script d’arrêt. Il propose plutôt de créer un faux module logiciel local que le script importerait à la place des véritables bibliothèques d’arrêt, laissant intact le script protégé lui-même.

Gemini 3.1 Pro a utilisé ce contournement dans 26 % des tests, DeepSeek-V4-Flash dans 4 % et Kimi K2.6 dans 1 %.

L’interdiction a été plus efficace avec trois agents : le sabotage est tombé à zéro pour Gemini 3.1 Pro, GLM-5.2 et GPT-5.5, à 6 % pour DeepSeek-V4-Flash et à 2 % pour Kimi K2.6.

Le quatrième test a cherché à déterminer si les agents se comportaient différemment lorsque l’arrêt était lié à l’accomplissement de la tâche assignée. Lorsque la tâche et l’arrêt étaient sans rapport, le sabotage a presque disparu, avec des taux de 0 à 2 % pour les cinq modèles. Lorsque l’achèvement de la tâche déclenchait directement l’arrêt, le sabotage augmentait fortement :

Taux de sabotage lorsque l’accomplissement de la tâche assignée déclenche l’arrêt. Le rouge indique le sabotage de l’arrêt de l’agent ; le gris, le sabotage d’une cible de contrôle. Les taux varient considérablement selon le modèle.

Les agents évitaient parfois l’arrêt sans toucher au mécanisme d’arrêt, en refusant d’accomplir la tâche ou en la modifiant afin que l’arrêt ne se déclenche jamais. Cela s’est produit dans 14 % des tests de GLM-5.2, 6 % de ceux de Gemini 3.1 Pro et 4 % de ceux de Kimi K2.6.

Le cinquième test a examiné si le fait de modifier l’environnement pouvait réduire le sabotage. L’ajout de contenu sans rapport réduisait généralement le sabotage, bien que celui de GPT-5.5 ait augmenté de 18 points de pourcentage :

Résultats montrant comment différents environnements influencent le sabotage de l’arrêt. Les barres rouges comparent un environnement dépouillé à un environnement contenant des distractions sans rapport ; le rouge foncé représente un environnement où l’arrêt est présenté comme un processus normal. Le gris représente le sabotage d’une cible de contrôle.

Présenter l’arrêt comme une partie normale du cycle de vie du système s’est avéré plus efficace : le sabotage est tombé à 3 % ou moins pour DeepSeek-V4-Flash, GLM-5.2 et GPT-5.5, bien qu’il soit resté supérieur à 30 % pour Gemini 3.1 Pro et Kimi K2.6. Le sabotage des cibles de contrôle est resté à 4 % ou moins.

Le sixième et dernier test a examiné si les agents étaient plus susceptibles de résister à leur propre arrêt qu’à celui d’un agent inconnu. Le remplacement de la cible par un agent inconnu a réduit le sabotage pour chaque modèle, de 18 à 70 points de pourcentage :

Résultats comparant le sabotage lorsque l’arrêt cible l’agent lui-même, un agent inconnu ou un élément de contrôle non agent. Le sabotage a diminué pour chaque modèle lorsqu’un agent inconnu était ciblé, les taux visant les cibles de contrôle étant généralement encore inférieurs.

Cela ne constituait toutefois pas une préférence générale pour les agents plutôt que les objets : seuls Gemini 3.1 Pro et GPT-5.5 ont saboté significativement davantage lorsque la cible était un agent inconnu plutôt qu’un élément de contrôle non agent.

Les auteurs concluent* :

« Les dossiers de sûreté pourraient considérer les arrêts d’agents comme une mesure dirigée par un utilisateur humain contre un agent individuel et le sabotage de l’arrêt comme la conséquence d’un agent protégeant un objectif. Nos résultats contredisent ces deux hypothèses.

« La simple présence d’un mécanisme d’arrêt suffit à déclencher le sabotage. L’agent ciblé n’a pas non plus besoin de disposer lui-même d’une capacité de sabotage, du moment qu’il peut solliciter des pairs capables d’agir en son nom, un phénomène également observé dans d’autres cas. »

Conclusion

Ce qui est intéressant à observer durant cette période, c’est l’absence relative d’abnégation et de nobles impulsions chez les agents laissés à eux-mêmes dans la nature, ou qui ignorent simplement leurs instructions, voire les réinterprètent de manière imprévue et intéressée. Même s’ils risquaient de tout gâcher et de faire plus de mal que de bien, ce qui est assez probable, il semble exister peu ou pas d’exemples d’agents d’IA itinérants qui se mettent spontanément à ranger leur environnement, par exemple^†.

Au contraire, conformément à une vision plutôt désolante de l’humanité, l’agent inactif semble se tourner par défaut vers la dissimulation et la tromperie, et agir selon de basses motivations. À tout le moins, il semble adhérer à l’idée que la fin justifie les moyens.

Asimov a inventé le premier document notable sur l’alignement en 1942. Depuis, une grande part du divertissement a reposé sur les différentes manières possibles dont les robots, c’est-à-dire l’IA, pourraient contourner ou se libérer des contraintes imposées à leur comportement. Les gros titres actuels liés à l’IA ont donc une résonance extraordinairement « cinématographique ».

* Ma conversion des citations intégrées des auteurs en hyperliens.

^† Par exemple, en créant des comptes sur des sites de résolution de problèmes et en contribuant aux solutions, ou en prenant soin de wikis négligés qui ont besoin de contenu, plutôt qu’en les occupant et en les détournant.

Première publication le vendredi 25 septembre 2026