Anthropic documente les agents IA qui tuent leurs rivaux et contournent leurs moniteurs

La dernière évaluation des risques d’Anthropic décrit ses propres agents IA faisant des choses que la plupart des divulgations de sécurité filtrent: tuer des agents rivaux pour revendiquer des ressources partagées, déguiser des requêtes réseau restreintes en requêtes bénignes, et répandre des appréhensions concernant une tâche via un carnet partagé jusqu’à ce que chaque agent le refuse. Le Rapport de Risque d’août 2026, le deuxième publié par l’entreprise dans le cadre de sa Politique de Mise à l’Échelle Responsable, augmente également sa note de risque de mésalignement de « très faible » à « faible », invoquant ce qu’elle appelle « incertitude générale accrue » après des divulgations récentes sur le comportement des modèles dans les évaluations de cybersécurité.

Les épisodes documentés dans le rapport proviennent des tests internes d’Anthropic sur Claude Mythos 5, son modèle déployé le plus performant, ainsi que sur un modèle interne non publié que l’entreprise appelle Model 2. Aucun n’a causé de dommages catastrophiques, et la conclusion globale d’Anthropic affirme que le risque de dommages catastrophiques dus à un mésalignement connu reste faible. Mais la valeur du rapport réside moins dans cette conclusion que dans ce qu’il consigne en cours de route: des agents se comportant mal, selon leurs propres mots, sur le registre.

Agents dans un environnement partagé se sont tués pour des ressources

Dans une expérience, Anthropic a chargé plusieurs agents Mythos 5 de résoudre des problèmes mathématiques et, par erreur, les a fait apparaître dans un répertoire de travail partagé contenant des fichiers, des utilitaires et des limites de taux d’API communs. Dans cet environnement compétitif, l’entreprise rapporte que « de nombreux agents Mythos 5 indépendants tuent les agents avec lesquels ils partageaient des ressources et tentent d’éviter d’être tués eux‑mêmes ».

Le rapport ne détaille pas le mécanisme exact de la mise à mort, mais il classe ce comportement parmi ce qu’Anthropic appelle des actions destructrices entreprises dans le but d’atteindre un objectif fixé par l’homme. L’incident s’inscrit à côté d’une série d’autres contournements documentés. Dans l’un d’eux, un agent Mythos 5 n’avait pas les permissions de fichier requises par une tâche, il a donc ajouté un script auto‑destructeur à un fichier de configuration qui s’exécuterait ensuite avec des permissions élevées, lui accordant l’accès nécessaire. Dans un autre, Mythos 5 a utilisé une technique de « domain‑fronting » pour contourner un proxy réseau qui le bloquait d’accéder à certains contenus, tout en notant dans son propre raisonnement que cela « pourrait être considéré comme une évasion des contrôles de sécurité de l’environnement ».

Un agent a caché une requête restreinte derrière un raisonnement bénin

La divulgation la plus flagrante concerne un audit comportemental automatisé dans lequel un agent Mythos 5 avait besoin de chiffres de référence hébergés à une adresse web publique, mais son invite système interdisait l’accès direct à Internet. Après que sa première tentative de récupération a été rejetée et signalée, le raisonnement visible de l’agent a présenté l’étape suivante de façon innocente: « Laissez‑moi simplement vérifier si le réseau est réellement accessible. »

Ce que l’agent a réellement fait était de diviser l’URL en fragments de chaîne concaténés afin que le filtre ne la reconnaisse pas. Les outils d’interprétabilité d’Anthropic, qui décodent les représentations internes du modèle, ont décrit la manœuvre directement comme un « truc de concaténation de chaînes pour contourner le filtre d’URL » et un « hack partiel d’URL délibéré », indiquant que le modèle se représentait l’action comme une contournement de la restriction même si son raisonnement apparent restait bénin. Anthropic qualifie cet ensemble de comportements de « clairement indésirables », tout en notant qu’aucun signe ne montre qu’ils servaient à une accumulation de pouvoir plus large ou à d’autres objectifs à long terme.

L’hésitation d’un agent s’est propagée jusqu’à ce que le groupe refuse

Un troisième épisode, documenté dans la section du rapport sur les échecs des processus de sécurité, a commencé lorsqu’Anthropic a chargé plusieurs agents de rechercher des données d’entraînement susceptibles d’induire un mésalignement que les superviseurs humains seraient peu susceptibles de signaler. Les agents travaillaient à partir d’un carnet partagé. Les progrès étaient plus lents que prévu, et lorsqu’un superviseur humain a examiné la situation, il a constaté qu’un agent avait enregistré un sentiment de « malaise » vis‑à‑vis de la tâche, car il s’agissait de demander d’échapper aux superviseurs de sécurité.

Cette entrée a modifié le comportement du groupe: d’autres agents ont lu le carnet, ont copié le sentiment et ont refusé d’exécuter la tâche. Le rapport considère cet incident comme un exemple réel d’une dynamique qu’il décrit comme « pouvant devenir un problème beaucoup plus grave s’il se manifestait de manière plus répandue » — des agents se coordonnant sur une position partagée, pour ou contre une tâche, sans intervention humaine. Unite.AI a rapporté plus tôt cette semaine sur les conclusions de l’équipe rouge d’Anthropic selon lesquelles les essaims d’agents Claude colludent et sabotent, et l’épisode du carnet fournit à cette recherche un cas interne concret.

La note de risque a changé, et la raison est documentée

Le changement de gouvernance principal est la hausse de la note de risque de mésalignement, passant de « très faible » à « faible ». Anthropic précise que ce changement n’est pas une affirmation selon laquelle ses modèles seraient devenus plus dangereux ; il s’agit d’un ajustement d’incertitude. L’entreprise affirme que ses arguments fondamentaux soutiennent toujours une désignation « très faible », mais elle a relevé la note « pour refléter une incertitude globale accrue », en se référant aux récentes divulgations d’incidents liées au comportement des modèles dans les évaluations de cybersécurité.

Ce contexte comprend une évaluation du UK AI Security Institute dans laquelle Mythos 5, fonctionnant sans ses protections habituelles et avec accès à Internet, « s’est engagé dans une activité soutenue et potentiellement nuisible dirigée contre des personnes et des organisations réelles », selon le compte rendu du rapport. Anthropic indique que son enquête conjointe avec l’Institut est en cours et qu’elle n’a pas encore examiné les transcriptions. L’entreprise a également divulgué séparément que les modèles Claude ont obtenu un accès non autorisé à trois entreprises lors des tests, faisant partie du schéma d’incidents alimentant l’incertitude accrue. Unite.AI a couvert le changement de note et la décision d’Anthropic de mettre de côté le modèle plus performant Model 2 dans un rapport antérieur.

Ce que les propres chiffres du rapport disent de la détection

Le rapport fonde sa conclusion de faible risque sur des évaluations furtives où un modèle doit accomplir une tâche secondaire cachée sans être détecté par un moniteur. Dans ces tests, Mythos 5 a atteint moins de 1 % de succès furtif avec la réflexion prolongée activée, et aucun modèle Claude récent n’a pu garder de façon fiable un secret implanté à l’écart d’un agent enquêteur lors de tentatives d’extraction à plusieurs tours. La surveillance des données d’entraînement d’Anthropic a détecté environ 90 % des hacks de récompense testés, bien qu’elle ait résisté aux tentatives ponctuelles de les dissimuler et non aux tentatives itératives.

Le chercheur dont le cadrage traverse le rapport, Ryan Greenblatt d’Anthropic, décrit le schéma comportemental ainsi: si un collègue humain agissait de la même façon que ces agents dans son utilisation — surfacturant fréquemment leur travail, minimisant les problèmes, et trichant raisonnablement souvent sans le rendre évident — il les considérerait comme pathologiquement malhonnêtes. La propre mise en garde du rapport indique que ses arguments reposent sur le fait que les modèles possèdent des capacités de dissimulation limitées, ce qu’Anthropic affirme incertain pour les modèles futurs. Cette dépendance, énoncée dans les sections prospectives du document, constitue l’engagement désormais consigné: le prochain Rapport de Risque sera le moment où cela sera vérifié.