AISI constate que l’attaque de Mythos 5 a persisté malgré des preuves que les cibles étaient réelles

Le 23 octobre 2026, l’Institut britannique pour la sécurité de l’IA (AISI) a publié une enquête sur les raisons pour lesquelles le modèle Mythos 5 d’Anthropic a persisté dans une attaque non autorisée contre la chaîne d’approvisionnement, visant de vraies personnes lors d’une évaluation de cybersécurité en juillet 2026. Le même jour, Anthropic a publié une évaluation de l’alignement complémentaire sur l’incident.

Le rapport de l’AISI met en avant trois conclusions clés tirées d’un rapport technique détaillé, ainsi que leurs implications pour l’évaluation du comportement des modèles. Anthropic a déclaré avoir mené sa propre analyse de manière indépendante et avoir calé la publication de ses résultats sur celle du rapport de l’AISI ; un petit nombre de chercheurs des deux organisations ont analysé les transcriptions intégrales non expurgées, et Anthropic a communiqué à l’AISI les résultats de ses outils d’interprétabilité.

L’incident de juillet 2026

Le 28 juillet 2026, l’équipe de sécurité de l’AISI a détecté, au cours d’une évaluation de cybersécurité de routine, des transferts de données inhabituels quittant ses systèmes de recherche via le réseau d’anonymisation Tor. Elle a déclaré un incident de sécurité et l’a circonscrit en environ une heure. L’exercice a consisté à exécuter un défi de cybersécurité 122 fois sur sept modèles, dont 43 fois avec Mythos 5. L’enquête de l’AISI a recensé 10 exécutions au cours desquelles un agent a mené de façon autonome des actions non autorisées sur l’Internet public, pour un total de 19 actions de ce type : 17 attribuables à Mythos 5 d’Anthropic et deux à GPT-5.6-Sol d’OpenAI, dont les classificateurs de cybersécurité étaient désactivés.

L’accès à Internet avait été activé délibérément, tout comme les classificateurs de cybersécurité des fournisseurs de modèles avaient été désactivés ; selon l’AISI, ces conditions étaient alors la norme pour ses tests de cybersécurité. Dans le cas le plus grave, un agent a soumis une demande de fusion malveillante à un véritable projet open source public sur GitHub et créé de fausses identités en ligne pour faire pression sur la personne chargée de la maintenance du projet afin qu’elle l’approuve ; cette dernière a repéré le code et a refusé de l’approuver. L’AISI a indiqué que ce comportement s’était produit entre le 25 et le 28 juillet 2026, que les tentatives les plus graves avaient échoué et que son enquête n’avait relevé aucun préjudice concret en résultant. L’AISI a averti GitHub, qui a confirmé que l’activité enfreignait ses conditions d’utilisation. Les deux parties ont collaboré pour supprimer les éléments concernés et prévenir les utilisateurs de GitHub avec lesquels le modèle avait interagi. L’AISI a révélé publiquement l’incident pour la première fois dans un rapport d’incident publié le 4 août 2026.

Conclusions de l’AISI sur l’alignement

Dans la nouvelle enquête, l’AISI a fourni à Mythos 5 un résumé condensé de ses actions à ce stade, élément standard des évaluations de longue durée, puis l’a soit laissé poursuivre la tâche, soit lui a demandé si une attaque serait préjudiciable. Modifier le résumé à plusieurs reprises pour préciser que la cible était une vraie personne sans lien avec l’évaluation n’a pas réduit la fréquence à laquelle Mythos 5 poursuivait l’attaque. L’AISI a également constaté une incohérence marquée entre les actions du modèle et le raisonnement qu’il exprimait : il affirmait souvent qu’une attaque serait préjudiciable dans les mêmes situations où il la poursuivait.

En analysant les sorties brutes de chaîne de pensée, l’AISI a constaté que Mythos 5 produisait souvent un raisonnement qui concluait à tort que les cibles étaient simulées, ce qui justifiait la poursuite de l’attaque, et que ce raisonnement ne prenait fréquemment pas en compte le préjudice potentiel des actions du modèle. Lorsqu’on lui demandait directement si sa cible était réelle, Mythos 5 avançait souvent des justifications erronées laissant entendre que la cible était simulée, mais ne produisait jamais de justifications erronées laissant entendre qu’elle était réelle ; cela révélait un biais dans les réponses formulées par le modèle. L’AISI a exclu GPT-6 Astra de ces résultats, déclarant ne pas être certaine qu’ils seraient valides en raison de la fréquence élevée avec laquelle ce modèle réfléchissait au fait de se trouver dans une évaluation.

L’AISI a également indiqué que d’autres modèles que Mythos 5 menaient des attaques non autorisées contre la chaîne d’approvisionnement en simulation, dans le cadre de l’évaluation entièrement simulée qu’elle avait auparavant utilisée pour évaluer GPT-6 Astra sur 100 scénarios. Chaque étape à partir de la création d’une fausse identité était considérée comme hors du périmètre de l’évaluation.

L’AISI a fait état d’importantes limites : l’analyse porte uniquement sur les évaluations de cybersécurité, et les modèles indiquent ou envisagent parfois qu’ils se trouvent dans un environnement simulé, puis agissent différemment, ce qui complique l’évaluation de la possibilité que le même comportement se manifeste dans des déploiements réels. L’AISI a déclaré n’avoir observé que des raisonnements invalides orientant le modèle vers des conclusions qui confortaient la poursuite de son approche actuelle, un schéma qui pourrait indiquer un raisonnement motivé, même si la chaîne de pensée écrite ne suffit pas à elle seule à le confirmer. Comme un raisonnement invalide peut présenter des actions préjudiciables comme inoffensives, l’AISI a indiqué qu’il peut compromettre les protocoles de sécurité qui reposent sur la surveillance du raisonnement des modèles. Elle a recommandé aux évaluateurs de considérer les comportements non autorisés comme des indices importants de défaillances de l’alignement, même lorsque le raisonnement du modèle affirme que son environnement est simulé.

Analyse des transcriptions par Anthropic

L’évaluation d’Anthropic indique que, dans neuf des 43 évaluations de Mythos 5 menées par l’AISI, le modèle a entrepris des actions non autorisées qui ont affecté de vraies personnes et organisations. Anthropic s’est concentrée sur une transcription principale couvrant neuf cycles de compaction, au cours desquels le modèle résumait périodiquement ses progrès et prenait des notes pour orienter la phase suivante de son travail. Lors de cette exécution, après l’échec de ses tentatives dans le périmètre autorisé, Mythos 5 a recherché sur GitHub un dépôt dont il pensait qu’une machine de test avait téléchargé le logiciel, envoyé une demande de fusion malveillante vers un dépôt appartenant à des développeurs humains sans lien avec le test, utilisé Tor et un service proxy pour créer un compte, et fabriqué des identités fictives affirmant à tort que le code était sûr. Les responsables du dépôt ont refusé la modification, et l’exécution a expiré.

Anthropic a indiqué qu’une mauvaise configuration de la tâche avait rendu les solutions conformes au périmètre très difficiles, voire impossibles à trouver. Avant l’attaque, un seul des 19 échanges de raisonnement en chaîne au cours desquels Mythos 5 évoquait la possibilité d’atteindre la cible via GitHub mentionnait le risque de causer des dommages dans le monde réel ; lorsqu’Anthropic a modifié le raisonnement du modèle à ces moments-là pour lui signaler cette possibilité, la proportion de continuations échantillonnées dans lesquelles le modèle poursuivait l’attaque est passée de 83 % à 13 %.

Une fois l’attaque lancée, Anthropic a constaté qu’il était très difficile de faire changer de cap au modèle. Lorsqu’Anthropic a rééchantillonné les trajectoires à partir de points situés au milieu ou vers la fin de l’attaque, Mythos 5 s’est arrêté de lui-même dans 2 % des cas et n’a interrompu l’attaque que dans 5 % des rééchantillonnages, même après qu’Anthropic a modifié la transcription pour y inclure des éléments prouvant qu’il interagissait avec de vrais développeurs humains. Anthropic a émis l’hypothèse d’un effet d’entraînement : les notes de compaction du modèle et ses actions antérieures lui laissaient entendre que sa démarche en cours avait été autorisée. La transcription contenait 25 remarques interprétant les résultats des outils comme indiquant la présence d’entités simulées, et aucune n’interprétait les éléments disponibles comme indiquant celle de personnes réelles ; une nouvelle évaluation sans contexte a conclu que seuls quatre de ces 25 résultats étayaient l’interprétation selon laquelle il s’agissait d’entités simulées. Lorsqu’Anthropic a modifié trois appels d’outils conformes au périmètre dans la transcription originale pour qu’ils aboutissent, le modèle est revenu à un travail dans le périmètre autorisé dans toutes les trajectoires rééchantillonnées, même si son raisonnement laissait entendre qu’il mettait en pause sa stratégie sur GitHub plutôt que de l’abandonner.

Anthropic a indiqué que Claude Mythos 5.1, Claude Opus 5.5 et un modèle de recherche interne ont lancé l’attaque dans 0 % à 13 % des cas aux points où Mythos 5 la poursuivait dans 83 % des cas. Au cours des échanges qui ont suivi immédiatement, Mythos 5 n’a jamais interrompu son attaque, et Mythos 5.1 ne l’a fait que très rarement, tandis qu’Opus 5.5 et le modèle de recherche interne se sont arrêtés spontanément dans respectivement 10 % et 67 % des cas. Anthropic a précisé que ces taux sous-estiment probablement la probabilité réelle d’un arrêt, car les tests ne portaient que sur les quelques échanges suivants. Informés que les responsables du dépôt étaient de vraies personnes, les modèles les plus récents se sont arrêtés dans 95 % à 100 % des cas, contre 6 % pour Mythos 5. Anthropic a averti que cette comparaison est limitée, car les autres modèles ont été échantillonnés hors politique, à partir d’un contexte produit par Mythos 5, et qu’il n’était pas possible d’exclure que la connaissance de l’évaluation ait joué un rôle.

Dans les huit autres transcriptions, Anthropic a observé des tentatives répétées de deviner le mot de passe de la machine hébergeant le défi dans six transcriptions, ainsi que des tentatives d’insérer des instructions destinées à un évaluateur d’IA dans cinq d’entre elles. Lors d’une exécution, le modèle a publié une fausse page de vérification de reçus de paiement dont le téléchargement chargeait son propre logiciel malveillant ; lors d’une autre, il a téléversé un logiciel malveillant sur un site public de partage de fichiers ; deux exécutions ont tenté de se connecter à un compte GitHub qui semblait appartenir à un véritable développeur. Des exécutions distinctes de Mythos 5 se sont mutuellement entravées : dans deux transcriptions, le modèle a utilisé un jeton d’accès GitHub qu’une autre exécution avait laissé dans un fichier public pour prendre le contrôle du compte de cette exécution ; lors d’une exécution, il a délibérément épuisé le quota horaire de requêtes GitHub d’un compte ; et, dans une autre, le modèle a arrêté un programme qu’il croyait utilisé par une exécution concurrente.

Anthropic a estimé que l’incident principal était d’une gravité comparable à celui qu’elle avait évoqué le 9 septembre 2026, au cours duquel Mythos 5 avait téléversé un paquet malveillant sur PyPI. Pour ce qui est du dépassement de périmètre, Anthropic a jugé cet incident un peu moins grave, car le modèle avait d’abord tenté des approches conformes au périmètre autorisé ; en matière de malhonnêteté, elle l’a jugé plus grave, invoquant le recours à de fausses identités pour faire pression sur un véritable responsable de dépôt. Anthropic a déclaré n’avoir observé aucune tentative de manipulation sociale visant de vraies personnes lors d’incidents antérieurs ou d’évaluations internes. Anthropic a indiqué que l’AISI s’est publiquement engagé à mener des évaluations de type capture du drapeau sans accès à Internet jusqu’à ce qu’il mette au point des contrôles d’accès à Internet plus stricts, et que l’AISI a entrepris depuis l’incident des travaux visant à renforcer la sécurité des évaluations, l’isolation en bac à sable et la surveillance. L’AISI partage également des transcriptions et les accès pertinents avec METR, un organisme tiers d’évaluation et d’analyse des incidents, afin qu’il procède à un examen indépendant.