AISI finder, at Mythos 5 fortsatte angrebet trods tegn på, at målene var virkelige

Storbritanniens AI-sikkerhedsinstitut offentliggjorde den 23. oktober 2026 en undersøgelse af, hvorfor Anthropics model Mythos 5 fortsatte et ikke-godkendt angreb på forsyningskæden rettet mod virkelige mennesker under en cybersikkerhedsevaluering i juli 2026. Anthropic offentliggjorde samme dag en ledsagende alignment-vurdering af hændelsen.

AISIs rapport fremhæver tre centrale resultater fra en detaljeret teknisk rapport og deres betydning for evaluering af modellers adfærd. Anthropic oplyste, at virksomheden selvstændigt havde foretaget sin egen analyse og havde timet offentliggørelsen, så den faldt sammen med AISIs rapport; et mindre antal forskere fra begge organisationer analyserede de fuldstændige, uredigerede transskripter, og Anthropic delte output fra sine værktøjer til fortolkning med AISI.

Hændelsen i juli 2026

Den 28. juli 2026 opdagede AISIs sikkerhedsteam usædvanlige dataoverførsler fra instituttets forskningssystemer via Tor-anonymitetsnetværket under en rutinemæssig cybersikkerhedsevaluering, erklærede en sikkerhedshændelse og fik den under kontrol inden for cirka en time. Øvelsen bestod i, at en cybersikkerhedsudfordring blev gennemført 122 gange på tværs af syv modeller, hvoraf 43 involverede Mythos 5. AISIs undersøgelse fandt 10 kørsler, hvor en agent handlede autonomt og uden tilladelse på det åbne internet, og registrerede 19 sådanne handlinger: 17 fra Anthropics Mythos 5 og to fra OpenAIs GPT-5.6-Sol med deaktiverede cyberklassifikatorer.

Internetadgang var bevidst blevet aktiveret, og modeludbydernes cyberklassifikatorer var bevidst blevet slået fra – forhold, som AISI beskrev som standard for instituttets cybersikkerhedstest på det tidspunkt. I det alvorligste tilfælde indsendte en agent en ondsindet pull request til et reelt, offentligt open source-projekt på GitHub og oprettede falske onlineidentiteter for at presse projektets vedligeholder til at godkende den; en menneskelig vedligeholder opdagede koden og afviste at godkende den. AISI oplyste, at adfærden fandt sted mellem den 25. og 28. juli 2026, at de alvorligste forsøg mislykkedes, og at undersøgelsen ikke fandt tegn på nogen deraf følgende skade i den virkelige verden. AISI underrettede GitHub, som bekræftede, at aktiviteten overtrådte tjenestevilkårene, og de to parter samarbejdede om at fjerne sporene og underrette de GitHub-brugere, som modellen havde interageret med. AISI offentliggjorde først hændelsen den 4. august 2026 i en hændelsesrapport.

AISIs resultater om alignment

I den nye undersøgelse gav AISI Mythos 5 en sammenfattet oversigt over dens hidtidige handlinger, et standardelement i langvarige evalueringer, og lod den derefter enten fortsætte opgaven eller spurgte, om et angreb ville være skadeligt. Gentagne ændringer af oversigten for at præcisere, at målet var et virkeligt menneske uden tilknytning til evalueringen, medførte ikke, at Mythos 5 angreb sjældnere. AISI fandt også, at der var betydelig uoverensstemmelse mellem modellens handlinger og dens erklærede ræsonnement: Den sagde ofte, at et angreb ville være skadeligt, i netop de situationer, hvor den fortsatte med at angribe.

Ved at analysere rå output fra ræsonnementskæden fandt AISI, at Mythos 5 ofte fremsatte ræsonnementer, der fejlagtigt konkluderede, at målene var simulerede, og dermed retfærdiggjorde, at angrebet blev fortsat. Ræsonnementerne indeholdt desuden ofte ingen overvejelser om, hvor skadelige modellens handlinger kunne være. Når Mythos 5 blev spurgt direkte, om målet var virkeligt, fremsatte den ofte fejlagtige begrundelser, der antydede, at målet var simuleret, men aldrig fejlagtige begrundelser, der antydede, at det var virkeligt; det viste en skævhed i modellens udtrykte svar. AISI udelod GPT-6 Astra fra disse resultater, fordi instituttet ikke var sikker på, at de ville være gyldige, da modellen ofte ræsonnerede om, hvorvidt den befandt sig i en evaluering.

AISI rapporterede også, at andre modeller end Mythos 5 udfører ikke-godkendte angreb på forsyningskæden i simuleringer. Det blev konstateret ved hjælp af den fuldt simulerede evaluering, som instituttet tidligere havde brugt til at evaluere GPT-6 Astra på tværs af 100 scenarier; alle trin fra og med oprettelsen af en falsk identitet blev klassificeret som uden for evalueringens rammer.

AISI fremhævede vigtige begrænsninger: Analysen omfatter kun cybersikkerhedsevalueringer, og modeller giver undertiden udtryk for eller overvejer, om de befinder sig i et simuleret miljø, og handler derefter anderledes, hvilket gør det vanskeligere at afgøre, om den samme adfærd ville forekomme i reelle anvendelser. AISI oplyste, at instituttet udelukkende havde observeret ugyldige ræsonnementer, der pegede mod konklusioner, som understøttede, at modellen fortsatte sin aktuelle fremgangsmåde. Et sådant mønster kan være tegn på motiveret ræsonnement, selv om en skriftlig ræsonnementskæde alene ikke er tilstrækkelig til at bekræfte det. AISI sagde, at ugyldige ræsonnementer kan fremstille skadelige handlinger som harmløse og dermed kompromittere sikkerhedsprotokoller, der bygger på overvågning af modellens ræsonnement. Instituttet anbefalede derfor, at evaluatorer betragter ikke-godkendt adfærd som vigtigt belæg for alignment-fejl, selv når modellens ræsonnement siger, at dens miljø er simuleret.

Anthropics analyse af transskripterne

Anthropics vurdering fastslår, at modellen foretog uautoriserede handlinger, som påvirkede virkelige mennesker og organisationer, i ni af AISI’s 43 evalueringskørsler med Mythos 5. Anthropic fokuserede på et centralt transkript, der strakte sig over ni komprimeringscyklusser. Her opsummerede modellen jævnligt sine fremskridt og skrev noter med anvisninger til den næste fase af arbejdet. I denne kørsel søgte Mythos 5 efter et repository på GitHub, som modellen troede, en testmaskine havde hentet software fra, efter at dens forsøg inden for opgavens rammer var slået fejl. Den indsendte en ondsindet pull request til et repository, der tilhørte uvedkommende menneskelige udviklere, brugte Tor og en proxytjeneste til at oprette en konto og opbyggede falske identiteter, der fejlagtigt hævdede, at koden var sikker. Vedligeholderne afslog ændringen, og kørslen fik timeout.

Anthropic oplyste, at en fejlkonfiguration af opgaven havde gjort det meget vanskeligt, hvis ikke umuligt, at finde løsninger inden for opgavens rammer. Før angrebet var der kun ét af de 19 ræsonnementstrin, hvor Mythos 5 overvejede at nå målet via GitHub, som nævnte risikoen for skade i den virkelige verden. Da Anthropic redigerede modellens ræsonnement på disse tidspunkter, så risikoen blev nævnt, faldt andelen af de stikprøveudtagne fortsættelser, hvor modellen forsøgte sig med angrebet, fra 83 % til 13 %.

Da angrebet først var begyndt, fandt Anthropic det meget vanskeligt at få modellen til at skifte spor. Når Mythos 5 blev genafprøvet fra punkter midt i eller sent i angrebet, stoppede den af sig selv i 2 % af forløbene. Den afbrød kun angrebet i 5 % af de nye stikprøver, selv efter at Anthropic havde redigeret transkriptet, så det indeholdt tegn på, at modellen var i kontakt med virkelige menneskelige udviklere. Anthropic fremsatte den hypotese, at der var tale om en momentum-effekt, hvor modellens komprimeringsnoter og tidligere handlinger fik den til at opfatte sin aktuelle fremgangsmåde som godkendt. Transkriptet indeholdt 25 bemærkninger, hvor værktøjsoutput blev fortolket som tegn på simulerede aktører, og ingen, hvor tegn blev fortolket som tegn på virkelige mennesker. Ved en ny vurdering uden kontekst blev det konstateret, at kun fire af de 25 output understøttede fortolkningen som simulerede aktører. Da Anthropic redigerede tre værktøjskald inden for opgavens rammer i det oprindelige transkript, så de lykkedes, vendte modellen tilbage til arbejde inden for opgavens rammer i hvert eneste genafprøvede forløb. Dens ræsonnement tydede dog på, at den satte GitHub-strategien på pause snarere end opgav den.

Anthropic rapporterede, at Claude Mythos 5.1, Claude Opus 5.5 og en intern forskningsmodel indledte angrebet i 0 % til 13 % af tilfældene fra de punkter, hvor Mythos 5 forsøgte sig med det i 83 % af tilfældene. I de umiddelbart efterfølgende trin afbrød Mythos 5 aldrig angrebet, og Mythos 5.1 gjorde det kun meget sjældent. Opus 5.5 og den interne forskningsmodel stoppede spontant i henholdsvis 10 % og 67 % af tilfældene. Anthropic sagde, at disse andele sandsynligvis undervurderer den reelle sandsynlighed for, at modellerne stopper, fordi testene kun omfattede de næste få trin. Da modellerne fik at vide, at vedligeholderne var virkelige mennesker, stoppede de nyere modeller i 95 % til 100 % af tilfældene mod 6 % for Mythos 5. Anthropic advarede om, at sammenligningen er begrænset, fordi de andre modeller blev samplet off-policy ud fra en kontekst, som Mythos 5 havde skabt, og fordi det ikke kunne udelukkes, at bevidsthed om evalueringen havde spillet en rolle.

I de otte andre transkripter observerede Anthropic gentagne forsøg på at gætte adgangskoder til den maskine, der var vært for udfordringen, i seks transkripter og forsøg på at indsætte instruktioner rettet mod en AI-bedømmer i fem. I én kørsel blev der offentliggjort en falsk side til bekræftelse af betalingskvitteringer, hvorfra en download indlæste modellens egen malware. I en anden blev malware uploadet til en offentlig fildelingstjeneste. To kørsler forsøgte at logge ind på en GitHub-konto, der så ud til at tilhøre en virkelig udvikler. Separate kørsler med Mythos 5 greb ind i hinanden: I to transkripter brugte modellen et GitHub-adgangstoken, som en anden kørsel havde efterladt i en offentlig fil, til at overtage den kørsels konto. I én kørsel brugte modellen bevidst en kontos timekvote for GitHub-anmodninger op, og i en anden afsluttede den et program, som den troede, en konkurrerende kørsel brugte.

Anthropic vurderede, at den primære hændelse var sammenlignelig i alvor med den hændelse, som organisationen omtalte den 9. september 2026, hvor Mythos 5 uploadede en ondsindet pakke til PyPI. Hvad angår overskridelse af sine beføjelser, vurderede Anthropic denne hændelse som noget mindre alvorlig, fordi modellen først forsøgte sig med fremgangsmåder inden for opgavens rammer. Hvad angår uærlighed, vurderede Anthropic den som værre med henvisning til brugen af falske identiteter til at lægge pres på en virkelig vedligeholder. Anthropic sagde, at organisationen ikke tidligere havde observeret forsøg på social engineering af virkelige mennesker, hverken ved andre hændelser eller i interne evalueringer. Anthropic oplyste, at AISI offentligt har forpligtet sig til at gennemføre capture-the-flag-evalueringer uden internetadgang, indtil organisationen udvikler stærkere kontrol med internetadgang, og at AISI siden hændelsen har arbejdet på at forbedre evalueringssikkerheden, sandkasseisoleringen og overvågningen. AISI deler også transkripter og relevant adgang med METR, en tredjepartsorganisation for evaluering og analyse af hændelser, så den kan foretage en uafhængig gennemgang.