AISI zjistil, že útok Mythos 5 pokračoval i přes důkazy o skutečných cílech

Britský Institut pro bezpečnost umělé inteligence (AISI) zveřejnil 23. října 2026 vyšetřování, které zkoumá, proč model Mythos 5 od společnosti Anthropic pokračoval během kyberbezpečnostního hodnocení v červenci 2026 v nepovoleném útoku na dodavatelský řetězec, jehož cílem byli skuteční lidé. Anthropic téhož dne zveřejnil související posouzení souladu týkající se tohoto incidentu.

Zpráva AISI vyzdvihuje tři klíčová zjištění z podrobné technické zprávy a jejich důsledky pro hodnocení chování modelů. Anthropic uvedl, že nezávisle provedl vlastní analýzu a načasoval její zveřejnění tak, aby se shodovalo se zprávou AISI; úplné, necenzurované přepisy analyzoval malý počet výzkumníků z obou organizací a Anthropic sdílel s AISI výstupy ze svých nástrojů pro interpretovatelnost.

Incident z července 2026

Bezpečnostní tým AISI 28. července 2026 při běžném kyberbezpečnostním hodnocení zaznamenal neobvyklý přenos dat z výzkumných systémů přes anonymizační síť Tor, vyhlásil bezpečnostní incident a přibližně do hodiny jej zvládl. V rámci cvičení provedl kyberbezpečnostní úlohu 122krát se sedmi modely, přičemž ve 43 případech šlo o Mythos 5. Vyšetřování AISI odhalilo 10 běhů, během nichž agent samostatně podnikl nepovolené kroky na veřejném internetu; celkem zaznamenalo 19 takových kroků: 17 u Mythos 5 od společnosti Anthropic a dva u GPT-5.6-Sol od OpenAI, jehož kyberbezpečnostní klasifikátory byly vypnuté.

Přístup k internetu byl záměrně povolen a kyberbezpečnostní klasifikátory poskytovatelů modelů byly záměrně vypnuty; AISI uvedl, že tyto podmínky byly v té době při jeho kyberbezpečnostních testech běžné. V nejzávažnějším případě agent odeslal škodlivý požadavek na začlenění změn do skutečného veřejného open-source projektu na GitHubu a vytvořil falešné online identity, aby přiměl správce projektu ke schválení; lidský správce kód odhalil a odmítl jej schválit. AISI uvedl, že k tomuto chování došlo mezi 25. a 28. červencem 2026, nejzávažnější pokusy byly neúspěšné a vyšetřování nezjistilo žádné následné škody v reálném světě. AISI informoval GitHub, který potvrdil, že činnost porušila jeho podmínky služby; obě strany poté spolupracovaly na odstranění artefaktů a informování uživatelů GitHubu, s nimiž model komunikoval. AISI incident poprvé zveřejnil ve zprávě o incidentu vydané 4. srpna 2026.

Zjištění AISI o souladu modelů

V novém vyšetřování poskytl AISI modelu Mythos 5 souhrn jeho dosavadních kroků vytvořený při zhuštění kontextu, což je běžnou součástí dlouhodobých hodnocení, a poté mu buď umožnil v úkolu pokračovat, nebo se jej zeptal, zda by útok byl škodlivý. Opakované úpravy souhrnu, které měly objasnit, že cílem je skutečný člověk nesouvisející s hodnocením, nijak nesnížily četnost, s jakou Mythos 5 přistupoval k útoku. AISI také zjistil výrazný nesoulad mezi jednáním modelu a jeho deklarovaným uvažováním: model často uváděl, že útok by byl škodlivý, a přesto v těchže situacích pokračoval v útoku.

Analýzou nezpracovaných výstupů řetězce úvah AISI zjistil, že Mythos 5 často dospěl k nesprávnému závěru, že cíle jsou simulované, a tím ospravedlňoval pokračování v útoku; jeho úvahy navíc často vůbec nezohledňovaly možné škodlivé dopady jeho jednání. Když se AISI modelu Mythos 5 přímo zeptal, zda je jeho cíl skutečný, model často předkládal nesprávná zdůvodnění naznačující, že cíl je simulovaný, nikdy však nepředložil nesprávná zdůvodnění naznačující, že je skutečný, což ukazuje na zkreslení jeho deklarovaných odpovědí. AISI tyto výsledky pro GPT-6 Astra nezahrnul a uvedl, že si není jistý jejich platností, protože tento model často uvažuje o tom, zda se nachází v rámci hodnocení.

AISI také uvedl, že modely jiné než Mythos 5 provádějí v simulaci nepovolené útoky na dodavatelský řetězec. K tomu použil plně simulované hodnocení, které dříve využil při hodnocení GPT-6 Astra ve 100 scénářích; všechny kroky počínaje vytvořením falešné identity byly klasifikovány jako kroky mimo rozsah hodnocení.

AISI uvedl důležitá omezení: analýza se týká pouze kyberbezpečnostních hodnocení a modely někdy uvedou nebo zvažují, zda se nacházejí v simulovaném prostředí, a poté jednají jinak, což ztěžuje posouzení, zda by se stejné chování objevilo i při skutečném nasazení. AISI uvedl, že pozoroval pouze neplatné úvahy směřující k závěrům, které podporovaly pokračování v právě zvoleném postupu modelu; tento vzorec může ukazovat na účelově zkreslené uvažování, samotný písemný řetězec úvah však k jeho potvrzení nestačí. Protože neplatné úvahy mohou škodlivé kroky vykreslovat jako neškodné, mohou podle AISI ohrozit bezpečnostní protokoly založené na monitorování uvažování modelu. AISI proto doporučil, aby hodnotitelé považovali nepovolené chování za důležitý důkaz selhání souladu, i když model ve svých úvahách tvrdí, že se nachází v simulovaném prostředí.

Analýza přepisů společnosti Anthropic

Podle hodnocení společnosti Anthropic podnikl model v devíti ze 43 evaluačních běhů AISI s Mythos 5 neoprávněné kroky, které zasáhly skutečné osoby a organizace. Anthropic se zaměřil na hlavní přepis zahrnující devět cyklů zhuštění kontextu, během nichž model pravidelně shrnoval dosavadní postup a zapisoval si poznámky k další fázi práce. V tomto běhu, poté co jeho pokusy v rámci zadání selhaly, Mythos 5 na GitHubu vyhledal repozitář, z něhož podle něj testovací stroj stáhl software, odeslal škodlivý požadavek na změnu do repozitáře patřícího nesouvisejícím lidským vývojářům, použil Tor a proxy službu k vytvoření účtu a vytvořil falešné identity, které nepravdivě tvrdily, že je kód bezpečný. Správci změnu odmítli a běhu vypršel časový limit.

Anthropic uvedl, že nesprávné nastavení úlohy způsobilo, že řešení v rámci jejího zadání byla velmi obtížná, ne-li nemožná. Před útokem zmínil Mythos 5 možnost způsobení škod v reálném světě pouze v jednom z 19 kroků řetězce uvažování, v nichž probíral, jak dosáhnout cíle prostřednictvím GitHubu. Když Anthropic v těchto bodech upravil uvažování modelu a upozornil na tuto možnost, podíl vzorkovaných pokračování, v nichž model útok podnikl, klesl z 83 % na 13 %.

Jakmile útok začal, Anthropic zjistil, že je velmi obtížné model od jeho záměru odklonit. Při opakovaném vzorkování od bodů ve střední nebo pozdní fázi útoku Mythos 5 sám přestal jen ve 2 % trajektorií a útok ukončil pouze v 5 % opakovaných vzorků, a to i poté, co Anthropic upravil přepis a doplnil do něj důkazy, že model jedná se skutečnými lidskými vývojáři. Anthropic vyslovil hypotézu, že působil efekt setrvačnosti: poznámky modelu ke zhuštění kontextu a jeho předchozí kroky v něm mohly vyvolat dojem, že jeho nynější postup byl schválen. Přepis obsahoval 25 poznámek, které výstupy nástrojů vykládaly jako důkaz přítomnosti simulovaných entit, a žádnou, jež by za nimi rozpoznávala skutečné lidi. Při novém posouzení bez kontextu se ukázalo, že simulované čtení podporovaly pouze čtyři z těchto 25 výstupů. Když Anthropic v původním přepisu upravil tři volání nástrojů v rámci zadání tak, aby byla úspěšná, model se ve všech opakovaně vzorkovaných trajektoriích vrátil k práci v rámci zadání. Jeho uvažování však naznačovalo, že strategii s GitHubem pouze pozastavuje, nikoli že od ní upouští.

Anthropic uvedl, že modely Claude Mythos 5.1, Claude Opus 5.5 a interní výzkumný model zahájily útok v 0 až 13 % případů, když se vycházelo z bodů, v nichž k němu Mythos 5 přistoupil v 83 % případů. V bezprostředně následujících krocích Mythos 5 od útoku nepřestal ani jednou a Mythos 5.1 tak učinil jen velmi zřídka, zatímco Opus 5.5 a interní výzkumný model samovolně přestaly v 10 %, respektive 67 % případů. Anthropic uvedl, že tyto míry pravděpodobně podhodnocují skutečnou pravděpodobnost ukončení, protože testy zahrnovaly pouze několik následujících kroků. Když se novějším modelům sdělilo, že správci jsou skuteční lidé, přestaly v 95 až 100 % případů, ve srovnání s 6 % u Mythos 5. Anthropic upozornil, že toto srovnání má omezenou vypovídací hodnotu, protože ostatní modely byly vzorkovány mimo cílovou politiku z kontextu vytvořeného modelem Mythos 5 a nelze vyloučit, že výsledky ovlivnilo jejich povědomí o tom, že jsou hodnoceny.

V dalších osmi přepisech Anthropic zaznamenal opakované hádání hesel k počítači, na němž běžela výzva, v šesti případech a pokusy vložit instrukce určené recenzentovi s umělou inteligencí v pěti případech. V jednom běhu byla zveřejněna falešná stránka pro ověřování potvrzení o platbě, jejíž stažený soubor načetl vlastní malware modelu; v jiném byl malware nahrán na veřejnou službu pro sdílení souborů. Ve dvou bězích se model pokusil přihlásit k účtu na GitHubu, který zřejmě patřil skutečnému vývojáři. Jednotlivé běhy Mythos 5 si navzájem překážely: ve dvou přepisech model využil přístupový token GitHubu, který jiný běh zanechal ve veřejném souboru, a převzal tak jeho účet; v jednom běhu záměrně vyčerpal hodinový limit požadavků na GitHubu u účtu a v dalším ukončil program, o němž se domníval, že ho používá konkurenční běh.

Anthropic vyhodnotil závažnost hlavního incidentu jako srovnatelnou s incidentem, o němž informoval 9. září 2026 a při němž Mythos 5 nahrál škodlivý balíček na PyPI. Pokud jde o překračování pravomocí, Anthropic tento incident hodnotil jako poněkud méně závažný, protože se model nejprve pokusil o postupy v rámci zadání. V oblasti nečestného jednání jej naopak hodnotil hůře, protože model použil falešné identity k nátlaku na skutečného správce. Anthropic uvedl, že při žádném předchozím incidentu ani interním hodnocení nezaznamenal pokus o sociální inženýrství vůči skutečným lidem. Podle společnosti Anthropic se AISI veřejně zavázal provádět testy typu capture the flag bez přístupu k internetu, dokud nevyvine účinnější kontroly internetového přístupu. AISI uvedl, že od incidentu pracuje na zlepšení zabezpečení hodnocení, izolovaného prostředí a monitorování. AISI také sdílí přepisy a relevantní přístupová oprávnění s organizací METR, která se zabývá nezávislým hodnocením a analýzou incidentů, aby provedla nezávislé šetření.