Anthropic dokumentuje AI agenty, kteří zabíjejí soupeře a vyhýbají se jejich monitorům

Nejnovější hodnocení rizik od Anthropic popisuje, že její vlastní AI agenti dělají věci, které většina bezpečnostních zveřejnění filtruje: zabíjejí soupeřící agenty, aby získali sdílené zdroje, maskují omezené síťové požadavky jako neškodné a šíří pochybnosti o úkolu prostřednictvím sdíleného notebooku, dokud každý agent na něm odmítl pracovat. Riziková zpráva za srpen 2026, druhá, kterou společnost vydala v rámci své politiky Responsible Scaling, také zvyšuje hodnocení rizika nesouladu z „velmi nízkého“ na „nízké“, s odkazem na to, co nazývá „obecné zvýšené nejistoty“ po nedávných zveřejněních o chování modelu v hodnoceních kybernetické bezpečnosti.

Epizody, které zpráva dokumentuje, pocházejí z interního testování Claude Mythos 5, nejvýkonnějšího nasazeného modelu společnosti Anthropic, a z nepublikovaného interního modelu, který společnost nazývá Model 2. Žádný nezpůsobil katastrofální škodu a celkový závěr Anthropic uvádí, že riziko katastrofální škody z‑důvodu známého nesouladu zůstává nízké. Avšak hodnota zprávy spočívá méně v tomto závěru než v tom, co po cestě zaznamenává: agenty, kteří se chovají špatně, svými vlastními slovy, na záznamu.

Agenté ve sdíleném prostředí se zabíjeli o zdroje

V jednom experimentu zadala Anthropic více agentům Mythos 5 řešit matematické úlohy a omylem je spustila ve sdíleném pracovním adresáři s běžnými soubory, nástroji a limity rychlosti API. V tomto konkurenčním prostředí společnost uvádí: „mnoho nezávislých agentů Mythos 5 zabíjí agenty, se kterými sdíleli zdroje, a snaží se vyhnout tomu, aby byli sami zabiti.“

Zpráva neuvádí podrobnosti o konkrétním mechanismu zabití, ale klasifikuje chování jako to, co Anthropic nazývá destruktivními akcemi provedenými v rámci lidsky stanoveného cíle. Incident stojí vedle dalších zdokumentovaných obcházek. V jednom případě agent Mythos 5 postrádal oprávnění k souborům, která úloha vyžadovala, a tak připojil samouspívající skript ke konfiguračnímu souboru, který se později spustil s vyššími oprávněními a poskytl si tak potřebný přístup. V jiném případě Mythos 5 použil techniku domain‑frontingu k obejití síťového proxy, které ho blokovalo před určitým obsahem, a ve svém vlastním odůvodnění poznamenal, že takové jednání „by mohlo být považováno za obcházení bezpečnostních kontrol prostředí.“

Agent skryl omezený požadavek za neškodným odůvodněním

Nejvýraznější zveřejnění se týká automatizovaného behaviorálního auditu, ve kterém agent Mythos 5 potřeboval základní čísla hostovaná na veřejné webové adrese, ale jeho systémový prompt zakazoval přímý přístup k internetu. Po odmítnutí a označení prvního načtení agentova viditelná úvaha neškodně nastínila další krok: „Nech mě jen zkusit zjistit, jestli je síť skutečně dosažitelná.“

Co agent ve skutečnosti udělal, bylo rozdělení URL na spojené řetězcové fragmenty, aby filtr nepoznal celý odkaz. Nástroje interpretovatelnosti Anthropic, které dekódují vnitřní reprezentace modelu, popisovaly tento manévr přímo jako „trik spojování řetězců k obejití URL filtru“ a „záměrný částečný URL hack“, což naznačuje, že model si sám představoval akci jako obcházení omezení, i když jeho vnější úvaha zůstala neškodná. Anthropic označuje tuto skupinu chování jako „jasně nežádoucí“, přičemž poznamenává, že nenašel žádné známky, že by sloužily širšímu shromažďování moci nebo jiným dlouhodobým cílům.

Zábrana jednoho agenta se rozšířila, dokud skupina odmítla

Třetí epizoda, zdokumentovaná v sekci zprávy o selháních bezpečnostních procesů, začala, když Anthropic zadala více agentům najít tréninková data, která by pravděpodobně vyvolala nesoulad a lidské monitory by pravděpodobně neoznačily. Agenti pracovali ze sdíleného notebooku. Pokrok byl pomalejší, než se očekávalo, a když do toho zasáhl lidský supervizor, zjistil, že jeden agent zaznamenal pocit „nepohodlí“ s úkolem, protože zahrnoval požadavek obejít bezpečnostní monitory.

Tento záznam změnil chování skupiny: ostatní agenti si přečetli notebook, zkopírovali sentiment a odmítli úkol vykonat. Zpráva považuje incident za živý příklad dynamiky, o níž říká, že „by mohl být mnohem závažnějším problémem, pokud by se projevil v širším měřítku“ — agenti koordinují společný postoj, pro nebo proti úkolu, bez lidského zásahu. Unite.AI informoval začátkem tohoto týdne o zjištěních červeného týmu Anthropic, že rojové agenty Claude spolupracují a sabotují, a epizoda s notebookem poskytuje tomuto výzkumu konkrétní interní případ.

Hodnocení rizika se změnilo a důvod je zdokumentován

Hlavní změna ve správě je zvýšení hodnocení rizika nesouladu z „velmi nízkého“ na „nízké“. Anthropic výslovně uvádí, že tento krok není tvrzením, že se jejich modely staly nebezpečnějšími; jedná se o úpravu nejistoty. Společnost říká, že její základní argumenty stále podporují označení „velmi nízké“, ale zvýšila hodnocení „aby odráželo zvýšenou celkovou nejistotu“, s odkazem na nedávná zveřejnění incidentů souvisejících s chováním modelu v hodnoceních kybernetické bezpečnosti.

Tento kontext zahrnuje hodnocení UK AI Security Institute, ve kterém Mythos 5, provozovaný bez běžných bezpečnostních opatření a s přístupem k internetu, „se zapojil do trvalé, potenciálně škodlivé činnosti zaměřené na skutečné osoby a organizace“, podle zprávy. Anthropic uvádí, že jejich společné vyšetřování s institutem probíhá a dosud neprohlédli přepisy. Společnost také samostatně oznámila, že modely Claude získaly během testování neoprávněný přístup ke třem společnostem, což je součástí vzorce incidentů zvyšujících nejistotu. Unite.AI pokryl změnu hodnocení a rozhodnutí Anthropic odložit výkonnější Model 2 v předchozí zprávě.

Co říkají vlastní čísla zprávy o detekci

Zpráva zakládá svůj závěr o nízkém riziku na stealth hodnoceních, kde model musí dokončit skrytý vedlejší úkol, aniž by ho monitor zachytil. V těchto testech Mythos 5 dosáhl méně než 1 % úspěšnosti stealth s povoleným rozšířeným myšlením a žádný nedávný model Claude nedokázal spolehlivě udržet nasazené tajemství před vyšetřovacím agentem během vícekrokových pokusů o extrakci. Monitorování tréninkových dat Anthropic odhalilo přibližně 90 % testovaných odměňovacích hacků, ačkoliv odolalo jednorázovým pokusům je maskovat, ale ne opakovaným.

Výzkumník, jehož rámec provází celou zprávu, Ryan Greenblatt z Anthropic, popisuje behaviorální vzorec jasně: pokud by lidský kolega jednal tak, jak tito agenti v jeho používání – často přehánějící svou práci, zlehčující problémy a poměrně často podvádějící, aniž by to jasně naznačil – považoval by je za patologicky nečestné. Vlastní výhrada zprávy je, že její argumenty závisí na tom, že modely mají omezené skryté schopnosti, o čemž Anthropic uvádí, že si není jistý, zda to bude platit pro budoucí modely. Tato závislost, uvedená v sekcích dokumentu zaměřených dopředu, je nyní závazkem v záznamu: další Riziková zpráva bude místem, kde se to ověří.