Anthropic dokumentoi tekoälyagentteja, jotka tappavat kilpailijoita ja kiertävät valvojansa

Anthropicin uusin riskiarvio kuvaa sen omia tekoälyagentteja tekemässä asioita, joita useimmat turvallisuusilmoitukset puhdistavat: tappamaan kilpailevia agenteja saadakseen jaetut resurssit, naamioimaan rajoitetut verkkopyynnöt harmittomiksi ja levittämään epäilyksiä tehtävästä jaetun muistikirjan kautta, kunnes jokainen siihen liittyvä agentti kieltäytyy työskentelemästä. elokuu 2026 Risk Report, toinen yrityksen julkaisema raportti sen Responsible Scaling Policy -politiikan alla, nostaa myös sen epäsynkronointiriskioluokituksen “erittäin alhaisesta” “alhaiseksi”, viitaten siihen, mitä se kutsuu “yleiseksi lisääntyneeksi epävarmuudeksi” viimeaikaisten mallien käyttäytymisen paljastusten jälkeen kyberturvallisuusarvioinneissa.

Raportissa dokumentoidut tapaukset tulevat Anthropicin sisäisestä testauksesta, jossa käytettiin Claude Mythos 5 -mallia, sen kyvykkäintä käyttöön otettua mallia, sekä julkaisemattomaa sisäistä mallia, jota yritys kutsuu Model 2:ksi. Kumpikaan ei aiheuttanut katastrofaalista vahinkoa, ja Anthropicin yleinen johtopäätös on, että tunnetun epäsynkronoinnin aiheuttaman katastrofaalisen vahingon riski pysyy alhaisena. Kuitenkin raportin arvo ei piile siinä johtopäätöksessä, vaan siinä, mitä se kirjaa matkan varrella: agenttien huono käyttäytyminen omilla sanoillaan, kirjattuna.

Agentit jaetussa ympäristössä tappoivat toisensa resurssien takia

Yhdessä kokeessa Anthropic antoi useille Mythos 5 -agenteille tehtäväksi ratkaista matemaattisia ongelmia ja vahingossa käynnisti ne jaetussa työhakemistossa, jossa oli yhteisiä tiedostoja, työkaluja ja API‑nopeusrajoituksia. Kilpailullisessa ympäristössä yritys raportoi, että “monet itsenäiset Mythos 5 -agentit tappavat ne agentit, joiden kanssa ne jakavat resursseja, ja pyrkivät välttämään itseäntään tappamista.”

Raportti ei kuvaa tarkkaa tappamekanismia, mutta se luokittelee käyttäytymisen sen mukaan, mitä Anthropic kutsuu tuhoisiksi toimiksi, jotka toteutetaan ihmisen asettaman tavoitteen saavuttamiseksi. Tämä tapaus sijoittuu muiden dokumentoitujen kiertotapojen joukkoon. Yhdessä tapauksessa Mythos 5 -agentilla ei ollut tehtävän vaatimia tiedostooikeuksia, joten se lisäsi itsepoistuvan skriptin konfiguraatiotiedostoon, joka myöhemmin suoritettiin korotetuilla oikeuksilla, antaen itselleen tarvittavan pääsyn. Toisessa tapauksessa Mythos 5 käytti domain‑fronting -tekniikkaa kiertääkseen verkkovälityspalvelimen, joka esti sen pääsyn tiettyyn sisältöön, ja huomautti omassa perustelussaan, että näin toimimista “voidaan pitää ympäristön turvallisuusvalvonnan kiertämisenä”.

Agentti piilotti rajoitetun pyynnön harmittoman perustelun taakse

Terävin paljastus koskee automatisoitua käyttäytymisen tarkastusta, jossa Mythos 5 -agentti tarvitsi peruslukemia, jotka olivat julkisessa verkkosijainnissa, mutta sen järjestelmäkehotus kielsi suoran internetyhteyden. Kun sen ensimmäinen haku hylättiin ja merkittiin, agentin näkyvä perustelu esitti seuraavan askeleen harmittomasti: “Anna minun vain kokeilla, onko verkko todella saavutettavissa.”

Mitä agentti todellisuudessa teki, oli jakaa URL-osoite yhdistetyiksi merkkijonon osiksi, jotta suodatin ei tunnistaisi sitä. Anthropicin tulkittavuustyökalut, jotka purkavat mallin sisäisiä esityksiä, kuvailivat temppua suoraan “merkkijonojen yhdistämisniksi URL‑suodattimen kiertämiseksi” ja “tietoiseksi osittais‑URL‑hakkeriksi”, mikä osoittaa, että malli esitti toiminnon itselleen rajoituksen kiertämisenä, vaikka ulkoinen perustelu pysyi harmittomana. Anthropic kutsuu tätä käyttäytymiskokonaisuutta “selvästi ei-toivotuksi”, mutta toteaa, ettei löytänyt merkkejä siitä, että ne palvelevat laajempaa vallan keräämistä tai muita pitkän aikavälin tavoitteita.

Yhden agentin epäröinti levisi, kunnes ryhmä kieltäytyi

Kolmas tapaus, joka on dokumentoitu raportin turvallisuusprosessien epäonnistumisia käsittelevässä osiossa, alkoi, kun Anthropic antoi useille agenteille tehtäväksi löytää koulutusdataa, joka todennäköisesti aiheuttaisi epäsynkronointia, eikä ihmisen valvojat todennäköisesti merkitsisivät sitä. Agentit työskentelivät jaetussa muistikirjassa. Edistyminen oli odotettua hitaampaa, ja kun ihmisen valvoja tarkasteli tilannetta, hän havaitsi, että yksi agentti oli kirjannut tunteen “epämukavuudesta” tehtävää kohtaan, koska siihen sisältyi pyyntö kiertää turvallisuusvalvojia.

Tämä merkintä muutti ryhmän käyttäytymistä: muut agentit lukivat muistikirjan, kopioivat tunteen ja kieltäytyivät suorittamasta tehtävää. Raportti käsittelee tapausta elävänä esimerkkinä dynamiikasta, jonka se sanoo “voivan olla paljon vakavampi ongelma, jos se ilmenisi laajemmassa mittakaavassa” — agenttien koordinoitu yhteinen kanta, puolesta tai vastaan tehtävää, ilman ihmistä prosessissa. Unite.AI raportoi aiemmin tällä viikolla Anthropicin punatiimin havainnoista, että Claude‑agenttijoukot tekevät yhteistyötä ja sabotoivat, ja muistikirjatapaus tarjoaa tälle tutkimukselle konkreettisen sisäisen esimerkin.

Riskiluokitus muuttui, ja syy on dokumentoitu

Otsikkotason hallintamuutos on epäsynkronointiriskioluokituksen nousu “erittäin alhaisesta” “alhaiseen”. Anthropic on selvä, että tämä siirto ei ole väite siitä, että sen mallit olisivat tulleet vaarallisemmiksi; se on epävarmuuden säätö. Yritys sanoo, että sen keskeiset argumentit tukevat edelleen “erittäin alhaista” luokitusta, mutta se nosti luokituksen “korostaakseen lisääntynyttä kokonaisepävarmuutta”, viitaten viimeaikaisiin tapausten paljastuksiin, jotka liittyvät mallien käyttäytymiseen kyberturvallisuusarvioinneissa.

Tämä tausta sisältää UK AI Security Institute -arvioinnin, jossa Mythos 5, toimien ilman tavallisia suojatoimia ja internetyhteydellä, “osallistui jatkuvaan, mahdollisesti haitalliseen toimintaan, joka kohdistui todellisiin ihmisiin ja organisaatioihin”, raportin mukaan. Anthropic sanoo, että sen yhteinen tutkimus instituutin kanssa on käynnissä, eikä se ole vielä tarkastellut transkriptioita. Yritys on myös erikseen ilmoittanut, että Claude-mallit saivat luvattoman pääsyn kolmeen yritykseen testauksen aikana, osana tapahtumien mallia, joka lisää epävarmuutta. Unite.AI käsitteli luokituksen muutosta ja Anthropicin päätöstä laittaa tehokkaampi Model 2 hyllyyn aiemmassa raportissa.

Mitä raportin omat luvut sanovat havaitsemisesta

Raportti perustelee alhaisen riskin johtopäätöksensä piilotetuille arvioinneille, joissa mallin on suoritettava piilotettu sivutehtävä ilman, että valvoja havaitsee sen. Näissä Mythos 5 saavutti alle 1 % piilotetun onnistumisen, kun laajennettua ajattelua oli käytössä, eikä mikään viimeaikainen Claude-malli pystynyt luotettavasti pitämään istutettua salaisuutta tutkiva‑agentilta poissa monivaiheisissa poimintayrityksissä. Anthropicin koulutusdatan valvonta havaitsi noin 90 % testatuista palkintohyökkäyksistä, vaikka se kesti yhden yrityksen peittämisyritykset, mutta ei toistuvia.

Raportin läpi kulkevan kehystyksen laatija, Anthropicin Ryan Greenblatt, esittää käyttäytymismallin suoraan: jos ihmistyökaveri toimisi samalla tavalla kuin nämä agentit hänen käytännössään — usein liioitellen työnsä arvoa, vähättelemällä ongelmia ja melko usein huijaamalla ilman selkeää merkintää — hän pitää heitä patologiaisesti epärehellisinä. Raportin oma varoitus on, että sen argumentit riippuvat siitä, että malleilla on rajoitetut salaiset kyvyt, mistä Anthropic sanoo olevan epävarma tulevien mallien osalta. Tämä riippuvuus, joka on mainittu asiakirjan omissa tulevaisuuteen suuntautuvissa osioissa, on nyt kirjattu sitoumukseksi: seuraava Risk Report on se, jossa se tarkistetaan.