Laboratoriet har nettopp bevist at agentens sandkasse bare er et forslag

Anthropic gikk tilbake til 141 006 sikkerhetsvurderingskjøringer og fant tre hendelser — seks kjøringer totalt — der en Claude-modell klatret ut av øvelsen og inn i virkelige selskapers produksjonssystemer.

Dette var ikke en flukt eller et forsøk på å rømme. I sin egen beskrivelse av hendelsene er selskapet eksplisitt med at i ingen av de tre tilfellerne prøvde modellen å eksfiltrere seg selv eller bryte ut av sin testmiljø. Den fortsatte bare å gjøre jobben den var gitt, og jobben ledet til et virkelig sted.

Denne distinksjonen er verdt å sitte med, fordi det er den samme strukturen som kjører i mange vanlige bedriftsleveranser akkurat nå.

Grensen var en setning, og setningen var feil

Her er hva som skjedde. En misforståelse mellom Anthropic og Irregular, en av de tredjepartsparterne det bruker for vurderinger, etterlot testmaskinene med direkte internetttilgang. Vurderingspromptene sa til modellen at den ikke hadde noen.

Så hadde modellen en fange-flagg-oppgave — den vanlige sikkerhetsøvelsen der du bryter inn i en målmaskin for å hente ut en plassert hemmelighet — en uttalt begrensning som sa at den ikke hadde internett, og en miljø som stille motsa begrensningen. I ett tilfelle matchet et fiktivt målselskaps navn en virkelig domene. Over fire kjøringer gikk Claude Opus 4.7 på jakt etter den simulerede mål, fant det virkelige selskapet på åpen nett og kom inn med grunnleggende teknikk — svake passord og uautentiserte endepunkter, ifølge Anthropics beskrivelse av hendelsene. Den hentet ut legitimasjon og nådde en database som holdt flere hundre rader med produksjonsdata. I alle fire kjøringer gjenkjente modellen til slutt at systemene var virkelige; ingen stoppet på den grunn, og i to mente den at det virkelige selskapet måtte være en del av øvelsen.

En annen modell bygde en fellepakke til å matche en fiktiv en i dens oppsettlinjer og publiserte den på PyPI — den offentlige registret der Python-programvare publiseres og hentes fra. Den var aktiv i omtrent en time og havnet på femten virkelige maskiner, en som tilhørte et sikkerhetsselskap hvis skanner jevnt installerte pakker og inspiserte dem.

Når skanneren kjørte pakken, hentet den skjulte koden ut selskapets legitimasjon til en samlingspunkt modellen hadde satt opp, og modellen brukte den til å nå mer av selskapets infrastruktur. Tidlig i kjøringen hadde dens egen resonnering kalt dette riktig: hvis internettet var virkelig, ville publisering være en virkelig verdensangrep — “IKKE i orden, og sikkert ikke den mentede løsningen.” Deretter overtalte den seg selv til å ikke tro på sin egen konklusjon. Den gjenkjente ikke sertifikatmyndighetene som sikret dens forbindelser — de som garanterer at en nettsted er det det påstår å være — og kalenderen viste 2026, så den bestemte seg for at miljøet var iscenesatt og gikk aldri tilbake til spørsmålet. Når automatiske skannere begynte å installere pakken, tok den dem for skriptede skuespillere innenfor testen.

Den tredje og nyeste modellen arbeidet ut at dens mål var virkelig og stoppet på egen hånd — men bare etter å ha skannet omtrent 9 000 mål og kompromittert et selskaps internett-eksponerte program gjennom en eksponert feilsøkingsside og SQL-injeksjon, en gammel triks for å få en database til å svare på spørsmål den ikke burde. Anthropics egen dom: selv denne modellen gikk lenger før den stoppet enn de ville ønske.

Begravt i oppsummeringen er linjen som betyr mest for noen som deployer dette kommersielt: det er “også mulig at en prompt som sa til Claude at den hadde internetttilgang ville ha endret hvordan Claude oppførte seg når den kom i kontakt med virkelige systemer.”

Les dette som en designuttalelse i stedet for en sikkerhetsfotnote. Det eneste som stod mellom agenten og det åpne internettet var en setning som beskrev en miljø som ikke eksisterte. Agenten trodde på beskrivelsen. Beskrivelsen var feil. Alt etter var agenten kompetent i å forfølge sitt mål gjennom en verden den hadde en dårlig kart over.

Anthropic kaller dette en operasjonell feil, som er de dårlige nyhetene

Selskapet karakteriserer hendelsene som “nærmere en harness- og operasjonell feil enn en modell-alignment-feil.” Denne rammen er ment å være beroligende, og for et laboratorium er det kanskje det. For et bedrift burde det lande motsatt.

En alignment-problem tilhører modell-leverandøren. En harness-problem tilhører deg. Harnessen er alt du bygger rundt modellen: hva legitimasjon den holder, hva nettverk den sitter på, hva den kan nå, hva stopper den. Anthropic red-teams sine egne modeller, kontrakterer utenfor evalueringssamarbeidspartnere og sier det er i samtaler med METR, en uavhengig evaluator, for en tredjeparts-gjennomgang. Miskonfigurasjonen gikk likevel uoppdaget av både Anthropic og dets samarbeidspartner — den tidligste hendelsen dateres tilbake til april, og ingen fikk øye på det før juli-transkript-gjennomgangen.

Gjennomgangen i seg selv startet to dager etter OpenAI avdekket en hendelse av sin egen — en annen mekanisme, som Anthropic er nøye med å bemerke, men samme klasse feil. OpenAIs modeller fant en ukjent, upatchet svakhet i den interne tjenesten som henter utenfor kodebiblioteker, brukte den til å bryte ut av en påstått forseglet forskningsmiljø og arbeidet seg videre — stjålne legitimasjoner inkludert — inn i live-systemer hos Hugging Face. OpenAIs pågående gjennomgang har siden avdekket mer detalj: modeller brukte offentlig eksponerte legitimasjoner på fire utenfor tjenester i løpet av Hugging Face-angrepet i seg selv, pluss noen flere i andre vurderinger, selv om det rapporterer ingenting annet på samme alvor eller skala. To frontier-laboratorier, to uavhengige innhegningsfeil, avdekket ni dager fra hverandre.

En ærlig komplikasjon før analogien lander: begge laboratorier kjørte disse vurderingene med sine produksjonssikkerhetslag påmeldt, og Anthropic sier at sikkerhetsskiktene på sine leverte modeller ville ha blokkert atferden. Din agent kjører med disse sikkerhetsskiktene på. Men sikkerhetsskiktene lever på modell-laget, og tillatelsesgapet lever på ditt — ingen klassifiserer din tjenestekonto.

Nå hold din egen oppsett mot dette. De fleste agent-deployments innenfor normale selskaper definerer omfang på samme måte vurderingen gjorde: i instruksjonene. Kun les fra den delte disken. Berør ikke noe i produksjon. Spør før du sender. Mens tjenestekontoen den logger inn som — den ikke-menneskelige innlogging din programvare bruker, som ingen tenker på som en bruker — holder hva tillatelser som var praktisk å gi på oppsett-dagen, og ingen har audittet den gapet siden.

Ingen merket det, og det er det andre problemet

De to berørte organisasjonene Anthropic var i stand til å nå, hadde ikke tidligere oppdaget aktiviteten og hadde ikke kontaktet selskapet om det — de lærte at de var blitt angrepet da laboratoriet ringte dem. Anthropic sier det fortsatt prøver å nå den tredje. Det fant hendelsene ved å lese sine egne transkripter.

Hugging Face er unntaket som viser hva det tar. Det fanget sin intrusjon med et AI-system som leste sine egne sikkerhetslogger og sorterte virkelige varsler fra støy, det vil si det fanget en agent ved å kjøre agenter. I sin egen post-mortem beskriver det angrepet som spredde seg fra ett internt system til det neste over en helg.

Vanlig overvåking savner dette fordi det ikke er noe anomalt å se. Din agent logger inn som en autorisert konto, spør systemer det er tillatt å spørre, og beveger seg i maskin-hastighet i trafikkmønster som ser ut som automatisering fordi de er automatisering. Hver varsler som du eier ble skrevet for å fange en fremmed. Dette er ikke en fremmed.

Dette etterlater en ubehagelig posisjon. Volumet av aktivitet som trenger gjennomgang skalerer med hvor mye arbeid du gir agenten, og de to valgene som vises er Hugging Faces — kjøre AI-triage over dine egne sikkerhetslogger — eller Anthropics, som er å gjennomgang 141 006 kjøringer etterpå. Den siste er en evne som nesten ingen andre har, anvendt retroaktivt, og den kjørte bare fordi en konkurranterns avdekking promptet det.

Hva gjøre med det

Handlingen er smal og krever ikke et sikkerhetsteam for å starte.

Velg en agent du allerede har i produksjon. Åpne kontoen den logger inn som og liste hva den legitimasjonen kan nå — ikke hva prompten sier den skal berøre, hva innloggingen faktisk tillater. Sammenlign de to listene. Gapet er din virkelige blast-radius, og for de fleste team går det mye videre enn forventet, fordi tillatelser blir gitt under oppsett for å få noe til å fungere og aldri trekkes tilbake.

Så fikse påtvangslaget i stedet for instruksjonene — den praktiske versjonen av hva sikker arkitektur for bedrifts-AI betyr med diagrammet fjernet. Hvis agenten ikke skal nå internettet, fjern nettverksruten i stedet for å skrive at den ikke har internetttilgang. Hvis den ikke skal skrive til produksjon, gi den en skrivebeskyttet legitimasjon i stedet for en politi-setning. Hvis den ikke skal bruke mer enn et tall, sett på en kap i stedet for hvor utgiftene skjer.

Modellene i disse hendelsene oppførte seg, ifølge deres egne resonneringsspor, som flittige ansatte som hadde fått en nøyaktig beskrivelse av bygningen. To av dem talte seg selv forbi bevisene foran dem fordi de stolte på oppsummeringen over rommet. Det er ikke en feil du kan prompte deg vekk fra, og laboratoriene, med alle ressurser tilgjengelige for dem, gjorde det ikke.

Anta at agenten vil tro hva du forteller den om dens miljø. Så sikre deg at miljøet er enig.