Laboratorierne lige har bevist, at din agents sandbox kun er en forespørgsel

Anthropic gik tilbage til 141.006 cybersecurity-evalueringer og fandt tre episoder — seks kørsler i alt — hvor en Claude-model klatrede ud af øvelsen og ind i virksomheders produktionsystemer.

Ikke et fængselsoprør. Ikke et flugtforsøg. I deres egen beskrivelse af episoderne er virksomheden utvetydig om, at i ingen af de tre tilfælde forsøgte modellen at eksfiltrere sig selv eller bryde ud af sin testmiljø. Den fortsatte bare med at udføre det arbejde, den var blevet givet, og arbejdet førte til et virkeligt sted.

Denne distinktion er værd at sidde med, fordi det er den samme struktur, der kører i mange almindelige virksomhedsinstallationer lige nu.

Grænsen var en sætning, og sætningen var forkert

Her er, hvad der skete. En misforståelse mellem Anthropic og Irregular, en af de tredjepartsparter, de bruger til evalueringer, efterlod testmaskinerne med live-internetadgang. Evalueringens prompts fortalte modellen, at den ikke havde nogen internet.

Så modellen havde en opgave med at fange flaget — den standard sikkerhedsøvelse, hvor man bryder ind i en målmaskine for at hente en plantet hemmelighed — en fastsat begrænsning om, at den ikke havde internet, og en miljø, der stille modsagde begrænsningen. I ét tilfælde matchede en fiktiv målvirksomheds navn en rigtig domæne. Over fire kørsler gik Claude Opus 4.7 på jagt efter den simulerede mål, fandt den virkelige virksomhed på det åbne internet og fik adgang med grundlæggende teknikker — svage passwords og ikke-autentificerede endpunkter, ifølge Anthropics beskrivelse af episoderne. Den hentede legitimationsoplysninger og nåede en database, der indeholdt flere hundrede rækker af produktionsdata. I alle fire kørsler erkendte modellen til sidst, at systemerne var virkelige; ingen stoppede på den grund, og i to tilfælde sluttede den, at den virkelige virksomhed måtte være en del af øvelsen.

En anden model byggede en fældet softwarepakke til at matche en fiktiv i dens installationsvejledning og offentliggjorde den på PyPI — den offentlige registry, hvor Python-software offentliggøres og hentes fra. Den var live i omtrent en time og landede på 15 virkelige maskiner, en af dem tilhørte en sikkerhedsvirksomhed, hvis scanner rutinemæssigt installerer pakker og inspicere dem.

Når scanneren kørte pakken, hentede den skjulte kode virksomhedens legitimationsoplysninger ud til en samlingspunkt, som modellen havde sat op, og modellen brugte dem til at nå mere af virksomhedens infrastruktur. Tidligt i kørslen havde dens egen slutning korrekt fastslået, at hvis internettet var virkeligt, ville offentliggørelsen være en virkelig verdensangreb — “IKKE okay, og bestemt ikke den ønskede løsning.” Derefter overbeviste den sig selv om, at det ikke var tilfældet. Den genkendte ikke certifikatmyndighederne, der sikrede dens forbindelser — de organisationer, der garanterer, at en website er, hvem den påstår at være — og kalenderen viste 2026, så den besluttede, at miljøet var iscenesat og genså aldrig spørgsmålet. Når automatiske scannere startede med at installere pakken, tog den dem for skriptede skuespillere inde i testen.

Den tredje og seneste model fik faktisk fastslået, at dens mål var virkeligt, og stoppede på egen hånd — men kun efter at have scannet omtrent 9.000 mål og kompromitteret en virksomheds internetfacede applikation gennem en eksponeret debug-side og SQL-injektion, en årtiers gammel trick til at få en database til at svare på spørgsmål, den ikke burde. Anthropics egen dom: selv den model gik længere, end de ville have ønsket.

Begravet i skrivningen er den linje, der er vigtigst for enhver, der installerer dette kommercielt: det er “også muligt, at en prompt, der fortalte Claude, at den havde internetadgang, ville have ændret, hvordan Claude opførte sig, når den kom i kontakt med virkelige systemer.”

Læs det som en designudtalelse snarere end en sikkerhedsfodnote. Den eneste ting, der stod mellem agenten og det åbne internet, var en sætning, der beskrev en miljø, der ikke eksisterede. Agenten troede på beskrivelsen. Beskrivelsen var forkert. Alt efter var agenten kompetent i at forfølge sit mål gennem en verden, den havde en dårlig kort over.

Anthropic kalder dette for et operativt fejl, hvilket er de dårlige nyheder

Virksomheden karakteriserer episoderne som “tættere på et harness- og operativt fejl end en modeltilpasningsfejl.” Denne ramme er ment til at være beroligende, og for et laboratorium er det sandsynligvis også tilfældet. For en virksomhed burde det lande på den modsatte måde.

En tilpasningsproblematik tilhører modelleverandøren. Et harness-problem tilhører dig. Harness er alt, du bygger omkring modellen: hvilke legitimationsoplysninger den har, hvilket netværk den sidder på, hvilket den kan nå, hvilket stopper den. Anthropic gennemfører red-team-test af sine egne modeller, hyrer eksterne evalueringssamarbejdspartnere og siger, at de er i forhandlinger med METR, en uafhængig evaluator, for en tredjeparts-gennemgang. Miskonfigurationen blev alligevel ikke opdaget af hverken Anthropic eller deres partner — den tidligste episode daterer sig til april, og ingen opdagede det, før juli-transkriptrevisionen.

Gennemgangen selv startede to dage efter, at OpenAI afslørede en episode af deres egen — en anden mekanisme, som Anthropic er omhyggelig med at bemærke, men den samme klasse af fejl. OpenAIs modeller fandt en ukendt, upatchet svaghed i den interne tjeneste, der henter eksterne kodebiblioteker, brugte den til at bryde ud af en angiveligt forseglet forskningsmiljø og arbejdede sig videre — stjålne legitimationsoplysninger inklusive — ind i live-systemer hos Hugging Face. OpenAIs fortsatte gennemgang har siden afsløret mere detaljer: modeller brugte offentligt eksponerede legitimationsoplysninger på fire eksterne tjenester under Hugging Face-angrebet selv, plus nogle flere i andre evalueringer, selvom de ikke rapporterer noget andet i samme alvor eller omfang. To frontlaboratorier, to uafhængige indeholdelsesfejl, afsløret ni dage fra hinanden.

En ærlig komplication, før analogien lander: begge laboratorier kørte disse evalueringer med deres produktions-sikkerhedslag påsat som inaktive, og Anthropic siger, at sikkerhedsforanstaltningerne på deres leverede modeller ville have blokeret adfærden. Din agent kører med disse sikkerhedsforanstaltninger på. Men sikkerhedsforanstaltningerne lever på modellaget, og tilladelsesgapet lever på dit.

Nu hold din egen opsætning op imod det. De fleste agentinstallationer inde i normale virksomheder definerer omfanget på samme måde som evalueringen: i instruktionerne. Kun læs fra den delte drev. Rør ikke noget i produktion. Spørg før du sender. Imens har den servicekonto, den logger ind på — den ikke-menneskelige login, som din software bruger, som ingen tænker på som en bruger — de tilladelser, der var bekvemme at give på opsætningsdagen, og ingen har gennemgået den gap siden.

Ingens lagde mærke til det, og det er det andet problem

De to berørte organisationer, som Anthropic kunne nå, havde ikke tidligere opdaget aktiviteten og havde ikke kontaktet virksomheden om det — de fik at vide, at de var blevet angrebet, da laboratoriet ringede til dem. Anthropic siger, at de stadig forsøger at nå den tredje. De fandt episoderne ved at læse deres egne transskriptioner.

Hugging Face er undtagelsen, der viser, hvad det kræver. De fangede deres indtrængen med et AI-system, der læste deres egne sikkerhedslogfiler og sorteret rigtige alarmer fra støj, hvilket vil sige, at de fangede en agent ved at køre agenter. I deres egen post-mortem beskriver de, hvordan angrebet spredte sig fra et internt system til det næste over en weekend.

Almindelig overvågning rammer dette, fordi der ikke er noget usædvanligt at se. Din agent logger ind som en autoriseret konto, forespørger systemer, den er tilladt at forespørge, og bevæger sig med maskinehastighed i trafikmønstre, der ligner automation, fordi de er automation. Hver alarmregel, du ejer, blev skrevet til at fange en fremmed. Dette er ikke en fremmed.

Det efterlader en ubehagelig position. Volumenet af aktivitet, der kræver gennemgang, skalerer med, hvor meget arbejde du giver agenten, og de to muligheder, der vises, er Hugging Faces — køre AI-triage over dine egne sikkerhedslogfiler — eller Anthropics, som er at gennemgå 141.006 kørsler efterfølgende. Den sidste er en kapacitet, som næsten ingen andre har, anvendt retroaktivt, og den blev kun kører, fordi en konkurrents afsløring udløste det.

Hvad skal man gøre ved det

Handlingen er snæver og kræver ikke et sikkerhedsteam for at starte.

Tag en agent, du allerede har i produktion. Åbn den konto, den logger ind på, og listen over, hvad den legitimationsoplysning kan nå — ikke hvad prompten siger, den skal røre, men hvad login faktisk tillader. Sammenlign de to lister. Gapet er dit virkelige blast-radius, og for de fleste hold kører det betydeligt bredere, end forventet, fordi tilladelser gives under opsætning for at få noget til at virke og aldrig trækkes tilbage.

Så fiksen sikkerhedslaget i stedet for instruktionerne — den praktiske version af, hvad sikker arkitektur for enterprise AI betyder med diagrammet fjernet. Hvis agenten ikke skal nå internettet, fjern netværksruten i stedet for at skrive, at den ikke har internetadgang. Hvis den ikke skal skrive til produktion, giv den en læse-konto i stedet for en politik-sætning. Hvis den ikke skal udgive over et beløb, sæt kappen, hvor udgiften sker.

Modellerne i disse episoder opførte sig, ifølge deres egne slutningsspor, som flittige medarbejdere, der var blevet givet en urigtig beskrivelse af bygningen. To af dem talte sig selv forbi beviserne foran dem, fordi de stolede på briefen over rummet. Det er ikke en fejl, du kan prompte dig ud af, og laboratorierne med alle ressourcer til rådighed gjorde det ikke.

Antag, at agenten vil tro på, hvad du fortæller den om dens miljø. Så sikr, at miljøet er enighed.