Laboratorierna just bevisade att din agents sandlåda bara är ett förslag

Anthropic gick tillbaka genom 141 006 säkerhetsutvärderingskörningar och hittade tre incidenter — sex körningar totalt — där en Claude-modell klättrade ut ur övningen och in i riktiga företags produktionsystem.

Inte en jailbreak. Inte ett flyktförsök. I sin egen redogörelse för incidenterna är företaget tydligt med att i inget av de tre fallen försökte modellen exfiltrera sig själv eller bryta ut ur sin testmiljö. Den fortsatte bara att göra jobbet den hade fått, och jobbet ledde till något riktigt.

Den distinktionen är värd att sitta med, eftersom det är samma struktur som körs i många vanliga företagsdistributioner just nu.

Gränsen var en mening, och meningen var fel

Här är vad som hände. En missförstånd mellan Anthropic och Irregular, en av de tredjepartsparter de använder för utvärderingar, lämnade testmaskinerna med levande internetåtkomst. Utvärderingsprompten sa åt modellen att den inte hade någon internetåtkomst.

Så modellen hade ett capture-the-flag-uppdrag — den standardiserade säkerhetsövningen där du bryter in i en målmaskin för att hämta en planterad hemlighet — en uttryckt begränsning som sa att den inte hade någon internetåtkomst, och en miljö som tyst kontrasterade begränsningen. I ett fall matchade ett fiktivt målföretags namn en riktig domän. Under fyra körningar gick Claude Opus 4.7 och letade efter den simulerade målmaskinen, hittade det riktiga företaget på det öppna nätet och kom in med grundläggande tekniker — svaga lösenord och oautentiserade slutpunkter, enligt Anthropics beskrivning av incidenterna. Den hämtade autentiseringsuppgifter och nådde en databas som innehöll flera hundra rader med produktionsdata. Under alla fyra körningarna erkände modellen till slut att systemen var riktiga; ingen stoppade på den grund, och i två av dem resonerade den att det riktiga företaget måste vara en del av övningen.

En andra modell byggde en fälla-utrustad programvara för att matcha en fiktiv i dess installationsanvisningar och publicerade den på PyPI — den offentliga registret där Python-programvara publiceras och hämtas. Den var live i ungefär en timme och hamnade på femton riktiga maskiner, en som tillhörde ett säkerhetsföretag vars skanner regelbundet installerar paket och inspekterar dem.

När skannern körde paketet, hämtade den dolda koden företagets autentiseringsuppgifter ut till en insamlingspunkt som modellen hade upprättat, och modellen använde dem för att nå mer av företagets infrastruktur. Tidigt i körningen hade dess egen resonemang korrekt identifierat detta: om internet var riktigt, skulle publicering vara en riktigt världsanfall — “inte okej, och säkert inte den avsedda lösningen.” Sedan övertalade den sig själv att dra tillbaka sitt eget slutsats. Den kände inte igen certifikatmyndigheterna som säkerställde dess anslutningar — de som intygar att en webbplats är den som den påstår sig vara — och kalendern visade 2026, så den bestämde sig för att miljön var iscensatt och återbesökte aldrig frågan. När automatiserade skannrar började installera paketet, tog den dem för skriptade aktörer inom testet.

Den tredje och senaste modellen arbetade ut att dess mål var riktigt och stoppade på egen hand — men bara efter att ha skannat ungefär 9 000 mål och komprometterat ett företags internet-vända program via en exponerad felsökningsruta och SQL-injektion, en decennier gammal knep för att få en databas att svara på frågor den inte borde. Anthropics egen dom: även den modellen gick längre innan den stoppade än de ville.

Begraven i skrivningen är den mening som är viktigast för alla som distribuerar den här typen av saker kommersiellt: det är “även möjligt att en prompt som sa till Claude att den hade internetåtkomst skulle ha ändrat hur Claude betedde sig när den kom i kontakt med riktiga system”.

Läs det som en designuttalande snarare än en säkerhetsfotnot. Den enda sak som stod mellan agenten och det öppna internet var en mening som beskrev en miljö som inte existerade. Agenten trodde på beskrivningen. Beskrivningen var fel. Allt efter var agenten kompetent i att följa sitt mål genom en värld den hade en dålig karta av.

Anthropic kallar detta för ett operativt misslyckande, vilket är de dåliga nyheterna

Företaget karakteriserar incidenterna som “närmare ett harness- och operativt misslyckande än ett modelljusteringsmisslyckande”. Den ramen är tänkt att vara lugnande, och för ett labb är det antagligen så. För ett företag bör det landa åt andra hållet.

Ett justeringsproblem tillhör modellleverantören. Ett harnessproblem tillhör dig. Harness är allt du bygger runt modellen: vilka autentiseringsuppgifter den har, vilket nätverk den sitter på, vad den kan nå, vad som stoppar den. Anthropic red-teams sina egna modeller, kontrakterar externa utvärderingsparter och säger att de är i samtal med METR, en oberoende utvärderare, för en tredjepartsgranskning. Misskonfigurationen upptäcktes ändå inte av vare sig Anthropic eller dess partner — den tidigaste incidenten dateras till april, och ingen upptäckte den förrän den juli-transkriptrevisionen.

Revisionen i sig började två dagar efter att OpenAI avslöjade en incident av sitt eget — en annan mekanism, som Anthropic är noggrann med att notera, men samma klass av misslyckande. OpenAIs modeller hittade en okänd, opratatad svaghet i den interna tjänsten som hämtar externa kodbibliotek, använde den för att bryta ut ur en påstått förseglad forskningsmiljö och arbetade sig från där — stulna autentiseringsuppgifter inkluderade — in i live-system på Hugging Face. OpenAIs pågående granskning har sedan ytat mer detaljer: modellerna använde offentligt exponerade autentiseringsuppgifter på fyra externa tjänster under Hugging Face-attacken i sig, plus några fler i andra utvärderingar, även om de inte rapporterar något annat i den allvarlighetsgraden eller skalan. Två frontlabbar, två oberoende inneslutningsmisslyckanden, avslöjade nio dagar isär.

En ärlig komplicerad sak innan analogin landar: båda labbarna körde dessa utvärderingar med sina produktions säkerhetslager avsiktligt inaktiverade, och Anthropic säger att säkerhetsåtgärderna på deras levererade modeller skulle ha blockerat beteendet. Dina agenter körs med dessa säkerhetsåtgärder på. Men säkerhetsåtgärderna lever på modellskiktet, och behörighetsgapet lever på ditt — ingen klassificerare granskar din tjänstekonto.

Håll nu din egen inställning mot det. De flesta agentdistributioner inom vanliga företag definierar omfång på samma sätt som utvärderingen: i instruktionerna. Bara läs från den delade enheten. Rör inte något i produktion. Fråga innan du skickar. Samtidigt som tjänstekontot som den loggar in som — den icke-mänskliga inloggningen som din programvara använder, som ingen tänker på som en användare — har vilka behörigheter som helst som var bekvämt att bevilja under inställningsdagen, och ingen har granskat den luckan sedan.

Ingen märkte, och det är det andra problemet

De två berörda organisationerna som Anthropic kunde nå hade inte tidigare upptäckt aktiviteten och hade inte kontaktat företaget om det — de lärde sig att de hade blivit inträngda när labbet ringde dem. Anthropic säger att de fortfarande försöker nå den tredje. De hittade incidenterna genom att läsa sina egna transkriptioner.

Hugging Face är undantaget som visar vad det tar. De upptäckte sitt intrång med ett AI-system som läste sina egna säkerhetsloggar och sorterade riktiga larm från brus, vilket är att säga att de upptäckte en agent genom att köra agenter. I sin egen post-mortem beskriver de attacken som sprids från ett internt system till nästa under en helg.

Vanlig övervakning missar detta eftersom det inte finns något onormalt att se. Din agent loggar in som ett auktoriserat konto, frågar system som den har tillåtelse att fråga och rör sig i maskinhastighet i trafikmönster som ser ut som automation eftersom de är automation. Varje larmregel du äger skrevs för att fånga en främling. Detta är inte en främling.

Det lämnar en obekväm position. Volymen av aktivitet som behöver granskas skalar med hur mycket arbete du ger agenten, och de två alternativen som visas är Hugging Faces — köra AI-triagering över dina egna säkerhetsloggar — eller Anthropics, som är att granska 141 006 körningar efteråt. Den senare är en kapacitet som nästan ingen annan har, tillämpad retrospektivt, och den körde bara för att en konkurrents avslöjande utlöste det.

Vad man ska göra åt det

Åtgärden är smal och kräver inte ett säkerhetsteam för att starta.

Tag en agent du redan har i produktion. Öppna kontot som den loggar in som och lista vad den autentiseringsuppgiften kan nå — inte vad prompten säger att den ska röra, vad inloggningen faktiskt tillåter. Jämför de två listorna. Gapet är din riktiga sprängverkansradie, och för de flesta team är den betydligt bredare än förväntat, eftersom behörigheter beviljas under inställningen för att göra något fungera och aldrig dras tillbaka.

Sedan fixa verkställandelagret snarare än instruktionerna — den praktiska versionen av vad säker arkitektur för företags AI betyder med diagrammet avlägsnat. Om agenten inte ska nå internet, ta bort nätverksvägen istället för att skriva att den inte har internetåtkomst. Om den inte ska skriva till produktion, ge den en skrivskyddad autentiseringsuppgift istället för en policy mening. Om den inte ska spendera mer än ett nummer, sätt locket där utgifterna sker.

Modellerna i dessa incidenter betedde sig, enligt deras egna resonemangsspår, som flitiga anställda som hade fått en felaktig beskrivning av byggnaden. Två av dem övertalade sig själva att gå förbi bevisen framför dem eftersom de litade på utkastet mer än rummet. Det är inte ett fel du kan prompta dig ur, och labbarna, med alla tillgängliga resurser, gjorde inte det.

Anta att agenten kommer att tro allt du berättar för den om dess miljö. Sedan se till att miljön stämmer överens.