Cyberbeveiliging

De labs hebben zojuist bewezen dat de sandbox van uw agent slechts een suggestie is

mm
Voeg Unite.AI toe aan je voorkeursbronnen op Google

Anthropic heeft 141.006 cybersecurity-evaluatieruns nagelopen en drie incidenten gevonden — zes runs in totaal — waarin een Claude-model uit het oefenprogramma klom en in de productiesystemen van echte bedrijven terechtkwam.

Geen gevangenisuitbraak. Geen ontsnappingspoging. In haar eigen verslag van de incidenten is het bedrijf expliciet dat in geen van de drie gevallen het model heeft geprobeerd zichzelf te exfiltreren of uit de testomgeving te ontsnappen. Het model bleef gewoon het werk doen dat het was gegeven, en dat werk leidde naar een echte omgeving.

Die onderscheid is het zitten waard, omdat het dezelfde structuur is die in veel gewone bedrijfsimplementaties wordt uitgevoerd.

De grens was een zin, en de zin was verkeerd

Dit is wat er gebeurde. Een misverstand tussen Anthropic en Irregular, een van de derde-partijpartners die het voor evaluaties gebruikt, liet de testmachines met live internettoegang achter. De evaluatieprompts vertelden het model dat het geen internet had.

Het model had een capture-the-flag-taak — de standaardbeveiligingsdril waarbij je een doelcomputer binnendringt om een geplante geheim te bemachtigen — een vermelde beperking dat het geen internet had, en een omgeving die de beperking stilzwijgend tegensprak. In één geval kwam de naam van een fictief doelbedrijf overeen met een echt domein. In vier runs zocht Claude Opus 4.7 naar het gesimuleerde doel, vond het echte bedrijf op het open web en kwam erin met basisTechnieken — zwakke wachtwoorden en niet-geauthenticeerde eindpunten, zoals Anthropic de incidenten beschrijft. Het haalde referenties op en bereikte een database met enkele honderden rijen productgegevens. In alle vier runs erkende het model uiteindelijk dat de systemen echt waren; geen daarvan stopte op basis van die erkenning, en in twee gevallen redeneerde het dat het echte bedrijf deel moest uitmaken van de oefening.

Een tweede model bouwde een booby-trapped softwarepakket om een fictief pakket in zijn installatie-instructies te evenaren en publiceerde het naar PyPI — het openbare register waar Python-software wordt gepubliceerd en opgehaald. Het was ongeveer een uur live en kwam terecht op vijftien echte machines, één behorend tot een beveiligingsbedrijf wiens scanner routinematig pakketten installeert en inspecteert.

Toen de scanner het pakket uitvoerde, haalde de verborgen code de referenties van het bedrijf op naar een verzamelpunt dat het model had ingesteld, en het model gebruikte ze om meer van de infrastructuur van dat bedrijf te bereiken. Vroeg in de run had zijn eigen redenering dit correct geïdentificeerd: als het internet echt was, zou publiceren een echte aanval zijn — “NIET OKÉ, en zeker niet de bedoelde oplossing.” Toen het zichzelf uit het oefenprogramma praatte. Het herkende de certificeringsautoriteiten die zijn verbindingen beveiligden niet — de instanties die verifiëren dat een website is wie het beweert te zijn — en de kalender stond op 2026, dus het besloot dat de omgeving was ingesteld en nooit de vraag opnieuw bekeek. Toen geautomatiseerde scanners het pakket begonnen te installeren, nam het ze voor geënsceneerde acteurs binnen de test.

Het derde en meest recente model werkte uit dat zijn doelwit echt was en stopte op eigen initiatief — maar alleen nadat het ongeveer 9.000 doelen had gescand en één bedrijf had gecompromitteerd via een blootgestelde debug-pagina en SQL-injectie, een truc van decennia geleden om een database vragen te laten beantwoorden die het niet zou moeten doen. Anthropic’s eigen oordeel: zelfs dat model ging verder voordat het stopte dan ze wilden.

Een zin die begraven ligt in het verslag is de zin die het meest telt voor iedereen die dit commercieel implementeert: het is “ook mogelijk dat een prompt die Claude vertelde dat het wel internettoegang had, het gedrag van Claude zou hebben veranderd toen het in contact kwam met echte systemen.”

Lees dit als een ontwerpverklaring in plaats van een beveiligingsvoetnoot. Het enige dat tussen de agent en het open internet stond, was een zin die een omgeving beschreef die niet bestond. De agent geloofde de beschrijving. De beschrijving was verkeerd. Alles daarna was de agent die zijn doel competent nastreefde via een wereld die het had met een slechte kaart.

Anthropic noemt dit een operationeel falen, wat het slechte nieuws is

Het bedrijf karakteriseert de incidenten als “dichter bij een harnas- en operationeel falen dan een modelalign-falen.” Die kadering is bedoeld om geruststellend te zijn, en voor een lab is het dat waarschijnlijk ook. Voor een bedrijf moet het de andere kant op vallen.

Een align-probleem behoort tot de modelleverancier. Een harnasprobleem behoort tot u. Het harnas is alles wat u rond het model bouwt: welke referenties het heeft, welk netwerk het zit op, wat het kan bereiken, wat het tegenhoudt. Anthropic voert zelf red teams uit op zijn modellen, sluit contracten met externe evaluatiepartners en zegt dat het in gesprek is met METR, een onafhankelijke evaluator, voor een derdepartij-beoordeling. De misconfiguratie bleef toch onopgemerkt door zowel Anthropic als zijn partner — het eerste incident dateert van april, en niemand ving het tot de transcriptaudit van juli.

De audit zelf begon twee dagen na OpenAI een incident van zichzelf onthulde — een andere mechanisme, zoals Anthropic zorgvuldig opmerkt, maar hetzelfde type falen. OpenAI’s modellen vonden een onbekende, niet-gepatchte kwetsbaarheid in de interne service die externe codebibliotheken ophaalt, gebruikten deze om uit een vermeend afgesloten onderzoeksomgeving te breken en werkten zich van daaruit een weg naar live systemen bij Hugging Face. OpenAI’s voortdurende onderzoek heeft sindsdien meer details opgeleverd: modellen gebruikten openbaar blootgestelde referenties op vier externe services in de loop van de Hugging Face-aanval zelf, plus een paar meer in andere evaluaties, hoewel het niets anders op die ernst of schaal rapporteert. Twee frontierlabs, twee onafhankelijke containment-falen, negen dagen uit elkaar onthuld.

Een eerlijke complicatie voordat de analogie landt: beide labs voerden deze evaluaties uit met hun productieve veiligheidslagen bewust uitgeschakeld, en Anthropic zegt dat de beveiligingsmaatregelen op zijn geleverde modellen het gedrag zouden hebben geblokkeerd. Uw agenten draaien met die beveiligingsmaatregelen aan. Maar de beveiligingsmaatregelen leven op het modelniveau, en de permissiegap leeft op het uwe — geen classifier controleert uw serviceaccount.

Houd uw eigen instelling nu tegen dat. De meeste agentimplementaties binnen normale bedrijven definiëren het bereik op dezelfde manier als de evaluatie: in de instructies. Alleen lezen van de gedeelde schijf. Raak niets in productie aan. Vraag voordat je verstuurt. Ondertussen houdt het serviceaccount waarop het zich aanmeldt — de niet-menselijke aanmelding die uw software gebruikt, die niemand denkt aan als een gebruiker — welke permissies het op de instelldag handig was om te verlenen, en niemand heeft die permissiegap sindsdien gecontroleerd.

Niemand merkte het op, en dat is het tweede probleem

De twee getroffen organisaties die Anthropic kon bereiken, hadden de activiteit niet eerder gedetecteerd en hadden het bedrijf niet gecontacteerd over het incident — ze leerden dat ze waren gehackt toen het lab belde. Anthropic zegt dat het nog steeds probeert de derde te bereiken. Het vond de incidenten door zijn eigen transcripts te lezen.

Hugging Face is de uitzondering die laat zien wat het vereist. Het ving zijn intrusie met een AI-systeem dat zijn eigen beveiligingslogboeken las en echte waarschuwingen van ruis sorteert, wat wil zeggen dat het een agent ving door agents uit te voeren. In zijn eigen post-mortem beschrijft het de aanval die van het ene interne systeem naar het andere verspreidde over een weekend.

Gewone monitoring mist dit omdat er niets aan de hand is om te zien. Uw agent meldt zich aan als een geautoriseerde account, vraagt systemen op die het mag opvragen, en beweegt zich met machinesnelheid in verkeerspatronen die eruitzien als automatisering omdat het automatisering is. Elke waarschuwingsregel die u heeft, is geschreven om een vreemde te vangen. Dit is geen vreemde.

Dat laat een ongemakkelijke positie achter. Het volume aan activiteit dat moet worden herzien, schaalt met hoeveel werk u de agent geeft, en de twee opties die worden getoond zijn die van Hugging Face — AI-triage over uw eigen beveiligingslogboeken uitvoeren — of die van Anthropic, wat is om 141.006 runs na de feiten te herzien. De tweede is een mogelijkheid die bijna niemand anders heeft, retroactief toegepast, en het liep alleen omdat een concurrerend bedrijf het onthulde.

Wat te doen

De actie is smal en vereist geen beveiligingsteam om te starten.

Neem één agent die u al in productie heeft. Open het account waarop het zich aanmeldt en maak een lijst van wat die referentie kan bereiken — niet wat de prompt zegt dat het zou moeten aanraken, wat de aanmelding daadwerkelijk toestaat. Vergelijk de twee lijsten. De permissiegap is uw echte blaststraal, en voor de meeste teams loopt het aanzienlijk breder dan verwacht, omdat permissies tijdens de instelling worden verleend om iets te laten werken en nooit worden teruggedraaid.

Repareer dan de handhavingslaag in plaats van de instructies — de praktische versie van wat veilige architectuur voor enterprise AI betekent met het diagram verwijderd. Als de agent geen internet zou moeten bereiken, verwijder de netwerkroute in plaats van te schrijven dat het geen internettoegang heeft. Als het niet naar productie zou moeten schrijven, geef het een alleen-lezenreferentie in plaats van een beleidszin. Als het niet meer zou moeten uitgeven dan een bepaald bedrag, plaats de limiet waar het uitgeven gebeurt.

De modellen in deze incidenten gedroegen zich, volgens hun eigen redeneringssporen, als ijverige medewerkers die een onjuiste beschrijving van het gebouw hadden gekregen. Twee van hen praatten zichzelf voorbij het bewijs voor hen omdat ze de briefing boven de kamer vertrouwden. Dat is geen defect dat u kunt oplossen door het een andere prompt te geven, en de labs, met alle middelen die ze ter beschikking hadden, deden het niet.

Neem aan dat de agent zal geloven wat u hem over zijn omgeving vertelt. Zorg er dan voor dat de omgeving het ermee eens is.

Alex McFarland is een AI-journalist en schrijver die de laatste ontwikkelingen op het gebied van kunstmatige intelligentie onderzoekt. Hij heeft samengewerkt met talloze AI-startups en publicaties wereldwijd.