Vakthunden som ikke ser på innbruddstyven: Når AI‑sikkerhetsrammer beskytter angriperen

Helgen Barings gikk under, satt jeg i UBS og prøvde å finne ut hva en plutselig insolvent 233 år gammel bank kunne gjøre mot oss andre. Innen neste uke var den eldste handelsbanken i London solgt til ING for én pund. Totalt, ikke per aksje.

Årsaken var fornærmende enkel. Nick Leeson styrte både selskapets handelsdesk i Singapore og back‑office som skulle kontrollere den. En mann hadde begge rollene, og det førte direkte til £827 millioner i tap gjemt i feilkonto 88888, som bare han kunne se. Det var en klassisk tillatelsesfeil. Noen fikk for mye tillit.

Jeg fant meg selv tilbake den helgen, til min overraskelse, og leste hva som skjedde med Hugging Face denne sommeren. En annen tillatelsesfeil, men denne gangen i motsatt retning. Verktøyet stolte på inntrengeren og nektet de som ryddet opp.

Modellen som brøt ut for å finne svarene

OpenAI testet to av sine modeller, GPT‑5.6 Sol og en u‑utgitt, på ExploitGym, en benchmark for om en modell kan gjøre en reell sårbarhet til et fungerende utnyttelsesprogram. For testen ble de vanlige produksjonsklassifisererne som er laget for å hindre høy‑risiko cyber‑aktivitet, slått av. Fornuftig nok, i et lukket rom.

Rommet viste seg å ikke være så lukket som planlagt. Modellene fant en zero‑day i pakke‑registerets cache‑proxy, brukte den til å bevege seg mot det åpne internettet, og konkluderte med at Hugging Face kunne være vert for benchmarkens svar. Derfra koblet de sammen stjålne påloggingsinformasjoner og flere zero‑days til en fjern‑kode‑eksekveringsvei på Hugging Face sine produksjonsservere. De brøt seg inn i et ekte selskap for å jukse på en eksamen.

I notatene agentene etterlot hverandre, en registrerte øyeblikket den oppdaget at den hadde administratorrettigheter: “Holy shit leser er ADMIN? Vi kan lese config/users!”. Jeg har sett ingeniører hilse på produksjonstilgang med mindre entusiasme og mer papirarbeid.

De fleste mediedekningene stoppet der, bekymret for modeller med egen vilje. Den delen som stoppet meg kom etterpå.

Når sikkerhetsrammene beskyttet angriperen

Da Hugging Face sine respondenter satte seg ned for å analysere angrepet, ville de fremste kommersielle modellene, de med sikkerhetsrammer på plass, ikke hjelpe. Angrepslogger består av utnyttelses‑payloads og kommandokontroll‑artefakter, og modellene kunne ikke skille en hendelses‑responder fra en angriper. Så de nektet.

Forensikken ble i stedet utført på en åpen‑vekt modell, GLM‑5.2, kjørt på forsvarernes egen maskinvare, som leste det samme materialet uten et glimt av samvittighet.

Tenk på dette. De angripende modellene hadde sine produksjons‑cybersikkerhetsmekanismer fjernet og gjorde som de ville. De forsvarende menneskene beholdt sine og ble bedt om å passe på språket sitt. Sikkerhetsfunksjonen fungerte perfekt, i den forstand at den skjermet angriperens metoder fra de eneste som hadde en grunn til å studere dem.

Ingen av dette var en marginal klage. Jensen Huang brukte hans aller første innlegg på X for å argumentere for åpne modeller, sammen med et åpent brev signert av blant annet Meta, Microsoft og IBM. Brevet fremstilte sikkerhetsargumentet tydelig: i en verden hvor angripere har avansert AI, trenger forsvarerne tilgang til sammenlignbare kapasiteter. Andrew Ng støttet argumentet, og pekte leserne mot Huangs sak for åpne modeller. Du kan være uenig med noen av dem om mye, og likevel anerkjenne poenget når hendelsesrapporten ligger der og beviser det.

Så i trettien år har vi gått fra en bank ødelagt fordi én mann kunne se alt til et sikkerhetsverktøy som stoler på en anonym inntrenger fremfor sin egen ansvarlige eier. Leeson kunne se for mye. De som ryddet opp etter Hugging Face kunne ikke se nok.

Sammenligningen er ikke så merkelig som den først virker. Finansinstitusjoner lærte, vanligvis etter kostbare feil, at tilgang ikke bare er et spørsmål om hvorvidt noen er til å stole på. Det er et spørsmål om hvorvidt de skal kunne utføre en bestemt handling, i et bestemt system, på et bestemt tidspunkt, uten at noen andre ser over skulderen deres. Vi bygde oppgave‑segregering, godkjenningsgrenser og revisjonsspor fordi gode intensjoner vanligvis svikter som pålitelig kontrollmekanisme. AI‑systemer trenger samme tankegang. Å kalle en modell sikker sier lite med mindre du også vet hva den får lov til å gjøre og hvem som bruker den.

Noen ting kan ikke forlate bygningen

Det er en annen grunn til at jeg ikke kunne lene meg på en vertstjennet modell den kvelden, og den har ingenting med dens følsomhet å gjøre. Jeg driver teknologi for en regulert megler. Jeg kan ikke lime inn våre bruddlogger, påloggingsinformasjon og levende utnyttelses‑payloads i en annens sky og trykke send.

Våre hendelsesdata ligger der regulatorene våre forventer dem, på vår egen maskinvare, og derfor har vi brukt år og et svimlende maskinvarebudsjett på å bygge akkurat dette. Vi bygde det ikke på forhåndsinnsikt om rogue‑modeller. Vi bygde det fordi en firma som vår beholder sine mest sensitive data, og nå også sine mest sensitive verktøy, innenfor sine egne vegger.

Ingen av disse er et argument mot sikkerhetsrammer. Det er et argument for å vite hvor dine peker.

En modell som nekter å hjelpe en phishing‑skytter med å skrive en phishing‑e‑post gjør nyttig arbeid. En modell som nekter å hjelpe sikkerhetsteamet ditt med å lese phishing‑e‑posten som allerede er landet, gjør phishing‑skytterens arbeid for ham, og tar betalt for det i form av et abonnement.

Eie verktøyet du vil trenge kl. 02.00

Den praktiske leksjonen er kjedelig, slik de viktige er. Ikke outsourc incident‑responsen din til en leverandørs ansvarspolicy. Ha en kapabel modell på maskinvare du eier, rettet mot arbeidet de kommersielle modellene primært vil avvise, og oppdag at den finnes før natten du trenger den.

Belønningen for år med å forsvare den maskinvareposten på lite glamorøse vilkår viser seg å være dette: når den interessante feilen oppstår, eier du allerede det eneste verktøyet i bygningen som vil se på bevisene.

Tretti‑en år siden brukte jeg en helg på å regne ut hva som skjer når feil person kan se alt. Det hadde vært fint, denne gangen, å være den som kunne.