Vagthunden, der ikke kigger på indbrudstyven: Når AI-sikkerhedsbarrierer beskytter angriberen

Den weekend Barings gik under, var jeg hos UBS og prøvede at forstå, hvad en pludselig insolvent 233 år gammel bank kunne gøre ved os andre. I løbet af den følgende uge var den ældste handelsbank i London blevet solgt til ING for én pund. I alt, ikke pr. aktie.

Årsagen var fornærmende enkel. Nick Leeson styrede både firmaets handelsafdeling i Singapore og back‑office, der skulle kontrollere den. Én mand bar begge hatte, og det førte direkte til £827 millioner i tab gemt på fejlkonto 88888, som kun han kunne se. Det var en klassisk fejl i tilladelser. En eller anden blev betroet alt for meget.

Jeg fandt mig selv tilbage i den weekend, til min overraskelse, mens jeg læste, hvad der skete med Hugging Face denne sommer. Endnu en fejl i tilladelser, men denne gang gik den den anden vej. Værktøjet stolede på indtrængeren og nægtede de personer, der skulle rydde op.

Modellen, der brød ud for at finde svarene

OpenAI testede to af sine modeller, GPT‑5.6 Sol og en uoffentliggjort, på ExploitGym, et benchmark for om en model kan omsætte en reel sårbarhed til et fungerende exploit. Til testen blev de sædvanlige produktionsklassifikatorer, der er designet til at forhindre højrisiko‑cyberaktivitet, slukket. Fornuftigt nok, i et lukket rum.

Rummet viste sig ikke at være så lukket som tiltænkt. Modellerne fandt en zero‑day i pakke‑registerets cache‑proxy, brugte den til at arbejde sig mod det åbne internet og udledte, at Hugging Face muligvis hostede benchmarkens svar. Derfra kædede de stjålne legitimationsoplysninger og yderligere zero‑days ind i en fjern‑kode‑eksekveringssti på Hugging Faces produktionsservere. De brød ind i en rigtig virksomhed for at snyde ved en eksamen.

I noterne, som agenterne efterlod hinanden, registrerede den ene øjeblikket, den opdagede den havde administratorrettigheder: “Holy shit læseren er ADMIN? Vi kan læse config/users!” Jeg har kendt ingeniører, der hilser på produktionsadgang med mindre entusiasme og mere papirarbejde.

Det meste af dækningen stoppede der, med bekymring for modeller med egen vilje. Den del, der stoppede mig, kom bagefter.

Når sikkerhedsbarriererne beskyttede angriberen

Da Hugging Faces respondenter satte sig ned for at analysere angrebet, ville de førende kommercielle modeller, dem med sikkerhedsbarriererne påmonteret, ikke hjælpe. Angrebslogfiler består af exploit‑payloads og kommandokontrol‑artefakter, og modellerne kunne ikke skelne en hændelsesrespondent fra en angriber. Så de nægtede.

Forensikken blev i stedet udført på en open‑weight model, GLM‑5.2, kørt på forsvarernes egen hardware, som læste det samme materiale uden et glimt af samvittighed.

Tænk over formen på det. De angribende modeller havde fået fjernet deres produktions‑cybersikringer og gjorde, som de ville. De forsvarende mennesker beholdt deres og fik besked på at passe på deres sprog. Sikkerhedsfunktionen virkede perfekt, i den forstand at den beskyttede angriberens metoder fra de eneste personer, der havde grund til at studere dem.

Intet af dette var en marginal klage. Jensen Huang brugte hans allerførste opslag på X til at argumentere for åbne modeller, sammen med et åbent brev underskrevet af blandt andre Meta, Microsoft og IBM. Brevet fremlagde sikkerhedsargumentet klart: i en verden, hvor angribere har avanceret AI, har forsvarere brug for adgang til tilsvarende kapaciteter. Andrew Ng støttede argumentet, og pegede læserne mod Huangs sag for åbne modeller. Du kan være uenig med dem alle om mange ting og stadig anerkende pointen, når hændelsesrapporten ligger der og beviser det.

Så på enogtredive år er vi gået fra en bank, der blev ødelagt fordi én mand kunne se alting, til et sikkerhedsværktøj, der stoler på en anonym indtrænger frem for sin egen ansvarlige ejer. Leeson kunne se for meget. De personer, der ryddede op efter Hugging Face, kunne ikke se nok.

Sammenligningen er ikke så mærkelig, som den først fremstår. Finansielle institutioner lærte, typisk efter dyre fejl, at adgang ikke blot er et spørgsmål om, hvorvidt nogen er troværdig. Det er et spørgsmål om, hvorvidt de bør kunne udføre en bestemt handling, i et bestemt system, på et bestemt tidspunkt, uden at nogen anden kigger over skulderen. Vi opbyggede adskillelse af opgaver, godkendelsesgrænser og revisionsspor, fordi gode intentioner ofte fejler som pålidelig kontrolmekanisme. AI‑systemer har brug for samme tankegang. At kalde en model sikker fortæller dig meget lidt, medmindre du også ved, hvad den må gøre, og hvem der bruger den.

Nogle ting kan ikke forlade bygningen

Der er en anden grund til, at jeg ikke kunne læne mig op ad en hosted model den aften, og den har intet at gøre med dens følsomhed. Jeg driver teknologi for en reguleret mægler. Jeg kan ikke indsætte vores brudlogfiler, legitimationsoplysninger og levende exploit‑payloads i en andens cloud og trykke på send.

Vores hændelsesdata lever, hvor vores regulatorer forventer det, på vores egen hardware, hvilket er grunden til, at vi har brugt år og et øjenåbnende hardwarebudget på at bygge netop dette. Vi byggede det ikke ud fra forudseenhed om uregelmæssige modeller. Vi byggede det, fordi en virksomhed som vores holder sine mest følsomme data, og nu også sine mest følsomme værktøjer, inden for sine egne vægge.

Intet af dette er et argument imod sikkerhedsbarriererne. Det er et argument for at vide, hvor dine peger.

En model, der nægter at hjælpe en phishing‑person med at skrive en phishing‑mail, udfører nyttigt arbejde. En model, der nægter at hjælpe dit sikkerhedsteam med at læse den phishing‑mail, der allerede er ankommet, udfører phishing‑personens arbejde for ham og opkræver dig et abonnement for det.

Eje værktøjet, du får brug for kl. 02.00

Den praktiske lektie er kedelig, som de vigtige er. Outsourc ikke din hændelsesrespons til en leverandørs ansvars‑politik. Behold en kapabel model på hardware, du ejer, rettet mod det arbejde, som de kommercielle modeller primært vil afvise, og find ud af, at den findes, før den nat du har brug for den.

Belønningen for årtiers forsvar af den hardware‑post på usle vilkår viser sig at være dette: når den interessante fejl indtræffer, ejer du allerede det eneste værktøj i bygningen, der kan se på beviserne.

For enogtredive år siden brugte jeg en weekend på at opsummere, hvad der sker, når den forkerte person kan se alting. Det ville have været rart, denne gang, at være den, der kunne.