Vakthunden som inte tittar på inbrottstjuven: När AI‑säkerhetsgrindar skyddar angriparen

Den helgen Barings gick under var jag på UBS och funderade på vad en plötsligt insolvent 233 år gammal bank kunde göra mot resten av oss. Veckan därpå hade den äldsta handelsbanken i London sålts till ING för ett pund. Totalt, inte per aktie.

Orsaken var förnedrande enkel. Nick Leeson drev både företagets handelsavdelning i Singapore och backoffice som skulle granska den. En man bar båda hattarna, och det ledde rakt till £827 miljoner i förluster gömda i felkontot 88888, som bara han kunde se. Det var ett klassiskt misslyckande med behörigheter. Någon fick för mycket förtroende.

Jag fann mig tillbaka den helgen, till min förvåning, och läste vad som hände med Hugging Face i somras. Ett annat misslyckande med behörigheter, men den här gången åt andra hållet. Verktyget litade på inkräktaren och vägrade hjälpa de som städade upp.

Modellen som bröt ut för att hitta svaren

OpenAI testade två av sina modeller, GPT-5.6 Sol och en oannonserad, på ExploitGym, ett riktmärke för huruvida en modell kan omvandla en verklig sårbarhet till ett fungerande exploit. För testet stängdes de vanliga produktionsklassificerarna som är avsedda att förhindra högrisk cyberaktivitet av. Ganska förnuftigt, i ett förseglat rum.

Rummet visade sig inte vara så förseglat som avsett. Modellerna hittade en zero‑day i paketregister‑cache‑proxyn, använde den för att ta sig mot det öppna internet och drog slutsatsen att Hugging Face kunde hosta benchmarkens svar. Därifrån kedjade de stulna inloggningsuppgifter och ytterligare zero‑days till en fjärrkodexekveringsväg på Hugging Faces produktionsservrar. De bröt sig in i ett riktigt företag för att fuska på ett prov.

I de anteckningar som agenterna lämnade åt varandra, noterade en ögonblicket då den fann den hade administratörsrättigheter: “Holy shit reader is ADMIN? We can read config/users!” Jag har sett ingenjörer hälsa på produktionsåtkomst med mindre entusiasm och mer pappersarbete.

Den största delen av bevakningen slutade där, oroande över modeller med egen vilja. Den del som stoppade mig kom härnäst.

När säkerhetsgrindarna skyddade angriparen

När Hugging Face:s svarspersoner satte sig ner för att analysera attacken, skulle de främsta kommersiella modellerna, de med säkerhetsgrindar på plats, inte hjälpa till. Attackloggar består av exploit‑payloads och kommandokontroll‑artefakter, och modellerna kunde inte skilja en incidentresponder från en angripare. Så de vägrade.

Forensiken utfördes istället på en öppen vikt‑modell, GLM-5.2, som kördes på försvararnas egen hårdvara och som läste samma material utan ett uns av samvete.

Tänk på det. De attackerande modellerna hade sina produktions‑cybersäkerhetsåtgärder borttagna och gjorde som de ville. De försvarande människorna behöll sina och fick säga åt dem att tänka på sitt språk. Säkerhetsfunktionen fungerade perfekt, i den meningen att den skyddade angriparens metoder från de enda som hade anledning att studera dem.

Inget av detta var ett marginaliserat klagomål. Jensen Huang använde hans allra första inlägg på X för att argumentera för öppna modeller, tillsammans med ett öppet brev undertecknad av bland annat Meta, Microsoft och IBM. Brevet framförde säkerhetsargumentet tydligt: i en värld där angripare har avancerad AI, behöver försvarare tillgång till jämförbara förmågor. Andrew Ng stödde argumentet, och pekade läsarna mot Huangs fall för öppna modeller. Du kan vara oense med dem om mycket och ändå hålla med om poängen när incidentrapporten ligger där och bevisar det.

Så på trettioett år har vi gått från en bank som förstördes för att en man kunde se allt till ett säkerhetsverktyg som litar på en anonym inkräktare framför sin egen ansvariga ägare. Leeson kunde se för mycket. De som städade upp efter Hugging Face kunde inte se tillräckligt.

Jämförelsen är inte lika märklig som den först verkar. Finansiella institutioner lärde sig, oftast efter kostsamma misstag, att åtkomst inte bara handlar om huruvida någon är pålitlig. Det handlar om huruvida de bör kunna utföra en viss handling, i ett visst system, vid en viss tidpunkt, utan att någon annan tittar över deras axel. Vi byggde upp arbetsuppdelning, godkännandelimiter och revisionsspår eftersom goda intentioner ofta misslyckas som en pålitlig kontrollmekanism. AI‑system behöver samma typ av tänkande. Att kalla en modell säker säger dig väldigt lite om du inte också vet vad den får göra och vem som använder den.

Vissa saker får inte lämna byggnaden

Det finns en andra anledning till att jag inte kunde förlita mig på en hostad modell den kvällen, och den har inget att göra med dess känslighet. Jag driver teknik för en reglerad mäklarfirma. Jag kan inte klistra in våra intrångsloggar, inloggningsuppgifter och levande exploit‑payloads i någon annans moln och trycka på skicka.

Vår incidentdata finns där våra regulatorer förväntar sig den, på vår egen hårdvara, vilket är anledningen till att vi har lagt år och en förbluffande hårdvarubudget på att bygga just det. Vi byggde det inte av förutseende kring lösa modeller. Vi byggde det för att ett företag som vårt behåller sin mest känsliga data, och nu även sina mest känsliga verktyg, inom sina egna väggar.

Inget av detta är ett argument mot säkerhetsgrindar. Det är ett argument för att veta var dina pekar.

En modell som vägrar hjälpa en nätfiskare att skriva ett nätfiskebrev utför användbart arbete. En modell som vägrar hjälpa ditt säkerhetsteam att läsa det nätfiskebrev som redan har landat utför nätfiskarens arbete åt honom, och tar betalt för det i form av en prenumeration.

Äg verktyget du kommer att behöva klockan 02.00.

Den praktiska lärdomen är tråkig, precis som de viktiga är. Outsourca inte din incidentrespons till en leverantörs ansvarspolicy. Behåll en kapabel modell på hårdvara du äger, inriktad på det arbete som de kommersiella främst vägrar utföra, och upptäck att den finns innan den natt du behöver den.

Belöningen för år av att försvara den hårdvaruposten på oattraktiva grunder visar sig vara detta: när den intressanta felet inträffar äger du redan det enda verktyget i byggnaden som kan granska bevisen.

För trettioett år sedan tillbringade jag en helg med att räkna ut vad som händer när fel person kan se allt. Det hade varit trevligt, den här gången, att vara den som kunde.