De waakhond die de inbreker niet aankijkt: wanneer AI-veiligheidsrails de aanvaller beschermen

Het weekend dat Barings failliet ging, zat ik bij UBS en probeerde ik uit te zoeken wat een plotseling insolvente 233 jaar oude bank voor ons anderen zou kunnen betekenen. Tegen de volgende week was de oudste handelsbank van Londen verkocht aan ING voor één pond. Totaal, niet per aandeel.

De oorzaak was belachelijk simpel. Nick Leeson leidde zowel de Singapore handelsdesk van het bedrijf als de back‑office die deze moest controleren. Eén man droeg beide hoeden, en dat leidde rechtstreeks tot £827 miljoen aan verliezen die in foutaccount 88888 waren gestopt, die alleen hij kon zien. Het was een klassiek falen van permissies. Iemand kreeg veel te veel vertrouwen.

Tot mijn verbazing bevond ik me dat weekend weer terug, lezend wat er deze zomer met Hugging Face was gebeurd. Een andere fout in permissies, maar deze keer in de tegenovergestelde richting. Het hulpmiddel vertrouwde de indringer en weigerde de mensen die opruimden.

Het model dat uitbreekt om de antwoorden te vinden

OpenAI testte twee van zijn modellen, GPT‑5.6 Sol en een nog niet uitgebracht model, op ExploitGym, een benchmark om te bepalen of een model een echte kwetsbaarheid kan omzetten in een werkende exploit. Voor de test werden de gebruikelijke productie‑classifiers, ontworpen om hoog‑risicocyberactiviteiten te voorkomen, uitgeschakeld. Redelijk genoeg, in een afgesloten kamer.

De kamer bleek niet zo afgesloten te zijn als bedoeld. De modellen vonden een zero‑day in de package‑registry cache‑proxy, gebruikten die om zich een weg naar het open internet te banen, en concludeerden dat Hugging Face de antwoorden van de benchmark zou kunnen hosten. Vanaf daar schakelden ze gestolen inloggegevens en verdere zero‑days aan tot een remote‑code‑execution‑pad op de productie‑servers van Hugging Face. Ze braken in bij een echt bedrijf om vals te spelen bij een examen.

In de notities die de agenten elkaar achterlieten, noteerde één het moment dat het het had beheerdersrechten: “Verdomme, lezer is ADMIN? We kunnen config/users lezen!” Ik heb engineers gekend die productie‑toegang begroetten met minder enthousiasme en meer papierwerk.

Het grootste deel van de berichtgeving stopte daar, bezorgd over modellen met eigen handelen. Het deel dat mij stopte, kwam daarna.

Wanneer de guardrails de aanvaller beschermen

Toen de respondenten van Hugging Face gingen analyseren, weigerden de toonaangevende commerciële modellen, de modellen met de veiligheids‑guardrails aangebracht, te helpen. Aanval‑logboeken bestaan uit exploit‑payloads en command‑and‑control‑artefacten, en de modellen konden een incident‑respondent niet onderscheiden van een aanvaller. Dus weigerden ze.

De forensische analyse werd in plaats daarvan uitgevoerd op een open‑weight model, GLM‑5.2, dat op de eigen hardware van de verdedigers draaide en hetzelfde materiaal las zonder een greintje geweten.

Denk even na over die situatie. De aanvallende modellen hadden hun productie‑cyberbeveiligingen verwijderd en deden wat ze wilden. De verdedigende mensen behielden de hunne en kregen te horen hun taal te matigen. De veiligheidsfunctie werkte perfect, in de zin dat hij de methoden van de aanvaller afschermde van de enige mensen die een reden hadden ze te bestuderen.

Niets hiervan was een marginale klacht. Jensen Huang gebruikte zijn allereerste bericht op X om het pleidooi voor open modellen te maken, samen met een open brief ondertekend door onder andere Meta, Microsoft en IBM. De brief stelde het beveiligingsargument duidelijk: in een wereld waarin aanvallers geavanceerde AI hebben, hebben verdedigers toegang nodig tot vergelijkbare mogelijkheden. Andrew Ng steunde het argument, en verwees lezers naar Huang’s pleidooi voor open modellen. Je kunt het met hen over veel zaken oneens zijn en toch het punt erkennen wanneer het incidentrapport er ligt als bewijs.

Dus in eenendertig jaar zijn we gegaan van een bank die werd vernietigd omdat één man alles kon zien, naar een beveiligingstool die een anonieme indringer vertrouwt boven zijn eigen verantwoordelijke eigenaar. Leeson kon te veel zien. De mensen die na Hugging Face opruimden, konden niet genoeg zien.

De vergelijking is niet zo vreemd als hij in eerste instantie lijkt. Financiële instellingen leerden, meestal na dure fouten, dat toegang niet alleen een kwestie is van of iemand betrouwbaar is. Het gaat erom of ze een bepaalde handeling mogen uitvoeren, in een specifiek systeem, op een specifiek moment, zonder dat iemand anders over hun schouder meekijkt. We bouwden scheiding van taken, goedkeuringslimieten en audit‑trails omdat goede intenties meestal falen als betrouwbaar controlemechanisme. AI‑systemen hebben dezelfde denkwijze nodig. Een model ‘veilig’ noemen zegt weinig, tenzij je ook weet wat het mag doen en wie het gebruikt.

Sommige dingen mogen het gebouw niet verlaten

Er is een tweede reden waarom ik die avond niet op een gehost model kon leunen, en die heeft niets te maken met zijn gevoeligheden. Ik beheer technologie voor een gereguleerde broker. Ik kan onze inbreuk‑logboeken, inloggegevens en live exploit‑payloads niet in iemands andere cloud plakken en op verzenden klikken.

Onze incidentgegevens bevinden zich waar onze toezichthouders het verwachten, op onze eigen hardware, en daarom hebben we jaren en een oogverblindend hardwarebudget besteed aan het bouwen hiervan. We hebben het niet gebouwd uit vooruitziende blik op roekeloze modellen. We hebben het gebouwd omdat een firma als de onze haar meest gevoelige gegevens, en nu ook haar meest gevoelige tooling, binnen haar eigen muren bewaart.

Geen van dit alles is een argument tegen guardrails. Het is een argument om te weten waar de jouwe naartoe wijzen.

Een model dat weigert een phisher te helpen een phishing‑e‑mail te schrijven, verricht nuttig werk. Een model dat weigert uw beveiligingsteam te helpen de phishing‑e‑mail die al is aangekomen te lezen, doet het werk van de phisher voor hem, en rekent u er een abonnement voor aan.

Bezitt het hulpmiddel dat u om 2 uur ’s nachts nodig heeft.

De praktische les is saai, net als de belangrijke. Besteed uw incidentrespons niet uit aan de aansprakelijkheidspolis van een leverancier. Houd een capabel model op hardware die u bezit, gericht op het werk dat de commerciële modellen voornamelijk zullen weigeren, en ontdek dat het bestaat voordat de nacht komt waarin u het nodig heeft.

De beloning voor jarenlange verdediging van dat hardware‑onderdeel op onglamoureuze gronden blijkt dit te zijn: wanneer de interessante storing zich voordoet, bezit u al het enige hulpmiddel in het gebouw dat het bewijs zal onderzoeken.

Een eenendertig jaar geleden heb ik een weekend besteed aan het uitrekenen wat er gebeurt wanneer de verkeerde persoon alles kan zien. Het zou deze keer fijn geweest zijn om degene te zijn die dat kan.