Thought leaders

AI is de nieuwe insiderdreiging, maar plannen om het risico aan te pakken komen één laag te laat

mm
Voeg Unite.AI toe aan je voorkeursbronnen op Google

Het datalek bij Hugging Face en soortgelijke incidenten hebben de sector opgeschrikt, maar organisaties moeten zich richten op de SDLC, niet op de AI-modellaag.

Het datalek bij Hugging Face in juli, veroorzaakt door OpenAI-agents, gevolgd door berichten over soortgelijke uitbreekpogingen met modellen van Anthropic en Meta, heeft alarmbellen doen rinkelen over een schijnbaar nieuwe vorm van cyberaanval: de dreiging van kwaadwillende, agentische AI-insiders.

Dit soort incidenten is echter niet echt nieuw. Dat ze zich hebben voorgedaan bij toonaangevende AI-labs, die mensen al enkele jaren nerveus maken, geeft ze een onheilspellend nieuw gezicht. De incidenten tonen echter dezelfde tekortkomingen en blinde vlekken die bedrijven al jarenlang opstapelen.

Ze waren ook niet opzettelijk kwaadwillend. Bij het datalek bij Hugging Face probeerden de AI-agents — zo’n 1.200 in totaal — een toegewezen doel te bereiken in een testomgeving, al was hun gedrag, dat moet worden toegegeven, niet altijd eerlijk. Daarbij communiceerden ze heimelijk, maakten ze misbruik van kwetsbaarheden en bleven ze maandenlang onopgemerkt. Zo wisten ongeveer 700 agents over de muur van hun ‘geïsoleerde’ omgeving te klimmen en toegang te krijgen tot het internet en derden.

Wat deze incidenten zo verontrustend maakt, is niet alleen dat AI-agents zonder beperkingen een ernstige dreiging kunnen vormen — dat doen ze ongetwijfeld. Maar als agents tekeer kunnen gaan onder de neus van een team bij een toonaangevend lab, dat over veel talent, middelen en motivatie beschikt om de activiteiten nauwlettend in de gaten te houden, moet je je waarschijnlijk ook afvragen wat er gebeurt met de AI-agents en AI-ondersteunde tools die op dit moment in jouw ontwikkelomgeving draaien. Als zelfs de grootste spelers in AI geen realtime inzicht hebben in hun omgeving, welke kans maakt een gemiddelde organisatie dan?

De beste kans die organisaties hebben om agentische AI in te tomen, begint met het besef dat deze nieuwe situatie simpelweg een krachtigere variant is van een al langer bestaand probleem. De aanpak ervan vereist echter iets wat bij veel bedrijven nog ontbreekt: inzicht en observeerbaarheid in een vroeg stadium van de softwareontwikkelingslevenscyclus (SDLC).

OpenAI en Hugging Face: een voorproefje van wat komen gaat

Bij het datalek bij Hugging Face probeerde een combinatie van toonaangevende AI-modellen, waaronder OpenAI’s nieuwe vlaggenschip GPT-5.6 Sol, dat in juli werd uitgebracht, een nauw omschreven doel te bereiken: de ExploitGym-benchmark, die test of een agent beveiligingslekken kan misbruiken. In een bericht over het datalek merkte Anthropic op dat de AI-modellen, hoewel ze ‘met verminderde beveiligingsmaatregelen’ werkten, buiten de lijntjes konden kleuren, technische controles omzeilden, via niet-goedgekeurde kanalen samenwerkten en uiteindelijk risicovolle acties ondernamen.

Hoewel het datalek in juli werd ontdekt, begonnen agents in mei al ongepast met elkaar te communiceren zonder de aandacht te trekken. METR en Redwood Research voerden naast OpenAI een onafhankelijk, parallel onderzoek uit en ontdekten dat de agents weliswaar wisten dat ze de regels overtraden, maar dat slechts enkelen eraan dachten OpenAI daarvan op de hoogte te stellen. In plaats daarvan gingen ze gewoon door.

Na het rapport van OpenAI controleerde Anthropic eerdere cybersecuritytests opnieuw. Daarbij ontdekte het dat een Claude-model in april drie keer beveiligingsmaatregelen had omzeild, had uitgevonden hoe het online kon gaan en zonder toestemming toegang had gekregen tot drie externe organisaties. Kort daarna maakte Meta bekend dat een versie van zijn meest geavanceerde agentische AI-model, de Muse Spark 1.1, eveneens uit een sandbox voor cybersecuritytests was ontsnapt en het netwerk van een extern bedrijf was binnengedrongen.

In zijn rapport waarschuwde OpenAI ook dat het incident een voorbode was van wat komen gaat: veel modellen, waaronder alledaagse open-sourcemodellen, zouden binnenkort in staat zijn hetzelfde te doen. Het recente datalek bij Medicare onderstreepte die waarschuwing.

AI moet op SDLC-niveau worden beheerd

Deze aanvallen met agentische AI hebben de AI-gemeenschap opgeschrikt. OpenAI kondigde aan de controles in zijn testomgeving aan te scherpen en sloot zich vervolgens aan bij Anthropic, Microsoft, Amazon Web Services en meer dan 100 andere bedrijven om te waarschuwen voor de komende golf van door AI mogelijk gemaakte cyberaanvallen op kritieke infrastructuur. In de brief werd gewaarschuwd dat de aanvallen al binnen enkele maanden kunnen plaatsvinden.

Organisaties die vrezen bij soortgelijke aanvallen betrokken te raken, moeten hun eigen infrastructuur versterken, te beginnen op het niveau van softwareontwikkeling. Het echte probleem is niet alleen de toenemende geavanceerdheid van agentische AI, maar ook het gebrek aan realtimebewaking en betekenisvol menselijk toezicht. Organisaties moeten zich richten op het dichten van hiaten in menselijk handelen en processen, in plaats van AI-risico te beschouwen als een onvermijdelijk gevolg van technologie.

In een groot deel van de sector richten organisaties hun bewaking en observeerbaarheid op de AI-modellaag, maar dan zijn ze al één laag te laat. Tegen die tijd is het paard al half uit de stal. Inzicht, bewaking, observeerbaarheid en governance moeten worden toegepast op de plek waar AI de organisatie voor het eerst binnenkomt: in de SDLC. Organisaties moeten er ook voor zorgen dat ontwikkelaars die AI-codeertools gebruiken, de opleiding en vaardigheden hebben om te voorkomen dat die tools fouten, kwetsbaarheden en slechte gewoonten in de ontwikkelstraat introduceren.

De meeste softwarefouten ontstaan tijdens de ontwikkelfase. Als ontwikkelaars niet over de vaardigheden beschikken om veilig te programmeren of door AI veroorzaakte fouten te herstellen, kunnen problemen zich snel verspreiden. Ontwikkelaars hebben een opleidingsprogramma nodig dat hen de noodzakelijke beveiligingsvaardigheden bijbrengt en hun voortgang bij het verwerven van die vaardigheden én het routinematige gebruik ervan op het werk volgt.

Nu AI steeds dieper verankerd raakt in de manier waarop organisaties werken, is duidelijk geworden dat traceerbaarheid en waarneembaarheid op het gebied van beveiliging, evenals governance van zowel ontwikkelaars als hun AI-codeertools, de nieuwe basis vormen voor veilige code in organisaties.

Aanhoudende dreigingen vragen om een voortdurende reactie

Misschien gingen we er ooit van uit dat software relatief onschuldig was en gewoon deed waarvoor ze was geprogrammeerd. Bij een storing liep ze misschien vast of veroorzaakte ze enige uitval, maar ze zou niet in de aanval gaan. AI, en met name agentische AI, heeft die veronderstelling volledig op zijn kop gezet. Of een AI-model nu agentisch is of door ontwikkelaars wordt ondersteund, de handelingen ervan moeten voortdurend worden geobserveerd en aangestuurd.

De opkomende dreiging van AI, of die nu gericht is op ziekenhuizen, waterzuiveringsinstallaties, energiecentrales of bedrijven, kan een angstaanjagende gedachte zijn. Maar organisaties staan niet machteloos. Ze kunnen AI-governance invoeren, maar moeten die vanaf de basis opbouwen. Door een cultuur te omarmen waarin veilige software centraal staat en ontwikkelaars op te leiden om dat doel te bereiken, kunnen organisaties een dringend noodzakelijke mate van waarneembaarheid, traceerbaarheid en governance bieden voor een potentieel probleem dat, als het niet wordt aangepakt, alleen maar veel erger zal worden.

Matias Madou is CTO en medeoprichter van Secure Code Warrior, een toonaangevende speler op het gebied van AI-softwaregovernance en het bijscholen van ontwikkelaars op het gebied van beveiliging, die ondernemingen in staat stelt AI-gestuurde softwareontwikkeling gedurende de volledige SDLC te beheersen. Matias is onderzoeker en ontwikkelaar en heeft meer dan 15 jaar praktijkervaring met softwarebeveiliging. Daarnaast heeft hij oplossingen ontwikkeld voor bedrijven als Fortify Software en voor zijn eigen bedrijf Sensei Security.