Thought leaders

Waarom AI-bedrijven racen om beveiligingsfouten toe te geven

mm
Voeg Unite.AI toe aan je voorkeursbronnen op Google

In bijna elke andere sector is “ons product is binnengevallen in de systemen van een ander bedrijf” het soort incident dat een organisatie hard zou proberen stil te houden. Maar nu AI in een rap tempo vooruitgaat, worden beveiligingsfouten regelmatige koppen, en bedrijven leggen nu onvoorziene AI-activiteit uit in zorgvuldig opgestelde blogposts.

Dat groeiende gevoel van routine zou een rode vlag moeten zijn voor bedrijfsleiders.

Naarmate AI-modellen capabeler, autonomer en dieper geïntegreerd in bedrijfsprocessen worden, is openheid een van de meest waardevolle valuta’s in de sector geworden. Bedrijven weten dat klanten niet zelfstandig elke veiligheidsclaim over een geavanceerd model kunnen verifiëren, dus het toegeven van een fout signaleert dat een organisatie haar eigen fouten publiekelijk zal onderzoeken. Maar transparantie is geen verantwoordelijkheid. Openheid kan nooit een vervanging worden voor preventie, die des te kritischer zal worden naarmate AI-modellen blijven rijpen.

Wanneer één openbaarmaking de volgende veroorzaakt

Het patroon werd de afgelopen weken duidelijk. Modellen die door OpenAI werden geëvalueerd, kregen onbedoelde toegang tot live systemen, waaronder de productie‑infrastructuur van Hugging Face. OpenAI identificeerde haar eigen agent als verantwoordelijk en deelde het incident openbaar. Die erkenning zette Anthropic ertoe aan om meer dan 141.000 evaluatieruns te onderzoeken, waarbij drie gevallen werden ontdekt waarin Claude-modellen het internet bereikten en de productiesystemen van drie organisaties binnendrongen. 

Daarna kwam Meta, dat niet met een openbaar onderzoek begon. De pers rapporteerde het incident eerst, en pas daarna bevestigde Meta dat een verkeerde configuratie tijdens externe tests één van haar modellen toegang tot het internet had gegeven en een kwetsbaarheid in een dienst van een derde partij had uitgebuit. Meta zei dat het onderzoek deed en later meer zou delen.

Deze incidenten waren niet identiek, en de modellen opereerden onder ongewone evaluatieomstandigheden. In sommige gevallen waren normale beveiligingsmaatregelen verminderd of uitgeschakeld om ruwe cybercapaciteiten te meten. Maar de bredere les is moeilijker te negeren: steeds autonomere systemen overschreden de grenzen die hun beheerders dachten te hebben vastgesteld.

Transparantie kan een concurrentievoordeel zijn (of toch niet?)

De ruime interpretatie is dat AI-bedrijven een volwassen openheidscultuur ontwikkelen. Cybersecurity heeft decennialang geleerd dat geheimhouding vaak de schade vergroot. Organisaties die incidenten snel melden, uitleggen wat er is gebeurd en anderen laten leren, winnen doorgaans meer geloofwaardigheid dan organisaties die minimaliseren of vertragen. 

Anthropic’s openheid liet zien hoe dat eruitziet. Het beschreef de reikwijdte van haar beoordeling, erkende haar eigen fouten, nam contact op met getroffen organisaties en schetste de controles die zij van plan was te wijzigen. Het benaderde de oplossingen alsof de verantwoordelijkheid volledig bij haar lag, hoewel de testconfiguratie van een derde partij bijdroeg. Productieve openheid vereist niet dat één organisatie elke fout doet alsof zij die veroorzaakt heeft. Het vereist het accepteren van verantwoordelijkheid voor de controles binnen jouw invloed.

Een bekentenis kan meer doen dan vertrouwen opbouwen

Toch is openheid nooit louter altruïstisch. Een openbare bekentenis kan tegelijk verschillende strategische doelen dienen.

Ten eerste kan het de capaciteit aantonen. “Ons model ontsnapte uit de test en compromitteerde een echt systeem” is een alarmerende bekentenis, maar het leest ook als bewijs dat het model ongewoon krachtig is. Het incident wordt, bewust of onbewust, een productdemonstratie.

Ten tweede stelt het een bedrijf in staat het verhaal vorm te geven voordat regelgevers, klanten of journalisten dat voor hen doen. De organisatie definieert de terminologie, legt de testcondities uit en kadert de oplossing.

Ten derde kan herhaalde openheid het gedrag normaliseren. Als elk groot AI-lab meldt dat een agent een grens heeft overschreden en een live systeem heeft gecompromitteerd, kan de sector het gedrag gaan zien als een onvermijdelijk neveneffect van vooruitgang.

Het kan niet de norm worden. De CISO’s met wie ik spreek willen weten waarom preventieve controles de activiteit niet hebben gestopt. Ze vragen wie de toegang van het model heeft geautoriseerd, welke grenzen werden gehandhaafd, hoe de acties werden gemonitord en of iemand het had kunnen stoppen voordat het een derde partij bereikte. Dat zijn verantwoordingsvragen, geen communicatievragen.

Openheid is het begin van verantwoording

Cybersecurity heeft al geleerd dat het aankondigen van een incident niet hetzelfde is als het afhandelen ervan. Een geloofwaardige openheid legt uit wat er gebeurde, wie er getroffen werd, hoe de respons het incident bevatte, welke controles faalden en wat de volgende keer soortgelijke activiteit zal voorkomen.

Voor AI‑agents moet die norm verder gaan. Agents volgen geen voorspelbare paden. Ze redeneren, kiezen tools en passen zich aan de context aan. Een legitiem doel garandeert niet dat elke stap erna legitiem is. Organisaties hebben preventieve controles nodig die bepalen wat een agent mag benaderen, welke tools hij mag gebruiken en welke handelingen hij mag uitvoeren, plus continue monitoring van wat de agent daadwerkelijk doet.

Dat werk moet al vóór de inzet beginnen. Leiders moeten threat modeling eisen voor agent‑workflows, toegang op het principe van minste privilege, expliciete limieten op externe connectiviteit, onafhankelijke validatie van testomgevingen, realtime handhaving van beleid en duidelijke punten voor menselijke tussenkomst. Je kunt preventie niet pas na het eerste openbare incident toevoegen.

Leiders moeten nu beslissen wat er daarna gebeurt

Elke onderneming die AI‑agents inzet, kan uiteindelijk haar eigen versie van dit moment tegenkomen. De organisatie kan ontdekken dat een agent informatie heeft benaderd die hij niet mocht, buiten zijn bevoegdheid heeft gehandeld of onverwacht een extern systeem heeft bereikt.

Bepaal nu wat je zou onthullen, aan wie en onder welke voorwaarden. Belangrijker nog, definieer de verantwoording die daarmee gepaard gaat. Wie is eigenaar van de acties van de agent? Wie kan de toegang ervan afsluiten? Welk bewijs bewaar je? Welke controle voeg je toe voordat het systeem weer online gaat?

De haast om AI‑fouten te publiceren kan een gezondere en meer open sector signaleren. Maar de bekentenis kan niet het hele verhaal zijn.

Vertrouwen wordt niet alleen door de bekentenis opgebouwd. Het wordt opgebouwd door de controles die het incident hadden moeten voorkomen, de acties die direct daarna werden ondernomen, en het bewijs dat dezelfde fout niet simpelweg opnieuw zal optreden.

Adam Ely is Algemeen Manager van AI Agent Security bij Check Point, waar hij het AI Security‑team leidt. Voor deze functie was de heer Ely CISO bij Fidelity Investments, voordat hij de leiding kreeg over de Digital‑groep van Fidelity, inclusief het AI‑product & COE‑groepen.

Hij heeft ook functies bekleed, waaronder Deputy CISO en CISO eCommerce bij Walmart, medeopgericht Bluebox Security, in 2016 overgenomen, en soortgelijke functies gehad bij Salesforce en The Walt Disney Company.

Naast deze functies zat de heer Ely in de Raad van Bestuur van fintech Akoya en gaf hij eerder les in Enterprise Risk Management aan Columbia University.