De AI-industrie wil ons vertrouwen, maar moet eerst betere controles invoeren

Bij beveiliging kunnen we niet afwachten tot er iets misgaat om te ontdekken of onze controles werken. We testen ze. We stellen ze op de proef. We gaan ervan uit dat iemand uiteindelijk de zwakke plek vindt die wij over het hoofd hebben gezien.

Dat is beveiliging 101.

Waarom zouden we dan voor grensverleggende AI een andere norm hanteren?

Naarmate AI-systemen autonomer worden en meer toegang krijgen tot systemen in de echte wereld, zien we iets wat iedereen zou moeten verontrusten die ervaring heeft met de verdedigende kant van cybersecurity: de mogelijkheden ontwikkelen zich sneller dan de controle erover.

En snelheid is geen excuus voor zwakkere beveiliging. Het is juist de reden waarom we sterkere beveiliging nodig hebben.

Een recente beoordeling door de non-profitorganisatie Guidelight AI onderzocht het openbaar beschikbare bewijs voor de controlemaatregelen rond AI bij Anthropic, Google, Meta, OpenAI en xAI. Geen van de bedrijven scoorde in totaal hoger dan een C+.

Dat betekent niet dat deze bedrijven roekeloos zijn. Het betekent ook niet dat er achter gesloten deuren geen aanvullende controles worden toegepast.

Maar beveiliging berust niet op aannames. Als van ons wordt verwacht dat we steeds krachtigere systemen vertrouwen, mogen we bewijs verwachten dat de controles eromheen dezelfde kritische toets kunnen doorstaan die we overal elders zouden eisen.

Behandel incidenten niet langer als interessante verhalen

Wanneer een AI-agent zich onverwacht gedraagt, onbedoeld toegang krijgt of een zwakke plek blootlegt, gaat het verhaal meestal over wat de technologie heeft gedaan.

Dat is interessant.

Maar het is niet de belangrijkste vraag.

Een beveiligingsprofessional wil weten: Is de activiteit geregistreerd? Heeft iemand het zien gebeuren? Waren er beperkingen ingesteld voor gevaarlijke handelingen? Kon iemand het systeem stoppen? Was er een plan om het incident in te dammen, en had iemand dat getest?

Die vragen zijn niet uniek voor AI. In cybersecurity stellen we ze al jaren.

Toch lijken preventie en indamming zwakke plekken te blijven in het opkomende controlekader voor grensverleggende AI. Er is nog maar weinig openbaar bewijs voor acties waarvoor toestemming nodig is, noodstopmechanismen en noodmaatregelen om incidenten in te dammen.

Dat zou zwaarder moeten wegen dan hoe nieuw het incident is. Als er iets misgaat, wil ik weten wat er fout ging, wat voorkwam dat het erger werd en wat er daarna is veranderd.

Transparantie is nuttig. Ervan leren is nog beter.

Het echte beveiligingsprobleem rond AI is snelheid

Ik denk niet dat de grootste dreiging op korte termijn is dat AI plotseling een geheel nieuwe categorie cyberaanvallen bedenkt. Het grotere probleem is veel praktischer. AI kan de aanvallen die we al kennen veel sneller uitvoeren.

Onderzoek waar vroeger uren voor nodig waren, kan in minuten plaatsvinden. Aanvalstechnieken kunnen sneller aan elkaar worden gekoppeld. Kwetsbaarheden kunnen worden opgespoord en uitgebuit voordat een mensgericht beveiligingsproces zelfs maar aan het eerste escalatiegesprek is toegekomen.

Dat is een probleem, omdat veel van de huidige beveiligingsinfrastructuur er nog altijd van uitgaat dat er tijd is om te reageren.

Soms is die tijd er niet.

Als een aanval zich snel voltrekt, kan een reactieproces dat draait om tickets, vergaderingen, goedkeuringen en handmatige escalatie al achterhaald zijn voordat iemand bij stap drie is aangekomen.

En daar heeft de AI-industrie nog werk te doen.

Als labs die grensverleggende AI ontwikkelen van bedrijven verwachten dat ze hun zichtbaarheid, kwetsbaarheidsbeheer, architectuur en incidentrespons aanpassen aan het AI-tijdperk, moeten ze laten zien dat ze dat zelf ook hebben gedaan.

‘Vertrouw ons’ is geen beveiligingskader

Ik heb mijn hele loopbaan in de wereld van beveiligingstests gewerkt, en één principe blijft opvallend goed overeind: goede bedoelingen bewijzen niet dat iets veilig is. Bewijs wel.

• Je test.
• Je houdt toezicht.
• Je probeert dingen kapot te maken.

Je ontdekt wat er gebeurt als de controles zich niet gedragen zoals het architectuurdiagram voorschrijft. En je zorgt ervoor dat iemand bevoegd is het systeem zo nodig te stoppen. Voor grensverleggende AI moet dezelfde norm gelden.

Dat betekent dat je de controles aan aanvallen blootstelt, meetbaar bewijs verzamelt dat ze werken en duidelijk vastlegt wie bevoegd is systemen stil te leggen wanneer er iets misgaat.

Het betekent ook dat we opnieuw moeten nadenken over het indammen van incidenten.

Labs die grensverleggende AI ontwikkelen, kunnen niet pas improviseren over het indammen van een incident nadat een AI-agent buiten de beoogde grenzen is getreden. Terwijl ze steeds capabelere modellen trainen en testen, moeten ze verantwoordelijkheid nemen voor de handelingen die die systemen kunnen uitvoeren. Dat vereist grondige tests waarbij de controles op de proef worden gesteld, vooraf goedgekeurde waarborgen, duidelijke grenzen aan de bevoegdheden van agents en beproefde manieren om in te grijpen of een systeem stil te leggen voordat een incident zich verder verspreidt.

Menselijk oordeelsvermogen blijft belangrijk. Maar de labs die deze systemen ontwikkelen, moeten de grenzen vaststellen, testen of die standhouden en verantwoording afleggen wanneer dat niet zo is.

Hun verantwoordelijkheid is niet alleen te laten zien wat een agent kan. Ze moeten laten zien dat de agent veilig kan werken, dat het gedrag ervan beheersbaar is en dat nieuwe mogelijkheden de wereld veiliger maken, niet minder veilig.

Vertrouwen moet worden verdiend

Ik pleit er niet voor om de AI-innovatie tot een slakkengang te vertragen. Ik pleit ervoor dat de beveiliging gelijke tred houdt. Als we enorme middelen investeren om AI capabeler te maken, moeten we met vergelijkbare urgentie zorgen dat AI te verdedigen is.

Maar terwijl toonaangevende AI-labs het trainen en testen van nieuwe AI-modellen met cybercapaciteiten versnellen, moeten ze ook rekening houden met de verdedigers. Allereerst door hen te helpen bedreigingen sneller op te sporen en erop te reageren. Nog belangrijker: door te voorkomen dat die systemen zelf bedreigingen worden. Die verantwoordelijkheid vereist ook dat externe kritische toetsing wordt aanvaard.

Onafhankelijke toetsing mag niet iets worden waar bedrijven alleen voor openstaan als die aansluit bij het verhaal dat ze willen vertellen. Als toonaangevende AI-systemen krachtig genoeg zijn om het dreigingslandschap te veranderen, moeten hun beveiligingsmaatregelen sterk genoeg zijn om een grondige onafhankelijke toetsing te doorstaan.

De AI-industrie wil ons vertrouwen.

Als beveiligingsprofessional ben ik bereid dat vertrouwen te geven. Maar laat me eerst de beveiligingsmaatregelen zien.