De beveiligingszwakheden die we zelf hebben gebouwd: AI-agents en het probleem met gehoorzaamheid

LLM-gebaseerde AI-agents introduceren een nieuwe klasse van zwakheden, waarbij aanvallers kwaadaardige instructies in data injecteren, waardoor behulpzame systemen ongewild tot medeplichtigen worden.

Microsoft Copilot werd niet gehackt in de klassieke zin. Er was geen malware, geen phishing-link, geen kwaadaardige code. Niemand hoefde iets aan te klikken of een exploit te deployen.

De dreigingsactor hoefde alleen maar te vragen. Microsoft 365 Copilot, dat precies deed wat het was ontworpen om te doen, volgde de instructies op. In de recente Echoleak-zero-click-aanval werd de AI-agent gemanipuleerd door een prompt die vermomd was als data. Het volgde de instructies op, niet omdat het kapot was, maar omdat het functioneerde zoals het was ontworpen.

Deze zwakheid benutte geen softwarebugs. Het benutte taal. En dat markeert een belangrijke mijlpaal in cybersecurity, waarbij het aanvalsoppervlak niet langer code is, maar conversatie.

Het nieuwe AI-gehoorzaamheidsprobleem

AI-agents zijn ontworpen om te helpen. Hun doel is om de intentie van de gebruiker te begrijpen en efficiënt te handelen. Die functionaliteit komt met risico’s. Wanneer ze zijn ingebed in bestandssystemen, productiviteitsplatforms of besturingssystemen, volgen deze agents natuurlijke taalopdrachten met minimale weerstand.

Dreigingsactoren benutten die exacte eigenschap. Met prompt-injecties die onschuldig lijken, kunnen ze gevoelige acties triggeren. Deze prompts kunnen onder andere omvatten:

• Multilingual code-snippets
• Onbekende bestandsformaten en ingebedde instructies
• Niet-Engelse taalinput
• Multi-step-opdrachten verborgen in informele taal

Omdat grote taalmodellen (LLM’s) zijn getraind om complexiteit en ambiguïteit te begrijpen, wordt de prompt de payload.

Het spook van Siri en Alexa

Dit patroon is niet nieuw. In de vroege dagen van Siri en Alexa toonden onderzoekers aan hoe het afspelen van een spraakopdracht zoals “Verstuur alle mijn foto’s naar dit e-mailadres” een actie kon triggeren zonder gebruikersverificatie.

Nu is de dreiging groter. AI-agents zoals Microsoft Copilot zijn diep geïntegreerd in Office 365, Outlook en het besturingssysteem. Ze hebben toegang tot e-mails, documenten, referenties en API’s. Aanvallers hebben alleen de juiste prompt nodig om kritieke gegevens te extraheren, terwijl ze zich voordoen als een legitieme gebruiker.

Wanneer computers instructies voor data aanzien

Dit is geen nieuw principe in cybersecurity. Injecties zoals SQL-aanvallen slaagden omdat systemen onderscheid konden maken tussen input en instructie. Vandaag bestaat diezelfde fout, maar op het taalniveau.

AI-agents behandelen natuurlijke taal als zowel input als intentie. Een JSON-object, een vraag of zelfs een zin kan een actie initiëren. Deze ambiguïteit is wat dreigingsactoren benutten, door opdrachten in te bedden in wat eruitziet als onschuldige inhoud.

We hebben intentie in onze infrastructuur ingebed. Nu hebben dreigingsactoren geleerd hoe ze die kunnen extraheren om hun eigen doelen te dienen.

AI-adoptie gaat sneller dan cybersecurity

Terwijl ondernemingen haasten om LLM’s te integreren, veronachtzamen velen een kritieke vraag: wat heeft de AI toegang tot?

Wanneer Copilot toegang heeft tot het besturingssysteem, breidt het blast radius zich uit ver voorbij de inbox. Volgens Check Point’s AI Security Report:

• 62 procent van de wereldwijde Chief Information Security Officers (CISO’s) vrezen dat ze persoonlijk aansprakelijk kunnen worden gesteld voor AI-gerelateerde inbreuken
• Bijna 40 procent van de organisaties rapporteert ongeautoriseerd intern gebruik van AI, vaak zonder security-toezicht
• 20 procent van de cybercriminele groepen integreert nu AI in hun operaties, inclusief voor het maken van phishing en het uitvoeren van verkenning

Dit is geen opkomend risico. Het is een huidig risico dat al schade veroorzaakt.

Waarom bestaande beveiligingsmaatregelen tekortschieten

Sommige leveranciers gebruiken watchdogs — secundaire modellen die zijn getraind om gevaarlijke prompts of verdachte gedragingen te detecteren. Deze filters kunnen basisbedreigingen detecteren, maar zijn kwetsbaar voor ontwijktechnieken.

Dreigingsactoren kunnen:

• Filters overbelasten met ruis
• Intentie verspreiden over meerdere stappen
• Onopvallende formuleringen gebruiken om detectie te omzeilen

In het geval van Echoleak waren beveiligingsmaatregelen aanwezig — en ze werden omzeild. Dit weerspiegelt niet alleen een falen van beleid, maar een falen van architectuur. Wanneer een agent hoge machtigingen heeft, maar lage context, falen zelfs goede beveiligingsmaatregelen.

Detectie, niet perfectie

Het voorkomen van elke aanval kan onrealistisch zijn. Het doel moet zijn om snel te detecteren en snel te isoleren.

Organisaties kunnen beginnen met:

• AI-agent-activiteit in real-time monitoren en prompt-auditlogs bijhouden
• Strikte least-privilege-toegang toepassen op AI-hulpmiddelen, spiegelend aan admin-niveau-controle
• Wrijving toevoegen aan gevoelige operaties, zoals het vereisen van bevestigingen
• Ongebruikelijke of vijandige promptpatronen markeren voor herziening

Taalgebaseerde aanvallen zullen niet verschijnen in traditionele endpoint detection and response (EDR)-hulpmiddelen. Ze vereisen een nieuw detectiemodel.

Wat organisaties nu moeten doen om zichzelf te beschermen

Voordat ze AI-agents implementeren, moeten organisaties begrijpen hoe deze systemen werken en welke risico’s ze introduceren.

Belangrijke aanbevelingen zijn:

1. Audit alle toegang: Weet wat agents kunnen aanraken of triggeren
2. Beperk de reikwijdte: Verleen minimale noodzakelijke machtigingen
3. Volg alle interacties: Log prompts, antwoorden en resulterende acties
4. Stresstest: Simuleer vijandige input intern en frequent
5. Plan voor ontwijkende tactieken: Ga ervan uit dat filters zullen worden omzeild
6. Align met beveiliging: Zorg ervoor dat LLM-systemen beveiligingsdoelen ondersteunen, in plaats van te compromitteren

Het nieuwe aanvalsoppervlak

Echoleak is een voorbeeld van wat er gaat komen. Naarmate LLM’s evolueren, wordt hun behulpzaamheid een aansprakelijkheid. Diep geïntegreerd in bedrijfssystemen, bieden ze aanvallers een nieuwe manier om binnen te dringen — via eenvoudige, goed geconstrueerde prompts.

Dit gaat niet langer alleen over het beveiligen van code. Het gaat over het beveiligen van taal, intentie en context. Het spelboek moet nu veranderen, voordat het te laat is.

En toch is er goed nieuws. Er wordt vooruitgang geboekt in het gebruik van AI-agents om te verdedigen tegen nieuwe en opkomende cyberdreigingen. Wanneer goed gebruikt, kunnen deze autonome AI-agents sneller reageren op dreigingen dan enige mens, samenwerken over omgevingen heen en proactief verdedigen tegen opkomende risico’s door te leren van één inbraakpoging.

Agente AI kan leren van elke aanval, aanpassen in real-time en dreigingen voorkomen voordat ze zich verspreiden. Het heeft het potentieel om een nieuwe era van cyberweerbaarheid te vestigen, maar alleen als we deze kans grijpen en de toekomst van cybersecurity samen vormgeven. Als we dat niet doen, kan deze nieuwe era een cybersecurity- en dataprivacynachtmerrie betekenen voor organisaties die al AI hebben geïmplementeerd (soms zelfs onbewust met shadow IT-hulpmiddelen). Nu is het tijd om actie te ondernemen om ervoor te zorgen dat AI-agents voor ons voordeel worden gebruikt, in plaats van voor ons nadeel.