Wanneer AI-mogelijkheden sneller toenemen dan de beveiligingsmodellen die zijn gebouwd om ze te bevatten

AI-hulpmiddelen komen meestal met een vertrouwd verhaal. Ze beloven workflows te vereenvoudigen, de productiviteit te verhogen en taken uit te voeren die niemand leuk vindt. En meestal leveren ze precies dat. Ze vereenvoudigen inloggen, documenten samenvatten, workflows automatiseren en maken routineactiviteiten bijna moeiteloos.

Maar onder al die gemak zit een ander verhaal. Deze hulpmiddelen zijn niet langer beperkt tot een tekstvak. Ze beginnen nu op het besturingssysteem zelf te werken. Ze kunnen bestanden doorbladeren, e-mails opstellen, interactie hebben met toepassingen en acties uitvoeren die vroeger een attent mens vereisten die de gevolgen begreep. Die verschuiving plaatst AI in een positie die bestaande beveiligingsaannamen nooit zijn gebouwd om te beheren.

Het moment waarop AI toegang tot het systeem krijgt

Zodra een AI-systeem echte bestanden kan lezen en echte opdrachten kan uitvoeren, wordt het onderdeel van de vertrouwde rekenkundige basis. Dat is het moment waarop lang gehouden verwachtingen over AI-veiligheid beginnen te breken.

Voor jaren werd prompt-injectie beschouwd als een vreemd modelgedrag. Het zorgde ervoor dat chatbots misleidende of ongepaste antwoorden produceerden, maar de schade eindigde met het gesprek. Nu kan dezelfde fout een host-niveauactie triggeren, niet alleen tekst. Een kwaadwillige instructie verborgen in een PDF, website of e-mail produceert geen vreemd antwoord meer. Het produceert een actie die op de machine wordt uitgevoerd.

Dit is niets waar de industrie zich van af kan maken als theorie. Onderzoekers aan de Carnegie Mellon en de University of Washington hebben herhaaldelijk aangetoond dat verborgen instructies grote taalmodellen kunnen laten uitvoeren wat gebruikers nooit bedoeld hadden. Ondertussen hebben onderzoekers die visiemodellen bestuderen laten zien hoe gemanipuleerde afbeeldingen modelperceptie kunnen veranderen op manieren die downstream-gedrag beïnvloeden.

Deze experimenten werden vroeger behandeld als laboratoriumcuriositeiten. Ze voelen niet langer academisch aan wanneer de AI toegang heeft tot het besturingssysteem.

Wanneer agentmogelijkheden de controle van verdedigers inhalen

Zelfs de bedrijven die deze agenten bouwen, erkennen de ernst van de uitdaging. Ze hebben filters versterkt om prompts te verwerken, maar ze verklaren openlijk dat het controleren van de echte acties van een AI-systeem nog een actief, onopgelost gebied van werk is in de hele industrie. Die kloof tussen wat de agent kan doen en wat verdedigers kunnen controleren, introduceert een nieuwe categorie risico’s die bestaande beveiligingsplaybooks niet kunnen absorberen.

AI-agenten hebben een grens overschreden waar de industrie niet volledig op voorbereid is. De enige manier om dit te begrijpen is door te kijken hoe prompt-injectie nu samenvalt met de aanvalsketens die verdedigers al meer dan een decennium volgen.

Hoe prompt-injectie nu in kaart wordt gebracht op de aanvalsketens die iedereen kent

Aanvallers hebben altijd een voorspelbaar patroon gevolgd. Het MITRE ATT&CK-framework legt de stadia duidelijk uit. Initiële toegang wordt gevolgd door uitvoering, persistentie, ontdekking, laterale beweging, verzameling en exfiltratie. De technieken variëren, maar de structuur is stabiel.

Wat verandert, is het leveringsmechanisme. In plaats van een gebruiker te overtuigen om een kwaadwillige bijlage te openen of een gevaarlijke link te klikken, kunnen aanvallers instructies plaatsen waar de AI-agent ze zal lezen. De agent wordt de uitvoeromgeving. Het voert de stappen exact uit zoals beschreven. Het model stelt geen vragen over of de instructie schadelijk is. Het past geen oordeel of intuïtie toe. Het handelt eenvoudigweg.

Zodra een aanvaller de redenering van de agent kan beïnvloeden, komt de aanvalsketen snel samen. Een gemanipuleerd bestand activeert uitvoering, opvolginstructies creëren persistentie, systeemzoekopdrachten bieden ontdekking en bestandsuploads maken verzameling en exfiltratie mogelijk. Er is geen malware nodig. De agent voert de stappen eenvoudigweg uit zoals geschreven.

Dit is het deel van het verhaal dat beveiligingsteams moeite hebben om zich aan aan te passen. Ze hebben jarenlang detectieregels, controles en responsprocessen opgebouwd rond code-gebaseerde uitvoering. AI-agenten introduceren andere soorten interpreters. Ze voeren uit via natuurlijke taal, niet via gecompileerde binaire bestanden. Bestaande tools zijn niet gebouwd om dat redeneringsproces te volgen of te analyseren.

Beveiligingsteams zijn er niet op voorbereid en realiseren het zich niet eens

Beveiligingsprogramma’s gaan er nog steeds van uit dat een mens tussen inhoud en actie zit. Mensen kunnen worden misleid, maar ze pauzeren wanneer iets verkeerd aanvoelt. Ze merken vreemde zinnen op, stellen vragen over onverwacht gedrag en brengen oordeel aan in de laatste mijl van het besluit.

AI-agenten doen dit allemaal niet; ze zijn consistent, letterlijk en sneller dan elke tegenstander. Een enkele regel verborgen tekst is voldoende om de agent te instrueren om gevoelige bestanden te lezen, door toepassingen te bewegen of contact op te nemen met een externe server. Dit plaatst verdedigers in een positie waarin ze nog nooit hebben verkeerd.

Beveiligingsteams hebben beperkte zichtbaarheid in hoe een agent tot een besluit komt, en ze kunnen niet gemakkelijk bepalen of een actie afkomstig is van de gebruiker of de AI. Traditionele malwaredetectie biedt geen hulp, omdat er niets kwaadwilligs wordt uitgevoerd in de gebruikelijke zin, en er is geen garantie dat de agent vragen zal stellen of schadelijke instructies die in normale inhoud zijn verborgen, zal weigeren.

Hulpmiddelen die zijn ontworpen voor menselijk gedrag zijn eenvoudigweg niet overdraagbaar naar een wereld waar natuurlijke taal het script wordt dat systeemgedrag aandrijft.

Welke compenserende controles werken echt

Modelverharding is niet voldoende. Beveiligingsteams hebben controles nodig rond de agent die beperken wat de AI kan doen, zelfs wanneer zijn redenering wordt beïnvloed.

Er zijn verschillende strategieën die veelbelovend zijn:

• Minimale toegangsrechten zijn essentieel. Agenten moeten alleen toegang hebben tot de bestanden en acties die nodig zijn voor hun taken. Het verminderen van onnodige machtigingen beperkt de impact van gemanipuleerde instructies.
• Menselijke goedkeuringsstappen kunnen schadelijke acties stoppen voordat ze optreden. Wanneer een agent een gevoelige bewerking probeert uit te voeren, zoals een opdracht uitvoeren of beschermde gegevens openen, moet de gebruiker de aanvraag goedkeuren of weigeren.
• Inhoudsfiltering creëert een buffer tussen onbetrouwbare materialen en de agent. Het screenen van documenten, URL’s en externe tekst vermindert de kans dat verborgen instructies het model bereiken.
• Uitgebreid loggen is verplicht. Elke door de agent geïnitieerde actie moet worden opgenomen en beoordeeld. Deze acties moeten worden behandeld als elke bevoorrechte gebruikersactiviteit.
• Het in kaart brengen van agentgedrag naar ATT&CK-technieken helpt verdedigers om te identificeren waar de agent kan worden gedwongen om schadelijke acties uit te voeren en waar omheiningen moeten worden geplaatst. Het gebruikt hetzelfde systeem dat al de defensieve strategie structureert.

Deze compenserende controles zullen het risico niet elimineren. Maar ze bevatten het op manieren waarop modelniveau-verdedigingen dat niet kunnen.

Waar de industrie naartoe gaat

AI-agenten vertegenwoordigen een belangrijke verschuiving in de manier waarop computing werkt. Ze bieden ongelooflijke productiviteit, maar ze introduceren ook een categorie operationeel risico dat niet past binnen bestaande beveiligingskaders. Richtlijnen van het Britse Nationale Cyberbeveiligingscentrum zijn een begin, maar de meeste organisaties ontbreken nog steeds een duidelijke manier om agenten die op het systeem kunnen werken te reguleren.

Dit moment voelt vergelijkbaar met de vroege dagen van cloudadoptie. De technologie bewoog sneller dan de controles. De organisaties die snel aanpasten, waren degene die de verschuiving vroeg erkenden en processen bouwden om het bij te houden.

Hetzelfde zal hier gelden. AI-agenten zijn niet alleen hulpmiddelen. Ze zijn operators met systeemniveau-bereik. Het beveiligen ervan vereist nieuwe playbooks, nieuwe omheiningen en nieuwe manieren om blootstelling te modelleren.

De industrie hoeft deze tools niet te vrezen. Maar het moet ze wel begrijpen. En het moet snel handelen, want aanvallers zien al de kans. De vraag is of verdedigers de juiste beveiligingsmaatregelen zullen bouwen voordat het te laat is.