Wie wordt de agent in de gaten gehouden? Het nieuwe tijdperk van AI-toezicht

Wanneer we het hebben over AI-agents, roept dat bij de meeste mensen een beeld op van superintelligente systemen die op eigen houtje handelen en onvoorspelbare dingen doen. Dus één dag kan de agent-secretaresse ontzettend nuttig zijn, en de volgende dag kan ze je bankgegevens aan een willekeurig persoon geven.

Het “superintelligente” deel doet er eigenlijk niet toe in deze zorg. Het belangrijkste punt is niet hoe “slim” een AI-agent is, maar eerder hoeveel vrijheid en toegang tot infrastructuur hij heeft.

In de praktijk wordt de waarde van een agent gedefinieerd door de grenzen van zijn autoriteit, minder door zijn intelligentieniveau. Zelfs een relatief eenvoudige agent, eenmaal toegang gekregen tot datasets, bedrijfssystemen, financiële operaties of externe API’s, krijgt de mogelijkheid om processen op een schaal te beïnvloeden die speciale aandacht en toezicht vereist.

Dat is waarom monitoren en beperken systemen steeds belangrijker worden, niet alleen op modelniveau maar ook op het niveau van hun gedrag binnen de infrastructuur.

Het is geen toeval dat initiatieven gericht op het observeren en controleren van agentactiviteiten de afgelopen jaren aan momentum winnen. Deze praktische oplossingen worden al geïmplementeerd door grote technologiebedrijven.

Hoe werkt een agent

Om te begrijpen hoe toezicht werkt, moeten we eerst kijken naar waaruit een agent bestaat. In vereenvoudigde termen kan het worden gezien als een combinatie van een cognitieve kern, de “hersenen” en tools.

Tools zijn externe diensten en integraties waartoe de agent toegang heeft. Als voorbeeld, voor een reisagent, kan dit Booking.com of Airbnb omvatten voor het vinden van hotels, luchtvaartaggregators voor het kopen van tickets en betalingssystemen of bankkaarten voor betalingen. Op zichzelf zijn deze tools niet intelligent; ze laten de agent alleen toe om in de echte wereld te handelen.

De cognitieve kern is een taalmodel (LLM). Het stelt de agent in staat om zinvol te werken met door mensen geformuleerde verzoeken. Bijvoorbeeld, het verzoek “Ik wil voor drie dagen naar Europa vliegen in de komende maand, waar het weer leuk is” is te vaag. De agent vraagt het LLM om “het verzoek in categorieën te breken.” Als antwoord krijgt hij gestructureerde parameters: waar, wanneer, voor hoe lang en onder welke voorwaarden.

Vroeger genereerde ChatGPT alleen tekstuele antwoorden. Nu, ingebed in een agent, wordt het een combinatie van “hersenen + tools”, in staat om niet alleen uit te leggen maar ook te handelen. Het LLM structureert de taak, en de tools laten het toe om specifieke acties uit te voeren.

Hoe werkt toezicht

Op dit punt komt een controle systeem in het spel. Ik noem deze veiligheidsoplossing een “watchdog” (een tijdje geleden overwoog ik zelfs om een startup te beginnen die zich hierop richt), een soort waakhond die in de agent is ingebouwd. Zijn taak is om de acties van de agent te monitoren en te controleren of ze overeenkomen met het oorspronkelijke verzoek. Het doel is om ervoor te zorgen dat de agent binnen de bedoelde grenzen werkt.

Terug naar het reisvoorbeeld: stel dat onze gebruiker een driedaagse reis naar Europa wil boeken. De agent communiceert met weersdiensten, vliegticketaanbieders en de bankrekening voor betaling. Alles lijkt normaal. Maar plotseling merkt de “watchdog” dat de agent toegang vraagt tot een bedrijfsdatabase of een bankrekening die niet gerelateerd is aan de reisbetaling. Dit activeert een veiligheidsalarm en signaleert verdacht gedrag.

Het is belangrijk om de omvang te begrijpen: een agent kan duizenden gebruikers per dag bedienen, met elk verzoek dat honderden operaties activeert, resulterend in miljoenen acties. De “watchdog” analyseert alle acties en genereert statistieken. Rapporten kunnen aangeven: “13% van de acties waren overbodig, 7% had betrekking op financiële veiligheid.” Verdere details leggen uit welke specifieke acties verdacht leken.

Dit hulpmiddel stelt ontwikkelaars in staat om het volledige beeld te zien en snel te reageren op afwijkingen, waardoor een praktische AI-controleoplossing ontstaat die real-time monitoring, afwijkingdetectie en verantwoordingsplicht combineert.

Wie heeft baat bij de ”watchdog”: ontwikkelaars of gebruikers?

In de eerste plaats is de “watchdog” bedoeld voor ontwikkelaars om ervoor te zorgen dat het systeem correct werkt. Echter, men kan zich ook een externe versie voorstellen: een aparte observerende agent die de hoofdagent in de gaten houdt. Dit voegt een extra laag van AI-veiligheid toe, waardoor toezicht verder gaat dan het interne systeem.

Er is een belangrijke beperking: het interne proces van de agent blijft “gesloten.” We kunnen alleen zijn gedrag observeren, niet zijn cognitieve processen. Een analogie met mensen: ik kan iemand zien die een telefoon oppakt, een nummer intoetst en praat. Maar ik weet niet welk nummer er is ingetoetst, wat de bedoeling was of wat er is gezegd. Op dezelfde manier ziet een externe waarnemer de acties van de agent, maar niet zijn cognitieve kern.

Een andere intrigerende overweging: agents kunnen in de toekomst proberen om dergelijke observatoren te omzeilen of uit te schakelen, net zoals mensen vaak constant toezicht weerstaan. Hoewel dit vandaag nog sciencefiction lijkt, is het mogelijk. Het integreren van interne AI-veiligheidsoplossingen, afwijkingdetectie en gelaagd toezicht kan helpen om deze risico’s te mitigeren en de controle over steeds autonomere systemen te behouden.

Primitieve regels of contextueel bewuste analyse?

Vandaag werken dergelijke “watchdog”-systemen op een eenvoudig principe: “toegestaan” of “niet toegestaan.” Bijvoorbeeld, als de regel zegt “toegang tot Amazon is verboden” en de agent gaat erheen, wordt een overtreding geregistreerd. Maar deze aanpak begrijpt geen context.

Een geavanceerder systeem zou de overtreding en de reden ervan moeten analyseren. Waarom ging de agent naar Amazon? Was het gerechtvaardigd in het kader van de taak? Hier hebben we het over contextueel toezicht, vergelijkbaar met het werk van een psycholoog.

Op dit moment bestaan dergelijke oplossingen alleen als concepten. Bestaande systemen zijn beperkt tot strikte zwart-witcontrole. Maar in de toekomst, naarmate agents complexer worden, zal een “watchdog” die context kan begrijpen, ontstaan.

Vandaag zien we een groei in initiatieven voor agentmonitoring. Ze worden actief ontwikkeld op het niveau van de grootste technologiebedrijven. Zo werkt ActiveFence bijvoorbeeld samen met grote spelers zoals NVIDIA en Amazon.

Bovendien is het veilig om aan te nemen dat Google, OpenAI, Anthropic en Amazon al hun eigen interne “watchdog”-systemen, analytics en telemetrie gebruiken.

Ik merkte deze vraag ook op bij Keymakr-ondernemingsklanten – toezicht en monitoring worden een kerndeel van de AI-infrastructuur. Zonder hen zou grootschalige agentimplementatie onmogelijk zijn.