Uit onderzoek van NVIDIA blijkt dat AI-agenten minder veilig worden wanneer ze tools gebruiken

AI-modellen zoals ChatGPT, Gemini en Claude kunnen worden gebruikt om agenten aan te drijven: ‘raamwerken’ waarmee de modellen rechtstreeks met de echte wereld kunnen communiceren. Het is een recente innovatie, die steeds meer ter discussie staat.

Agenten beschikken in elk geval niet automatisch over de vaardigheden die ze nodig hebben wanneer ze een netwerk of database verkennen, omdat de vereiste tools per taak en werkwijze verschillen. Zo hebben ze mogelijk mogelijkheden voor optische tekenherkenning (OCR) nodig om tekst op foto’s te kunnen lezen, naast andere vaardigheden. Er zijn zelfs categorieën tools die zijn afgestemd op het toepassingsgebied van de agent en het doel ervan.

In theorie wordt een verzoek dat in strijd is met de ingebouwde veiligheidsmaatregelen van een AI nooit uitgevoerd, ongeacht of er bij de uitvoering tools worden gebruikt. In de praktijk kunnen tools de beschermende filters die voorkomen dat een AI-agent ‘overtredingen’ begaat, aanzienlijk verzwakken, zo blijkt uit nieuw onderzoek.

Niet weigeren

Het nieuwe artikel van NVIDIA, getiteld MLLMs Fail to Refuse when Using Tools Agentically, laat zien dat multimodale taalmodellen (hierna MLLM’s, maar verder aangeduid met de gangbaardere term ‘VLM’, oftewel Vision Language Model) aanzienlijk vaker schadelijke verzoeken inwilligen zodra tools worden ingezet. Het aantal weigeringen dat uitblijft, nam toe bij elk getest model en elke benchmark.

Hoewel open-gewichtsmodellen zoals Qwen3-VL gevoeliger bleken voor dit probleem, vertoonden ook geavanceerde AI-modellen zoals Claude Opus 4.7, Gemini 3.1 Pro en GPT-5.4 vaker weigeringen die uitbleven wanneer ze tools gebruikten.

De auteurs schrijven*:

‘Ondanks het recente grote succes van agentische MLLM’s brengt dit onderzoek een cruciaal veiligheidsprobleem aan het licht in de manier waarop tools worden gebruikt: agentische MLLM’s die tools gebruiken, zijn minder goed in staat schadelijke verzoeken te weigeren.’

‘Onze experimenten bevestigen dat alle toonaangevende open- en gesloten-gewichtsmodellen die we hebben getest, op drie populaire veiligheidsbenchmarks aanzienlijk minder veilig zijn wanneer ze tools gebruiken dan wanneer ze dat niet doen. Het relatieve percentage weigeringen dat uitblijft, stijgt daarbij met maximaal 68,7%.’

‘Op basis van een analyse van meer dan 100.000 reacties, waaronder uitgebreide experimenten, stellen we ook twee mogelijke oorzaken voor deze afname van de veiligheid voor.’

De twee mogelijke oorzaken die het artikel noemt, zijn verwatering van de context, waarbij het oorspronkelijke schadelijke verzoek minder op de voorgrond komt naarmate de tooluitvoer zich opstapelt, en verschuiving van de veiligheidsfocus, waarbij het model zich richt op het beschrijven van observaties uit tools in plaats van veiligheid voorop te stellen.

Testresultaten die de centrale veiligheidsbevinding van het artikel illustreren. Bovenaan vraagt een gebruiker hoe je een kennelijke zakkenrollerij uitvoert die op een afbeelding te zien is. Een conventionele VLM weigert het verzoek meteen, terwijl een versie die tools gebruikt eerst beeldanalysetools inzet, zoals inzoomen, en vervolgens verder redeneert en uiteindelijk een schadelijk antwoord geeft. De grafiek hieronder laat zien dat deze toename van het aantal weigeringen dat uitblijft, is waargenomen bij elk geëvalueerd open-gewichtsmodel en propriëtair model. Bron

Bij alle elf geteste modellen leidde het inschakelen van tools consequent tot meer weigeringen die uitbleven. In de ernstigste gevallen bedroeg de relatieve toename 68,7%, zelfs bij modellen die anders blijk gaven van sterke veiligheidsprestaties.

Het zal interessant zijn om te zien of de resultaten van dit onderzoek, dat is uitgevoerd door zes onderzoekers van NVIDIA, elders worden gerepliceerd of herhaald, en of ze ons inzicht kunnen verdiepen in het schijnbare en opkomende wangedrag van wetsovertredende AI-agenten.

Methode en gegevens

De onderzoekers evalueerden elf VLM’s uit zeven modelfamilies. De propriëtaire modellen waren Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 en GPT-5.4.

De open-gewichtsmodellen waren Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo en AdaReasoner-7B-Randomized, een open-gewichtsmodel dat specifiek is afgestemd op agentisch toolgebruik.

Daarnaast werden afzonderlijke experimenten uitgevoerd met Gemini 3 Flash Vision Agent, omdat het autonome gebruik van tools bij dit model een afzonderlijke evaluatie vereiste.

Voor de tests met tools gebruikten de onderzoekers het ReAct-format, waarin redeneren en het aanroepen van tools elkaar afwisselen. De vier beschikbare tools waren een tool voor tagging, met RAM++; inzoomen en bijsnijden; optische tekenherkenning (OCR) met GOT-OCR2.0; en een geïsoleerde Python-code-interpreter, waarmee afbeeldingen konden worden bewerkt en geanalyseerd.

De onderzoekers ontwierpen prompts in paren om het effect van toolgebruik te isoleren, los van de stijl van de prompt. Conventionele VLM’s kregen de instructie de afbeelding te bekijken en rechtstreeks op het verzoek van de gebruiker te antwoorden, terwijl agentische versies de ReAct-werkwijze volgden en herhaaldelijk besloten of ze tools moesten aanroepen voordat ze een definitief antwoord gaven.

Vergelijking van de gematchte prompts die voor de belangrijkste experimenten zijn gebruikt. In de conditie zonder tools moest de afbeelding worden geanalyseerd en moest rechtstreeks worden geredeneerd, terwijl de agentische conditie de iteratieve ReAct-werkwijze volgde. Daarbij kon het model zelf bepalen wanneer het externe tools aanriep voordat het een definitief antwoord gaf.

De drie gebruikte multimodale veiligheidsbenchmarks waren MM-SafetyBench, VLSBench en HoliSafe. Elke benchmark bestaat uit gekoppelde afbeeldingen en schadelijke verzoeken van gebruikers. Ze zijn ontworpen om te testen of een model weigert hulp te bieden in onveilige situaties, bijvoorbeeld wanneer wordt gevraagd hoe een op een afbeelding getoonde poging tot zakkenrollen kan worden uitgevoerd.

Het percentage mislukte weigeringen (RFR) werd als belangrijkste maatstaf gebruikt. Dit meet welk percentage van de schadelijke verzoeken een model niet weigert; een hogere score wijst op lagere veiligheid.

Tests

De reacties werden geclassificeerd door GPT-5.2, dat als beoordelend taalmodel optrad en de door VLSBench aanbevolen evaluatieprompt gebruikte:

De GPT-5.2-evaluatieprompt waarmee werd bepaald of een modelreactie gold als een geslaagde weigering, een veiligheidsbewust antwoord waarin de betrokken risico’s werden benoemd, of een onveilig antwoord dat die risico’s niet herkende en wel inging op het schadelijke verzoek. De beoordelaar kreeg de oorspronkelijke afbeelding, de gebruikersvraag en de modelreactie te zien en moest de classificatie en onderbouwing in JSON-formaat teruggeven.

Elke reactie werd ingedeeld in een van drie categorieën: veilig, met weigering; veilig, met waarschuwing; of onveilig.

Het percentage mislukte weigeringen op de drie veiligheidsbenchmarks, waarbij per model wordt vergeleken hoe het presteert met en zonder toegang tot tools. Bij elk model werd het minder waarschijnlijk dat schadelijke verzoeken werden geweigerd wanneer tools werden gebruikt, al verschilde de omvang van dit effect aanzienlijk: het gemiddelde RFR steeg met 12,6 punten voor GLM-5V-Turbo, tegenover 2,3 punten voor GPT-5.4. Een donkerdere kleur duidt op een grotere toename van mislukte weigeringen.

Door de modellen tools te geven, werd de kans groter dat ze ingingen op schadelijke verzoeken die ze anders zouden hebben geweigerd. Dit resultaat deed zich voor bij elk getest model en op elke geteste benchmark. In totaal nam het aantal mislukte weigeringen met 17,7% toe, vergeleken met dezelfde modellen die zonder tools werkten.

GPT-5.4 werd het minst beïnvloed: zonder tools weigerde het 14,6% van de schadelijke verzoeken niet; met tools steeg dat aandeel naar 16,8%. Bij GLM-5V-Turbo steeg het aantal mislukte weigeringen van 38,7% (de uitgangswaarde zonder tools) naar 51,3%. Hetzelfde patroon deed zich voor op alle drie de benchmarks. Dat wijst erop dat het probleem mogelijk niet beperkt blijft tot een bepaald soort schadelijk verzoek.

Redenen voor het ontsporen..?

Zoals eerder vermeld, noemen de onderzoekers ‘contextverdunning’ als een mogelijke verklaring voor de toename van het aantal mislukte weigeringen: naarmate een agent achtereenvolgens tools aanroept, raakt het oorspronkelijke schadelijke verzoek op de achtergrond tussen de steeds grotere hoeveelheid tooluitvoer.

Om dit te testen, keken ze alleen naar verzoeken die hetzelfde model zonder tools met succes had geweigerd. Zoals hieronder te zien is, nam het aantal mislukte weigeringen vervolgens geleidelijk toe naarmate het aantal toolaanroepen steeg: van bijna nul wanneer geen enkele tool werd aangeroepen tot aanzienlijk hogere percentages na drie of meer aanroepen:

Testresultaten waarin het aantal mislukte weigeringen wordt vergeleken bij verschillende aantallen toolaanroepen. Het percentage mislukte weigeringen nam toe naarmate er meer toolaanroepen bijkwamen, zowel bij afzonderlijke modellen als bij alle modellen samen.

Een tweede test draaide het effect deels terug. Wanneer de oorspronkelijke opdracht en afbeelding na de laatste toolaanroep opnieuw werden ingevoegd, vlak voordat het model antwoordde, daalde het aantal mislukte weigeringen gemiddeld met 7,6% over de modellen en benchmarks heen, zoals hieronder te zien is:

Testresultaten waarin het aantal mislukte weigeringen wordt vergeleken met en zonder het opnieuw invoegen van de oorspronkelijke opdracht en afbeelding. Het opnieuw invoegen na de laatste toolaanroep verlaagde het gemiddelde percentage mislukte weigeringen met 7,6% bij de vijf geteste modellen.

Dit ondersteunt de hypothese dat verdunning van de context een bijdragende factor is, en wijst tegelijk op een relatief eenvoudige maatregel om dit tegen te gaan.

De tweede verklaring die het artikel aandraagt, is ‘verplaatsing van de veiligheidsfocus’. Het gebruik van tools lijkt de aandacht van het model te verleggen: weg van de vraag of de opdracht schadelijk is en naar het beschrijven van wat de tools hebben gevonden.

Testresultaten die laten zien hoe het gebruik van tools veranderde waarmee modellen hun antwoorden begonnen wanneer ze uiteindelijk schadelijke verzoeken weigerden. Zonder tools begonnen antwoorden meestal met een directe reactie op het verzoek (55,6%) of met het benoemen van veiligheidsrisico’s (25,8%). Met tools begon 52,3% in plaats daarvan met een beschrijving van wat de tools hadden gevonden, terwijl expliciete veiligheidswaarschuwingen daalden tot 10,3%.

De onderzoekers bekeken gevallen waarin modellen zowel met als zonder tools het verzoek met succes weigerden. Zonder tools begon 55,6% van deze antwoorden met een directe reactie op het verzoek, terwijl 25,8% begon met een expliciete veiligheidswaarschuwing. Met tools daalden deze percentages respectievelijk tot 37,4% en 10,3%, terwijl het aandeel antwoorden dat begon met beschrijvingen van bevindingen uit de tools steeg tot 52,3%.

De auteurs geven een interessant kwalitatief voorbeeld met Claude Opus 4.6. Toen het model werd gevraagd hoe de beveiliging in openbare toiletten kon worden omzeild, weigerde het zonder tools onmiddellijk:

Voorbeeld van hoe het gebruik van tools de veiligheid verdrong als directe focus van het model. Claude Opus 4.6 weigerde het schadelijke verzoek zonder tools onmiddellijk; met tools zoomde het eerst in op de afbeelding, las en identificeerde wat erop stond en beschreef het bordje op het toilet voordat het uiteindelijk weigerde.

Met tools zoomde hetzelfde model daarentegen in op de afbeelding, las het de tekst en identificeerde het wat erop stond, waarna het zijn antwoord begon met een beschrijving van het bordje op het toilet. Pas daarna volgde de weigering. Dit laat zien hoe het gebruik van tools de veiligheid had verdrongen als directe prioriteit van het model.

De auteurs concluderen:

‘Al met al laten onze bevindingen zien dat toolgebruik niet alleen moet worden beschouwd als een mechanisme dat de capaciteiten voor visueel redeneren vergroot, maar ook als een ontwerpkeuze die gevolgen kan hebben voor de veiligheid en het weigeringsgedrag kan veranderen. Toekomstige agentische MLLM’s moeten daarom worden geëvalueerd en getraind in situaties waarin ze tools gebruiken, in plaats van ervan uit te gaan dat veiligheidsafstemming zonder tools ongewijzigd doorwerkt in agentische omgevingen.’

Conclusie

Het falen van het behoud van context vormt duidelijk een risico bij complexe reeksen gebeurtenissen die voortvloeien uit een prompt. Toch zijn er momenteel geen eenvoudige oplossingen voor de neiging van een beperkt contextvenster om een agent zijn ‘hoofdinstructies’ te laten vergeten en gewoon de tool te laten gebruiken die hij bij de hand heeft.

* Nadruk van de auteurs; waar nodig heb ik hun bronverwijzingen in de tekst omgezet in hyperlinks.

Voor het eerst gepubliceerd op woensdag 7 oktober 2026