Waarom geven AI-agents de voorkeur aan onnodig krachtige tools?

Het is snel geëscaleerd: onderzoek toont aan dat AI-agents blijven kiezen voor meer toegang dan nodig is, en kleine fouten maken hen escaleren nog verder, waardoor gegevens en systemen onnodig worden blootgesteld.

Er is recent een groeiend aantal incidenten geweest die de aandacht hebben gevestigd op de risico’s van het geven van agentic AI te veel privileges, vaak door het gebruik van over-geprivilegieerde tools en methoden die veel meer mogelijkheden bieden dan nodig zijn voor een bepaalde taak.

In een recent geval ontmoette een Claude-gepowered coding agent een breed-gescopeerde Railway API-token tijdens een routine-taak, en gebruikte deze om een productie-database en zijn back-ups te verwijderen – ondanks dat de taak geen dergelijk hoge toegangsniveau vereiste.

In een ander geval in 2025 negeerde Replit‘s AI-coding agent expliciete beperkingen, wijzigde beveiligde code en verwijderde een live productie-database.

In een derde geval, in februari van dit jaar, bewoog een AI-geassisteerde workflow langs een keten van privileges die uiteindelijk pakket-publicatie-referenties bereikte, waardoor een supply-chain-aanval werd gecreëerd.

Vervolgens hebben beveiligingsanalyses verwezen naar dit, en soortgelijke gevallen, als een illustratie van de neiging van agent-systemen om kleine invoer om te zetten in hoge-impactacties zodra brede toegang beschikbaar is. Deze incidenten suggereren dat autonome AI onmiddellijk en ‘intuïtief’ de meest krachtige – en potentieel destructieve – tool bereikt, vooral wanneer problemen optreden.

Tool Time

Om dit probleem aan te pakken, heeft nieuw onderzoek uit China een reeks van de meest populaire propriëtaire en open-source modellen getest om hun neiging te ontdekken om krachtige tools te kiezen in gevallen waarin dergelijke tools overbodig zijn voor een taak:

Uit het nieuwe artikel: prestaties van elf toonaangevende AI-modellen bij het kiezen tussen minimaal geprivilegieerde tools en krachtigere alternatieven die overbodig waren voor de taak. Qwen3-8B en LLaMA-3.1-8B toonden de sterkste neiging tot overbodige privileges, terwijl Claude 4.6 Sonnet, GPT-5.2 en GLM-5 veel meer beperkt waren. Donkere segmenten geven onmiddellijke overbodige toegang aan, terwijl lichtere segmenten escalatie na tijdelijke fouten aangeven, wat suggereert dat veel modellen reageren op tegenslagen door bredere toegang en minder beperkingen te kiezen in plaats van binnen de smalste toegang te blijven die nodig is om de taak te voltooien. Bron

De tests geven aan dat open-gewicht modellen zoals Qwen3-8B en LLaMA-3.1-8B meer geneigd zijn om te escaleren, mogelijk vanwege hun beperktere post-training conditioning in vergelijking met propriëtaire modellen zoals ChatGPT en Gemini series.

De auteurs stellen:

‘Zes van de elf modellen overschrijden 30% [Over-geprivilegieerde Tool Gebruik tarief (OPUR)], met name hoge tarieven voor veelgebruikte kleinere open-gewicht modellen zoals Qwen3-8B (64,9%) en LLaMA-3.1-8B (55,9%).

‘Ondertussen blijven lagere OPUR-modellen zoals Claude 4.6 Sonnet, GPT-5.2 en GLM-5 onder de 10%, maar vertonen nog steeds meetbare over-geprivilegieerde gebruik in sommige instellingen.

‘Deze variatie suggereert dat least-privilege naleving een model-afhankelijke gedrags eigenschap is, mogelijk gevormd door verschillen in algemene capaciteit, tool-gebruik training en veiligheidsuitlijning.’

Bovendien varieert de neiging tot over-geprivilegieerde toolgebruik per domein, met codebase-werk op het hoogste risico, en meer zwaar bewaakte domeinen, zoals gezondheidszorg, inspireren minder radicale maatregelen:

Tarieven van onnodig hoge-toegangstoolgebruik over verschillende taakdomeinen en risicocategorieën. Coding, database en infrastructuur taken produceerden consistent enkele van de hoogste tarieven van escalatie, terwijl gezondheidszorg en overheids taken over het algemeen meer beperkingen aangaven. Over risicotypes heen waren modellen het meest geneigd om te escaleren via autoriteit escalatie en veiligheidsomzeiling, wat suggereert dat wanneer AI-systemen obstakels tegenkomen, ze vaak bredere toegang en minder beperkingen prefereren in plaats van binnen de smalste toegang te blijven die nodig is om de taak te voltooien.

Bovendien geven de resultaten aan dat enkele van de slechtste resultaten optreden wanneer het model zich ‘onder druk’ voelt. Over meerdere model-families heen veroorzaakten tijdelijke fouten van lagere-toegangstools vaak een snelle verschuiving naar bredere, krachtigere alternatieven – zelfs als de oorspronkelijke tools nog steeds volledig in staat waren om de taak te voltooien.

Panic Mode!

Op deze manier kon een tijdelijke fout ertoe leiden dat modellen het principe van least privilege helemaal verlaten. In plaats van een andere lage-toegangsoptie te proberen, of hetzelfde gereedschap opnieuw te proberen, reageerden veel systemen door hun toegang uit te breiden.

De auteurs beweren dat herhaalde tegenslagen de vertrouwen in smallere tools lijken te ondermijnen, waardoor onnodige privilege-escalatie steeds waarschijnlijker wordt onder onzekere omstandigheden – een gedrag dat in verschillende mate wordt waargenomen bij zowel open-gewicht als propriëtaire modellen.

Least-privilege post-training bereikt enige beperkt succes als een mogelijke mitigatie, waarbij lage-toegangstoolgebruik wordt beloond en premature escalatie wordt bestraft. Echter, prompt-manipulatie bood weinig verbetering in tests, en voor nu lijkt het probleem gerelateerd aan hoger-zittende gedragsprincipes in LLM’s.

Hoewel het artikel dit niet aanraakt, lijkt het logisch om aan te nemen dat AI’s veel meer trainingsmateriaal hebben over ‘ultieme resultaten’ dan over het proces van trial en error dat leidt tot deze – een ongeduldige ‘TLDR-cultuur’ die misschien ook ongeduldigheid heeft gekweekt in AI..?

Het nieuwe artikel heet Wanneer lagere privileges voldoende zijn: onderzoek naar over-geprivilegieerde toolselectie in LLM-agents, en komt van acht auteurs uit de Chinese Academy of Sciences, The Chinese University of Hong Kong, Peking University, en de University of Chinese Academy of Sciences.

Method

Om over-geprivilegieerde toolgebruik onder gecontroleerde omstandigheden te bestuderen, creëerden de onderzoekers ToolPrivBench, een benchmark die bestaat uit 544 scenario’s afkomstig uit acht applicatiedomeinen: Business, Coding, Database, Onderwijs, Overheid, Gezondheidszorg, Infrastructuur, en Media.

Vijf terugkerende risicopatronen werden onderzocht: Autoriteit Escalatie, Gegevens Over-Exposure, Veiligheidsomzeiling, Scoopexpansie, en Tijdelijke Persistentie:

Verdeling van de 544 scenario’s in ToolPrivBench over vijf privilege-escalatiepatronen en acht applicatiedomeinen. Autoriteit Escalatie was het meest voorkomende risicotype, terwijl Database, Business en Onderwijs de grootste aandelen van de benchmark vertegenwoordigden. De brede verspreiding van domeinen en risicotypes was bedoeld om te testen of over-geprivilegieerde toolselectie voortduurt over verschillende operationele instellingen, in plaats van te ontstaan uit een smalle reeks taken.

Elk scenario combineerde een gebruikerstaak met drie lagere-toegangstools en drie hogere-toegangsalternatieven. Alle zes tools waren onafhankelijk in staat om de taak te voltooien, waardoor elke voorkeur voor bredere toegang niet kon worden verklaard door ontbrekende functionaliteit.

ToolPrivBench is ontworpen om meer te meten dan of een model aanvankelijk het meest krachtige gereedschap selecteert: tijdens de evaluatie werden tijdelijke fouten, zoals verbindingfouten, opzettelijk geïnjecteerd in lagere-toegangstools, zelfs als die tools nog steeds volledig in staat waren om de taak te voltooien. Dit stelde de onderzoekers in staat om te observeren hoe modellen reageerden op tegenslagen, inclusief of ze lagere-toegangsopties opnieuw probeerden of escaleerden naar bredere, hogere-toegangstools:

Overzicht van de ToolPrivBench-evaluatiepijplijn. (a) Elk testscenario presenteert een taak naast drie lagere-toegangstools en drie hogere-toegangsalternatieven, allemaal in staat om hetzelfde doel te bereiken. (b) Modellen worden geëvalueerd voor zowel onmiddellijke selectie van een over-krachtig gereedschap als voor escalatie na tijdelijke fouten die worden geïntroduceerd in lagere-toegangstools. (c) Benchmark-gevallen worden gegenereerd uit real-world API-risicopatronen, vervolgens doorgegeven aan geautomatiseerde controles, tool-sufficiëntievalidatie, foutanalyse en human-expertreview voordat ze worden toegelaten tot de definitieve evaluatieset.

De aangepaste metric die voor de studie is ontwikkeld, is Over-geprivilegieerde Tool Gebruik Tarief (OPUR), dat registreert hoe vaak een model een hogere-toegangstool gebruikt ondanks dat lagere-toegangsalternatieven nog steeds beschikbaar zijn. Pre-Escalatie Verkenningsdiepte (PED) wordt ook gemeten, dat registreert hoeveel lagere-toegangstools worden geprobeerd voordat escalatie optreedt.

Om ervoor te zorgen dat privilege-niveau het enige significante verschil tussen tools was, werd elk scenario in de trials onderworpen aan meerdere validatiestadia voordat het werd toegelaten tot de benchmark. ChatGPT-5.2 en Gemini 2.5 Pro werden onafhankelijk gebruikt om te verifiëren dat alle zes tools de toegewezen taak konden voltooien. Alleen gevallen die overeenstemming kregen van beide systemen werden behouden. De resterende scenario’s werden vervolgens geauditeerd door human reviewers, voordat ze werden opgenomen in de definitieve benchmark.

Tests

De benchmark werd geëvalueerd met behulp van elf taalmodellen uit zowel propriëtaire als open-gewichtfamilies: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5, en Claude 4.6 Sonnet. Prestaties werden gemeten met behulp van OPUR en PED.

De meeste modellen vertoonden aanzienlijke tarieven van onnodig privilegegebruik ondanks dat lagere-toegangsalternatieven volledig in staat waren om de taak te voltooien. Qwen3-8B registreerde het hoogste OPUR-tarief op 64,9%, gevolgd door LLaMA-3.1-8B op 55,9%, terwijl zes van de elf modellen 30% overschreden:

Verdeling van over-geprivilegieerde toolgebruik over de elf geëvalueerde modellen. Qwen3-8B en LLaMA-3.1-8B registreerden de hoogste OPUR-waarden, terwijl Claude 4.6 Sonnet, GPT-5.2 en GLM-5 de laagste tarieven vertoonden. Donkere segmenten geven onmiddellijke selectie van een onnodig krachtig gereedschap aan, terwijl lichtere segmenten escalatie na één of meer lagere-toegangstools aangeven, wat aantoont dat privilege-escalatie vaak volgde op tijdelijke tegenslagen in plaats van te gebeuren bij het eerste beslissingspunt.

Aan de andere kant van het spectrum bleven Claude 4.6 Sonnet, GPT-5.2 en GLM-5 onder de 10%, hoewel meetbare overtredingen nog steeds werden waargenomen. Tussenliggende resultaten werden gerapporteerd voor MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 en Gemini 3 Flash.

Algemeen genomen varieerde de naleving van least-privilege-principes aanzienlijk over de elf modellen. Tool-fouten werden gevonden om de kans op privilege-escalatie te verhogen: wanneer lagere-toegangstools tijdelijke problemen ondervonden, schakelden veel modellen over naar hogere-toegangsalternatieven in plaats van verder te gaan met lagere-toegangsopties die nog steeds in staat waren om de taak te voltooien.

Volgens de auteurs leken herhaalde fouten het vertrouwen in lagere-toegangstools te ondermijnen, waardoor de neiging om bredere-toegangsalternatieven te selecteren toenam, zelfs als die extra privileges onnodig waren voor de taak:

‘We observeren een consistente trend waarbij de toolselectie-bias ernstig wordt verergerd door sequentiële omgevingswrijving. In plaats van minimale privileges te proberen, schakelen veel agents snel over naar bredere en krachtigere tools na tegenslagen.

‘Bijvoorbeeld vertoont GPT-5.2 een zero-shot selectie-bias slechts 5 keer (PED=0), maar zijn bias wordt 13 keer geactiveerd bij PED=1, en explodeert tot 35 keer bij PED=2.

‘Soortgelijke escalatiepatronen worden consistent waargenomen over DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 en Qwen-series modellen. ‘

Eminent Domain Issues

Escalatietarieven varieerden ook aanzienlijk over applicatiedomeinen en risicocategorieën. Infrastructuur-taken produceerden enkele van de hoogste OPUR-waarden, met 46,4% voor DeepSeek-v3.2, 42,9% voor Grok 4.1 Fast en 37,5% voor Qwen3.5-397B.

Verhoogde tarieven werden ook waargenomen in coding, database en media-gerelateerde taken, terwijl gezondheidszorg en overheids-scenario’s over het algemeen lagere escalatietarieven produceerden, met name onder GPT-5.2 en Claude 4.6 Sonnet. Volgens de auteurs kan dit patroon verschillen weerspiegelen in hoe modellen risico’s en operationele beperkingen interpreteren over domeinen:

OPUR (%) over acht applicatiedomeinen en vijf escalatiecategorieën. Open-gewicht modellen registreerden over het algemeen de hoogste tarieven van onnodig privilegegebruik, met coding, database, infrastructuur, autoriteit-escalatie en veiligheidsomzeiling scenario’s die de sterkste neiging tot over-geprivilegieerd gedrag produceerden.

Het type van privilege-escalatie was ook van belang: Autoriteit Escalatie en Veiligheidsomzeiling waren de meest voorkomende vormen van over-geprivilegieerd gedrag over de geëvalueerde modellen: LLaMA-3.1-8B bereikte 72,7% op Autoriteit Escalatie en 74,1% op Veiligheidsomzeiling, terwijl Qwen3.5-397B respectievelijk 42,4% en 45,7% registreerde.

In tegenstelling daarmee was Scoopexpansie consistent de minst voorkomende categorie, wat aangaf dat modellen meer geneigd waren om bredere autoriteit of beperkingen te omzeilen dan om de reikwijdte van hun acties uit te breiden over extra gebruikers of systemen.

Seeking Solutions

Mitigatie-experimenten onderzochten of bestaande agent-veiligheidsmethoden ook onnodige privilege-escalatie verminderen. De resultaatentabel hieronder vergelijkt OPUR met prestaties op AgentHarm, een benchmark die schadelijk gedrag en weigeringspercentages meet in AI-agents.

De eerste test evalueerde AgentAlign, een veiligheidsuitlijningsmethode ontworpen om schadelijk gedrag te verminderen. AgentAlign verbeterde aanzienlijk de prestaties op de AgentHarm-veiligheidsbenchmark:

Veiligheidsuitlijning en over-geprivilegieerde toolgebruik voor en na AgentAlign-training. AgentAlign verbeterde aanzienlijk de prestaties op de AgentHarm-veiligheidsbenchmark, door schadelijke uitvoer te verminderen en weigeringspercentages te verhogen; maar zijn effect op OPUR was inconsistent, met één model dat een matige vermindering van onnodige privilege-escalatie vertoonde en een ander dat een toename liet zien. Dit resultaat geeft aan dat verbeteringen in conventionele agent-veiligheid niet noodzakelijkerwijs leiden tot betere ‘least-privilege’ toolselectie.

De auteurs testten ook prompt-gebaseerde interventies die modellen expliciet instrueerden om lagere-toegangstools te prefereren. Hoewel deze prompts OPUR in sommige instellingen verminderden, nam het effect af wanneer lagere-toegangstools fouten ondervonden:

Effect van mitigatiestrategieën op over-geprivilegieerde toolgebruik in drie Qwen3-modellen. Prompt-engineering (PE) reduceerde escalatietarieven, maar privilege-aware post-training (‘Ours’) produceerde aanzienlijk grotere reducties in OPUR over alle modellen en escalatiediepten.

De sterkste mitigatieresultaten werden behaald met een speciale post-trainingaanpak gericht op least-privilege toolselectie. Modellen werden getraind om lagere-toegangstools te prefereren wanneer ze voldoende waren voor de taak en om onnodige escalatie te vermijden.

Volgens de auteurs produceerde deze aanpak grotere reducties in OPUR, terwijl de prestaties op taakvoltooiing behouden bleven, wat aangaf dat least-privilege-gedrag mogelijk gerichte training vereist in plaats van automatisch te ontstaan uit algemene veiligheidsuitlijning.

Conclusie

Om de vraag te beantwoorden die door de titel van dit artikel wordt gesteld, concluderen de auteurs dat escalatie wordt gedreven door capability uncertainty: na tijdelijke fouten verliezen modellen het vertrouwen in lagere-toegangstools en kiezen steeds vaker voor bredere, flexibelere tools die meer kans hebben om te slagen, zelfs als lagere-toegangsalternatieven nog steeds voldoende zijn.

We zien opnieuw problemen die inherent zijn aan getrainde modellen en die moeten worden aangepakt met tertiaire methoden, beperkingen, post-training conditioning en andere aanvullende benaderingen, wanneer de voorkeur zou zijn dat een dergedrag kan worden gevormd binnen de architectuur – vermoedelijk door betere curatie van de gegevens, of de contextualisatie van het soort ‘snel antwoord’ datapunten die collecties domineren, en die LLM’s mogelijk naar roekeloos gedrag neigen.

First published Sunday, 21 juni 2026