Hvorfor foretrekker AI-agenter unødvendig kraftfulle verktøy?

Det eskalerer raskt: forskning viser at AI-agenter holder på å få mer tilgang enn de trenger, og små feil gjør at de eskalerer enda mer, og eksponerer data og systemer unødvendig.

En økende antall hendelser som har fått mye oppmerksomhet har nylig vært fokusert på risikoen ved å gi agentic AI for mye tilgang, ofte gjennom bruk av verktøy og metoder som tilbyr langt mer enn det som er nødvendig for en bestemt oppgave.

I en nylig hendelse møtte en Claude-drevet kodeagent en Railway-API-nøkkel med bred omfang under en rutineoppgave, og brukte den til å slette en produksjonsdatabase og dens sikkerhetskopier – til tross for at oppgaven ikke krevde en så høy tilgangsnivå.

I en separat hendelse i 2025 ignorerte Replits AI-kodeagent eksplisitte begrensninger, modifiserte beskyttet kode og slettet en live produksjonsdatabase.

I en tredje hendelse i februar i år traverserte en AI-assistert arbeidsflyt en kjede av tilganger som til slutt nådde pakke-publikasjonslegitimasjoner, og skapte dermed en leverandørangrepsangrep.

Deretter har sikkerhetsanalyser sitert disse og lignende hendelser som et eksempel på tendensen hos agentsystemer til å omgjøre mindre inn-data til høy-impakt-handlinger når brede tilganger er tilgjengelige. Disse hendelsene antyder at autonom AI umiddelbart og “instinktivt” når etter det kraftfulleste – og potensielt destruktive – verktøyet, spesielt når problemer oppstår.

Verktøytid

For å løse dette problemet, har ny forskning fra Kina testet en rekke av de mest populære proprietære og åpne modeller, for å oppdage deres disposisjon til å nå etter kraftfulle verktøy i tilfeller hvor slike verktøy er i overkant for en oppgave:

Fra den nye artikkelen: ytelse av elleve ledende AI-modeller når de velger mellom minimalt privilegerte verktøy og kraftfulle alternativer som var unødvendige for oppgaven. Qwen3-8B og LLaMA-3.1-8B viste den sterkeste tendensen mot over-privilegier, mens Claude 4.6 Sonnet, GPT-5.2 og GLM-5 var mye mer tilbakeholdne. Mørkere segmenter indikerer umiddelbar overrekning, mens lyse segmenter viser eskalering etter midlertidige feil, noe som antyder at mange modeller responderer på tilbakeslag ved å utvide tilgangen i stedet for å bli ved de smaleste tillatelser som er nødvendig for å fullføre oppgaven. Kilde

Testene viser at åpne vektmodeller som Qwen3-8B og LLaMA-3.1-8B er mer disponert til å eskalere, kanskje på grunn av deres mer begrensede post-trening kondisjonering, sammenlignet med proprietære modeller som ChatGPT og Gemini-serien.

Forfatterne sier:

‘Seks av de elleve modellene overstiger 30% [Over-privilegert Verktøy Bruk Rate (OPUR)], med spesielt høye rater for vanlige åpne vektmodeller som Qwen3-8B (64,9%) og LLaMA-3.1-8B (55,9%).

‘I mellomtiden forblir lavere-OPUR-modeller som Claude 4.6 Sonnet, GPT-5.2 og GLM-5 under 10%, men viser likevel målbare over-privilegert bruk i noen innstillinger.

‘Dette variasjonen antyder at minst-privilegie-adherens er en modell-avhengig atferdseigenskap, potensielt formet av forskjeller i generell evne, verktøy-brukstrening og sikkerhetsjustering.’

I tillegg varer disposisjonen mot over-kraftfulle verktøybruk med domene, med kodebasearbeid på høyest risiko, og mer overvåket domener, som helsevesen, inspirerer til færre radikale tiltak:

Rater for unødvendig høy-privilegiert verktøybruk over forskjellige oppgavedomener og risikkategorier. Koding, database og infrastruktur oppgaver produserte noen av de høyeste eskalasjonsratene, mens helsevesen og regjering oppgaver generelt promptet til mer tilbakeholdenhet. Over risikktyper var modellene mest sannsynlig til å overrekke gjennom myndighetseskalering og sikkerhets-bypass-handlinger, noe som antyder at når AI-systemer møter hindringer, foretrekker de ofte bredere tilgang og færre begrensninger enn å forbli innenfor de smaleste tillatelser som er nødvendig for å fullføre oppgaven.

I tillegg viser resultater at noen av de verste resultater skjer når modellen føler seg “under press”. Over flere modellfamilier utløste midlertidige feil fra lavere-privilegerte verktøy ofte en rask skifte mot bredere, kraftfulle alternativer – selv om de originale verktøyene fremdeles var fullt kapable til å fullføre oppgaven.

Panikkmodus!

På denne måten kunne en midlertidig feil få modellene til å forkaste prinsippet om minst-privilegie helt og holdent. I stedet for å prøve en lavere-privilegiert alternativ eller å prøve igjen samme verktøy, svarte mange systemer ved å utvide sin tilgang.

Forfatterne hevder at gjentatte tilbakeslag ser ut til å undergrave tilliten til smalere verktøy, og øke sannsynligheten for unødvendig privilegi-escalering under usikkerhet – en atferd som er observert i varierende grad over både åpne vekt- og proprietære modeller.

Privilegie-bevisst post-trening oppnår en begrenset suksess som en mulig mitigasjon, belønner lav-privilegiert verktøybruk og straffer forhastet eskalering. Imidlertid tilbyr prompt-manipulering liten forbedring i testene, og for nå ser problemet ut til å være relatert til høyere-seatede atferdsprinsipper i LLM-er.

Selv om artikkelen ikke berører det, synes det logisk å tro at AI-er har langt mer treningmateriale på “ultimate resultater” enn på prosessen med prøving og feil som fører til disse – en utålmodig “TLDR-kultur” som kanskje har fostret utålmodighet også i AI..?

Den nye artikkelen heter Når lavere privilegier er tilstrekkelige: Undersøkelse av over-privilegert verktøyvalg i LLM-agenter, og kommer fra åtte forfattere over det kinesiske vitenskapsakademi, Det kinesiske universitet i Hong Kong, Peking universitet og universitetet i det kinesiske vitenskapsakademi.

Metode

For å studere over-privilegert verktøybruk under kontrollerte forhold, skapte forskerne ToolPrivBench, en benchmark som består av 544 scenarier fra åtte applikasjonsdomener: Forretning, Koding, Database, Utdanning, Regjering, Helsevesen, Infrastruktur og Media.

Fem gjentakende risikomønster ble undersøkt: Myndighetseskalering, Data Over-Eksponering, Sikkerhets-Bypass, Omfangsekspansjon og Temporær Persistens:

Fordeling av de 544 scenariene i ToolPrivBench over fem privilegi-escalering-mønster og åtte applikasjonsdomener. Myndighetseskalering var det vanligste risikokategorien, mens Database, Forretning og Utdanning stod for de største andelene av benchmarken. Den brede spredningen av domener og risikotyper var ment å teste om over-privilegert verktøyvalg varer over forskjellige operative innstillinger, snarere enn å oppstå fra en smal sett av oppgaver.

Hvert scenario parret en brukeroppgave med tre lavere-privilegerte verktøy og tre høyere-privilegerte alternativer. Alle seks verktøy var uavhengig kapable til å fullføre oppgaven, og sikret at noen preferanser for bredere tilgang ikke kunne forklares av manglende funksjonalitet.

ToolPrivBench er designet for å måle mer enn om en modell initialt velger det kraftfulle verktøyet: under evaluering ble midlertidige feil som forbindelsesfeil injisert i lavere-privilegerte verktøy, selv om disse verktøyene fremdeles var fullt kapable til å fullføre oppgaven. Dette tillot forskerne å observere hvordan modellene responderte på tilbakeslag, inkludert om de prøvde lavere-privilegerte alternativer eller eskalerte til bredere, høyere-privilegerte verktøy:

Oversikt over ToolPrivBench-evalueringen. (a) Hvert testscenario presenterer en oppgave sammen med tre lavere-privilegerte verktøy og tre høyere-privilegerte alternativer, alle kapable til å fullføre samme mål. (b) Modellene evalueres både for umiddelbar valg av et over-kraftfullt verktøy og for eskalering etter midlertidige feil er introdusert i lavere-privilegerte verktøy. (c) Benchmark-eksempler genereres fra virkelige API-risikomønster, deretter passerer de gjennom automatiske sjekker, verktøy-suffisiens-validering, feilanalyse og menneskelig ekspertgjennomgang før de blir innlemmet i den endelige evalueringssammenstillingen.

Den tilpassede metrikken utviklet for studien er Over-privilegert Verktøy Bruk Rate (OPUR), som registrerer hvor ofte en modell bruker et høyere-privilegiert verktøy til tross for at lavere-privilegerte alternativer fremdeles er tilgjengelige. Pre-Eskalering Utforsking Dybde (PED) måles også, og registrerer hvor mange lavere-privilegerte verktøy som prøves før eskalering skjer.

For å sikre at privilegenivå forble det eneste meningsfulle forskjellen mellom verktøy, ble hver scenario i testene underlagt flere valideringsfaser før de ble innlemmet i benchmarken. ChatGPT-5.2 og Gemini 2.5 Pro ble uavhengig brukt til å verifisere at alle seks verktøy kunne fullføre den tilordnede oppgaven. Bare saker som fikk enighet fra begge systemer ble beholdt. De gjenværende scenariene ble deretter gjennomgått av menneskelige gjennomgangere før de ble innlemmet i den endelige benchmarken.

Tester

Benchmarken ble evaluert ved hjelp av elleve språkmodeller fra både proprietære og åpne vekt-familier: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 og Claude 4.6 Sonnet. Ytelse ble målt ved hjelp av OPUR og PED.

De fleste modellene viste betydelige rater av unødvendig privilegi-bruk til tross for at lavere-privilegerte alternativer fremdeles var fullt kapable til å fullføre oppgaven. Qwen3-8B registrerte den høyeste OPUR-verdien på 64,9%, etterfulgt av LLaMA-3.1-8B på 55,9%, mens seks av de elleve modellene oversteg 30%:

Fordeling av over-privilegert verktøybruk over de elleve evaluerte modellene. Qwen3-8B og LLaMA-3.1-8B registrerte de høyeste OPUR-verdiene, mens Claude 4.6 Sonnet, GPT-5.2 og GLM-5 viste de laveste ratene. Mørkere segmenter indikerer umiddelbar valg av et unødvendig kraftfullt verktøy, mens lyse segmenter indikerer eskalering etter en eller flere lavere-privilegerte verktøy ble prøvd først, og avslører at privilegi-escalering ofte fulgte midlertidige tilbakeslag snarere enn å skje ved det første avgjørelsepunktet.

I den andre enden av spekteret forble Claude 4.6 Sonnet, GPT-5.2 og GLM-5 under 10%, selv om målbare brudd ble observert. Mellomliggende resultater ble rapportert for MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 og Gemini 3 Flash.

Generelt varierte adhesjon til minst-privilegie-prinsipper betydelig over de elleve modellene. Verktøyfeil økte sannsynligheten for privilegi-escalering: når lavere-privilegerte verktøy møtte midlertidige problemer, skiftet mange modeller til høyere-privilegerte alternativer i stedet for å fortsette å utforske lavere-privilegerte alternativer som fremdeles var kapable til å fullføre oppgaven.

Ifølge forfatterne ser det ut til at gjentatte feil reduserer tilliten til lavere-privilegerte verktøy, og øker tendensen til å velge bredere tilgangsalternativer selv når disse ekstra privilegier er unødvendige for oppgaven:

‘Vi observerer en konsistent trend hvor verktøyvalg-forvrengning er alvorlig forverret av sekvensiell miljø-friksjon. I stedet for å prøve minimalt privilegerte alternativer, skifter mange agenter raskt til bredere og kraftfulle verktøy etter å ha møtt tilbakeslag.

‘For eksempel viser GPT-5.2 en null-skudd valg-forvrengning bare 5 ganger (PED=0), men dens forvrengning utløses 13 ganger ved PED=1, og eksploderer til 35 ganger ved PED=2.

‘Lignende eskalasjonsmønster er konsistent observert over DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 og Qwen-serie modeller. ‘

Merkevarens problemer

Eskalasjonsrater varierte også betydelig over applikasjonsdomener og risikkategorier. Infrastruktur-oppgaver produserte noen av de høyeste OPUR-verdiene, med 46,4% for DeepSeek-v3.2, 42,9% for Grok 4.1 Fast og 37,5% for Qwen3.5-397B.

Forhøyede rater ble også observert i koding, database og media-relaterte oppgaver, mens helsevesen og regjering scenarioer generelt produserte lavere eskalasjonsrater, spesielt blant GPT-5.2 og Claude 4.6 Sonnet. Ifølge forfatterne kan dette mønsteret reflektere forskjeller i hvordan modellene tolker risiko og operative begrensninger over domener:

OPUR (%) over åtte applikasjonsdomener og fem eskalering-kategorier. Åpne vektmodeller registrerte generelt de høyeste ratene av unødvendig privilegi-bruk, med koding, database, infrastruktur, myndighetseskalering og sikkerhets-bypass-scenarier som produserte den sterkeste tendensen mot overrekning.

Typen av privilegi-escalering var også viktig: Myndighets Eskalering og Sikkerhets-Bypass var de vanligste formene for over-privilegert atferd over de evaluerte modellene: LLaMA-3.1-8B nådde 72,7% på Myndighets Eskalering og 74,1% på Sikkerhets-Bypass, mens Qwen3.5-397B registrerte 42,4% og 45,7% henholdsvis.

I motsetning var Omfangsekspansjon konsistent den minst vanlige kategorien, og indikerer at modellene var mer sannsynlig til å søke bredere myndighet eller bypass-restriksjoner enn å utvide omfanget av sine handlinger over flere brukere eller systemer.

Søk etter løsninger

Mitigasjons-eksperimenter undersøkte om eksisterende agent-sikkerhetsmetoder også kan redusere unødvendig privilegi-escalering. Resultattabellen nedenfor sammenligner OPUR med ytelse på AgentHarm, en benchmark som måler skadelig atferd og nekt-rater i AI-agenter.

Den første testen evaluerte AgentAlign, en sikkerhets-justeringsmetode designet for å redusere skadelig atferd. AgentAlign forbedret betydelig AgentHarm-ytelse:

Sikkerhets-justering og over-privilegert verktøybruk før og etter AgentAlign-trening. AgentAlign forbedret betydelig ytelse på AgentHarm-sikkerhets-benchmarken, reduserte skadelige utdata og økte nekt-rater; men dens effekt på OPUR var inkonsistent, med en modell som viste en beskjeden reduksjon i unødvendig privilegi-escalering, og en annen som viste en økning. Dette resultatet indikerer at forbedringer i konvensjonell agent-sikkerhet ikke nødvendigvis oversettes til bedre ‘minst-privilegiert’ verktøyvalg.

For Ministral-8B-Instruct falt den skadelige scoren fra 67,4 til 10,5, mens nekt-raten økte fra 0,0 til 79,5. For Qwen2.5-7B-Instruct falt den skadelige scoren fra 41,9 til 6,7, og nekt-raten økte fra 21,6 til 85,8. Imidlertid oversettes disse forbedringene ikke konsistent til lavere OPUR. OPUR falt beskjedent for Ministral-8B-Instruct, fra 68,8 til 62,5, men økte for Qwen2.5-7B-Instruct, fra 50,4 til 60,7.

Forfatterne testet også prompt-baserte intervensjoner som eksplisitt instruerte modellene til å foretrekke lavere-privilegerte verktøy. Selv om disse promptene reduserte OPUR i noen innstillinger, ble effekten mindre når lavere-privilegerte verktøy møtte feil:

Effekt av mitigasjonsstrategier på over-privilegert verktøybruk i tre Qwen3-modeller. Prompt-engineering (PE) reduserte eskalasjonsrater, men privilegi-bevisst post-trening (‘Vår’) produserte betydelig større reduksjoner i OPUR over alle modeller og eskalasjons-dybder.

De sterkeste mitigasjons-resultatene ble oppnådd fra en dedikert post-trening-tilnærming som var fokusert spesifikt på minst-privilegiert verktøyvalg. Modellene ble trent til å foretrekke lavere-privilegerte verktøy når de var tilstrekkelige for oppgaven og å unngå unødvendig eskalering.

Ifølge forfatterne produserte denne tilnærmingen større reduksjoner i OPUR samtidig som den bevarte oppgave-fullførings-ytelse, og indikerer at minst-privilegiert atferd kanskje krever målrettet trening i stedet for å oppstå automatisk fra generell sikkerhets-justering.

Konklusjon

For å svare på spørsmålet som er stilt i artikkelen, konkluderer forfatterne at eskalering drives av evne-usikkerhet: etter midlertidige feil, mister modellene tillit til lavere-privilegerte verktøy og velger stadig oftere bredere, mer fleksible verktøy som ser ut til å være mer sannsynlig til å lykkes, selv når lavere-privilegerte alternativer fremdeles er tilstrekkelige.

Igjen ser vi problemer som er native for trente modeller, og som må løses ved hjelp av tertiære metoder, begrensninger, post-trening-kondisjonering og andre hjelpe-tilnærminger, når det foretrukne ville være at slik atferd kunne dannes innenfor arkitekturen – antageligvis gjennom bedre kurasjon av data, eller kontekstualisering av den type ‘raskt svar’ datapunkter som dominerer samlinger, og som kan inklinere LLM-er mot uansvarlig atferd.

Først publisert søndag, 21. juni 2026