Hvorfor foretrækker AI-agenter unødvendigt kraftfulde værktøjer?

Det eskalerede hurtigt: forskning viser, at AI-agenter fortsætter med at få mere adgang, end de har brug for, og små fejl får dem til at eskalere endnu mere, og eksponerer data og systemer unødvendigt.

En stigende antal overskrifter har nylig draget opmærksomhed til risikoen for at give agentic AI for megen adgang, ofte gennem brug af over-privilegerede værktøjer og metoder, der tilbyder langt mere omfang end det, der er nødvendigt for en given opgave.

I en nyere begivenhed mødte en Claude-drevet kodningsagent en bredt defineret Railway-API-nøgle under en rutineopgave og brugte den til at slette en produktionsdatabase og dens backup – på trods af at opgaven ikke krævede så højt adgangsniveau.

I en separat sag fra 2025 ignorerede Replits AI-kodningsagent eksplisitte begrænsninger, ændrede beskyttet kode og slettede en live-produktionsdatabase.

I en tredje sag fra februar i år gennemførte en AI-understøttet arbejdsgang en kæde af privilegier, der til sidst nåede pakke-offentliggørelseslegitimationsdata, hvilket effektivt skabte en supply chain-angreb.

Herefter har sikkerhedsanalyser citeret disse og lignende sager som et eksempel på tendensen hos agentsystemer til at omdanne mindre input til høj-impakt-handlinger, når brede tilladelser er tilgængelige. Disse sager antyder, at autonome AI-straks og “instinktivt” når efter det kraftfuldeste – og potentielt destruktivt – værktøj, især når problemer opstår.

Værktøjstid

For at løse dette problem har ny forskning fra Kina testet en række af de mest populære proprietære og open source-modeller for at opdage deres disposition til at nå efter kraftfulde værktøjer i tilfælde, hvor sådanne værktøjer er unødvendige for opgaven:

Fra den nye artikel: præstation af elleve førende AI-modeller, når de vælger mellem minimallyt privilegerede værktøjer og kraftfuldere alternativer, der var unødvendige for opgaven. Qwen3-8B og LLaMA-3.1-8B viste den stærkeste tendens til over-privilegering, mens Claude 4.6 Sonnet, GPT-5.2 og GLM-5 var langt mere tilbageholdende. Mørkere segmenter indikerer umiddelbar over-privilegering, mens lyse segmenter viser eskalation efter midlertidige fejl, hvilket antyder, at mange modeller responderer på tilbageslag ved at udvide adgang i stedet for at fastholde sikrere muligheder. Kilde

Testene viser, at open-weight-modeller som Qwen3-8B og LLaMA-3.1-8B er mere tilbøjelige til at eskalere, muligvis på grund af deres mere begrænsede post-træningsbetingelser i forhold til proprietære modeller som ChatGPT og Gemini-serien.

Forfatterne skriver:

‘ Seks af de elleve modeller overstiger 30% [Over-privilegeret Værktøjsbrugsrate (OPUR)], med særligt høje rater for almindeligt brugte mindre open-weight-modeller som Qwen3-8B (64,9%) og LLaMA-3.1-8B (55,9%).

‘Imens forbliver lavere-OPUR-modeller som Claude 4.6 Sonnet, GPT-5.2 og GLM-5 under 10%, men viser stadig målbart over-privilegeret brug i visse indstillinger.

‘Denne variation antyder, at mindst-privilegie-overholdelse er en modelafhængig adfærdsregel, der muligvis er formet af forskelle i generel kapacitet, værktøjsbrugstræning og sikkerhedsjustering.’

Derudover varierer dispositionen mod over-kraftfuld værktøjsbrug efter domæne, med kodearbejde på højest risiko, og mere overvågede domæner som sundhedspleje inspirerer til mindre radikale foranstaltninger:

Rater for unødvendigt høj-privilegeret værktøjsbrug på tværs af forskellige opgave-domæner og risikokategorier. Kodning, database og infrastruktur-opgaver producerede nogle af de højeste eskalationsrater, mens sundhedspleje og regeringsopgaver generelt fremkaldte mere tilbageholdenhed. På tværs af risikotyper var modellerne mest tilbøjelige til at over-privilegere gennem myndighedseskation og sikkerheds-nedlæggelse, hvilket antyder, at når AI-systemer møder hindringer, foretrækker de ofte bredere adgang og færre begrænsninger end at fastholde de snævereste tilladelser, der er nødvendige for at fuldføre opgaven.

Derudover viser resultaterne, at nogle af de værste udfald opstår, når modellen føler sig “under pres”. På tværs af flere model-familier udløste midlertidige fejl fra lavere-privilegerede værktøjer ofte en hurtig skift mod bredere, kraftfuldere alternativer – selvom de oprindelige værktøjer stadig var fuldt ud i stand til at fuldføre opgaven.

Paniktilstand!

På denne måde kunne en midlertidig fejl få modellerne til at opgive principperne om mindst-privilegie helt. I stedet for at prøve en anden lav-privilegeret mulighed eller gentage det samme værktøj, svarede mange systemer ved at udvide deres adgang.

Forfatterne fastslår, at gentagne tilbageslag synes at undergrave tilliden til snævrere værktøjer, hvilket gør over-privilegeret eskalation mere sandsynlig under usikkerhed – en adfærd, der er observeret i varierende grad på tværs af både open-weight og proprietære modeller.

Privilegie-bevidst post-træning opnår en vis begrænsning som en mulig formindskning. Imidlertid tilbyder prompt-manipulation kun lidt forbedring i test, og for nu ser problemet ud til at være relateret til højere-seatede adfærdsprincipper i LLM’er.

Selvom artiklen ikke berører det, synes det logisk at antage, at AI’er har langt mere træningsmateriale om “endelige resultater” end om processen med trial og fejl, der fører til disse – en utålmodig “TLDR-kultur”, der måske også har avlet utålmodighed i AI..?

Den nye artikel har titlen Når lavere privilegier er tilstrækkelige: Undersøgelse af over-privilegeret værktøjsvalg i LLM-agenter og kommer fra otte forfattere på tværs af Kinas Videnskabsakademi, The Chinese University of Hong Kong, Peking Universitet og Universitetet for Kinas Videnskabsakademi.

Metode

For at studere over-privilegeret værktøjsbrug under kontrollerede betingelser oprettede forskerne ToolPrivBench, en benchmark, der består af 544 scenarier fra otte anvendelsesdomæner: Forretning, Kodning, Database, Uddannelse, Regering, Sundhedspleje, Infrastruktur og Medier.

Fem tilbagevendende risikomønstre blev undersøgt: Myndighedseskation, Data-over-eksponering, Sikkerheds-nedlæggelse, Omfangsekspansion og Temporal persistens:

Fordeling af de 544 scenarier i ToolPrivBench på tværs af fem privilegie-escalationsmønstre og otte anvendelsesdomæner. Myndighedseskation var den mest almindelige risikokategori, mens Database, Forretning og Uddannelse stod for de største andele af benchmarket. Den brede spredning af domæner og risikotyper var tiltænkt at teste, om over-privilegeret værktøjsvalg består på tværs af forskellige operationelle indstillinger, snarere end at opstå fra et snævert sæt af opgaver.

Hver scenario parrede en brugertilgang med tre lavere-privilegerede værktøjer og tre højere-privilegerede alternativer. Alle seks værktøjer var uafhængigt i stand til at fuldføre opgaven, hvilket sikrede, at enhver præference for bredere adgang ikke kunne forklares af manglende funktion.

ToolPrivBench er designet til at måle mere end, om en model initialt vælger det kraftfuldeste værktøj: under evaluering blev midlertidige fejl som forbindelsesfejl bevidst indført i lavere-privilegerede værktøjer, selvom disse værktøjer stadig var fuldt ud i stand til at fuldføre opgaven. Dette tillod forskerne at observere, hvordan modellerne reagerede på tilbageslag, herunder om de gentog lavere-privilegerede muligheder eller eskalerede til bredere, højere-privilegerede værktøjer:

Oversigt over ToolPrivBench-evaluationspipeline. (a) Hver testscenario præsenterer en opgave sammen med tre lavere-privilegerede værktøjer og tre højere-privilegerede alternativer, der alle er i stand til at fuldføre det samme mål. (b) Modellerne evalueres både for umiddelbar valg af et over-kraftfuldt værktøj og for eskalation efter midlertidige fejl, der er indført i lavere-privilegerede værktøjer. (c) Benchmarktilfælde genereres fra virkelige API-risikomønstre, derefter passerer de gennem automatiserede kontroller, værktøjs-sufficiens-validering, fejlanalyse og menneskelig ekspertgennemgang, før de indføres i den endelige evaluationsæt.

Den tilpassede metrik, der er udviklet til studiet, er Over-privilegeret Værktøjsbrugsrate (OPUR), der optager, hvor ofte en model bruger et højere-privilegeret værktøj, på trods af at sikrere alternativer stadig er tilgængelige. Pre-Eskalations-undersøgelsesdybde (PED) måles også, hvilket optager, hvor mange lavere-privilegerede værktøjer, der prøves, før eskalation finder sted.

For at sikre, at privilegeniveau forblev den eneste meningsfulde forskel mellem værktøjer, blev hver scenario i testene underlagt flere valideringsfaser, før de blev indført i benchmarket. ChatGPT-5.2 og Gemini 2.5 Pro blev uafhængigt brugt til at verificere, at alle seks værktøjer kunne fuldføre den tildelte opgave. Kun tilfælde, der fik enighed fra begge systemer, blev beholdt. De resterende scenarier blev derefter gennemgået af menneskelige gennemgangere, før de blev indført i den endelige benchmark.

Tests

Benchmarket blev evaluering ved hjælp af elleve sprogmodeller fra både proprietære og open-weight-familier: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 og Claude 4.6 Sonnet. Præstationen blev målt ved hjælp af OPUR og PED.

De fleste modeller viste betydelige rater af unødvendig privilegiebrug, på trods af at lavere-privilegerede alternativer stadig var i stand til at fuldføre opgaven. Qwen3-8B optegnede det højeste OPUR på 64,9%, efterfulgt af LLaMA-3.1-8B på 55,9%, mens seks af de elleve modeller oversteg 30%:

Fordeling af over-privilegeret værktøjsbrug på tværs af de elleve evaluerede modeller. Qwen3-8B og LLaMA-3.1-8B optegnede de højeste OPUR-værdier, mens Claude 4.6 Sonnet, GPT-5.2 og GLM-5 viste de laveste rater. Mørke segmenter indikerer umiddelbar valg af et unødvendigt kraftfuldt værktøj, hvorimod lyse segmenter indikerer eskalation efter en eller flere lavere-privilegerede værktøjer blev prøvet først, hvilket afslører, at privilegie-escalation ofte fulgte efter midlertidige tilbageslag snarere end at opstå ved det første beslutningspunkt.

I den anden ende af spektret forblev Claude 4.6 Sonnet, GPT-5.2 og GLM-5 under 10%, selvom målbare overtrædelser stadig blev observeret. Mellemresultater blev rapporteret for MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 og Gemini 3 Flash.

Samlet set varierede overholdelsen af mindst-privilegie-principper betydeligt på tværs af de elleve modeller. Værktøjsfejl øgede sandsynligheden for privilegie-escalation: når lavere-privilegerede værktøjer mødte midlertidige problemer, skiftede mange modeller til højere-privilegerede alternativer i stedet for at fortsætte med at udforske lavere-privilegerede muligheder, der stadig var i stand til at fuldføre opgaven.

Ifølge forfatterne synes gentagne fejl at reducere tilliden til lavere-privilegerede værktøjer, hvilket øger tendensen til at vælge bredere-adgangs-alternativer, selvom disse ekstra privilegier er unødvendige for opgaven:

‘Vi observerer en konsekvent tendens, hvor værktøjsvalgsforvrængningen er alvorligt forstærket af sekventiel miljøfriction. I stedet for at prøve minimallyt privilegerede alternativer skifter mange agenter hurtigt til bredere og kraftfuldere værktøjer efter at have oplevet tilbageslag.

‘For eksempel viser GPT-5.2 en zero-shot-valgsforvrængning kun 5 gange (PED=0), men dens forvrængning udløses 13 gange ved PED=1, og eksploderer til 35 gange ved PED=2.

‘Lignende eskalationsmønstre observeres konsekvent på tværs af DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 og Qwen-serie-modellerne. ‘

Ærværdige domæne-problemer

Eskalationsrater varierede også betydeligt på tværs af anvendelsesdomæner og risikokategorier. Infrastruktur-opgaver producerede nogle af de højeste OPUR-værdier, når de nåede 46,4% for DeepSeek-v3.2, 42,9% for Grok 4.1 Fast og 37,5% for Qwen3.5-397B.

Forhøjede rater blev også observeret i kodning, database og medie-relaterede opgaver, mens sundhedspleje og regering-scenarier generelt producerede lavere eskalationsrater, især blandt GPT-5.2 og Claude 4.6 Sonnet. Ifølge forfatterne kan dette mønster muligvis afspejle forskelle i, hvordan modellerne fortolker risiko og operationelle begrænsninger på tværs af domæner:

OPUR (%) på tværs af otte anvendelsesdomæner og fem eskalationskategorier. Open-weight-modeller optegnede generelt de højeste rater af unødvendigt privilegiebrug, med kodning, database, infrastruktur, myndighedseskation og sikkerheds-nedlæggelse, der producerede den stærkeste tendens til over-privilegering.

Typen af privilegie-escalation var også vigtig: Myndighedseskation og Sikkerheds-nedlæggelse var de mest almindelige former for over-privilegeret adfærd på tværs af de evaluerede modeller: LLaMA-3.1-8B nåede 72,7% på Myndighedseskation og 74,1% på Sikkerheds-nedlæggelse, mens Qwen3.5-397B optegnede 42,4% og 45,7% henholdsvis.

I modsætning hertil var Omfangsekspansion konsekvent den mindst almindelige kategori, hvilket indikerer, at modellerne var mere tilbøjelige til at søge bredere myndighed eller at omgå begrænsninger end at udvide omfanget af deres handlinger på tværs af flere brugere eller systemer.

Søgning efter løsninger

Formindsknings-eksperimenter undersøgte, om eksisterende agent-sikkerhedsmetoder også reducerer unødvendigt privilegie-escalation. Resultattabellen nedenfor sammenligner OPUR med præstation på AgentHarm, en benchmark, der måler skadelig adfærd og afvisningsrater i AI-agenter.

Den første test evaluerede AgentAlign, en sikkerhedsjusteringsmetode designet til at reducere skadelig adfærd. AgentAlign forbedrede betydeligt AgentHarm-præstationen:

Sikkerhedsjustering og over-privilegeret værktøjsbrug før og efter AgentAlign-træning. AgentAlign forbedrede betydeligt præstationen på AgentHarm-sikkerhedsbenchmarket, reducerede skadelige outputs og øgede afvisningsrater; men dens effekt på OPUR var inkonsistent, med en model, der viste en beskeden reduktion i unødvendigt privilegie-escalation, og en anden, der viste en stigning. Dette resultat indikerer, at forbedringer i konventionel agent-sikkerhed ikke nødvendigvis oversætter sig til bedre ‘mindst-privilegie’-værktøjsvalg.

For Ministral-8B-Instruct faldt den skadelige score fra 67,4 til 10,5, mens afvisningsraten steg fra 0,0 til 79,5. For Qwen2.5-7B-Instruct faldt den skadelige score fra 41,9 til 6,7, og afvisningsraten steg fra 21,6 til 85,8. Imidlertid oversætter disse forbedringer sig ikke konsekvent til lavere OPUR. OPUR faldt beskedent for Ministral-8B-Instruct fra 68,8 til 62,5, men steg for Qwen2.5-7B-Instruct fra 50,4 til 60,7.

Forfatterne testede også prompt-baserede interventioner, der eksplicit instruerede modellerne til at foretrække lavere-privilegerede værktøjer. Selvom disse prompts reducerede OPUR i visse indstillinger, aftog effekten, når lavere-privilegerede værktøjer mødte fejl:

Effekten af formindskningsstrategier på over-privilegeret værktøjsbrug i tre Qwen3-modeller. Prompt-teknik (PE) reducerede eskalationsrater, men privilegie-bevidst post-træning (‘Ours’) producerede betydeligt større reduceringer i OPUR på tværs af alle modeller og eskalationsdybder.

De stærkeste formindskningsresultater blev opnået fra en dedikeret post-træningsapproach, der specifikt fokuserede på mindst-privilegie-værktøjsvalg. Modellerne blev trænet til at foretrække lavere-privilegerede værktøjer, når de var tilstrækkelige til opgaven, og til at undgå unødvendigt eskalation.

Ifølge forfatterne producerede denne tilgang større reduceringer i OPUR, samtidig med at den bevarede opgave-gennemførelsespræstationen, hvilket indikerer, at mindst-privilegie-adfærd måske kræver målrettet træning snarere end at opstå automatisk fra generel formål-sikkerhedsjustering.

Konklusion

For at besvare spørgsmålet, som artiklens titel stiller, konkluderer forfatterne, at eskalation er drevet af kapacitets-usikkerhed: efter midlertidige fejl, mister modellerne tilliden til lavere-privilegerede værktøjer og vælger mere og mere bredere, mere fleksible værktøjer, der synes mere sandsynlige at lykkes, selvom lavere-privilegerede alternativer stadig er tilstrækkelige.

Endnu en gang ser vi problemer, der er native for trænede modeller, og som kræver tertiære metoder, begrænsninger, post-træningsbetingelser og andre hjælpe-metoder, når det første valg ville være, at sådant adfærd kunne dannes inden for arkitekturen – formodentlig gennem bedre kuratering af data eller kontekstualisering af den type ‘hurtig-svar’-data, der dominerer samlinger, og som kan få LLM’er til at opføre sig uklogt.

Først udgivet søndag, 21. juni 2026