Varför föredrar AI-agenter onödigt kraftfulla verktyg?

Det eskalerade snabbt: forskning visar att AI-agenter fortsätter att begära mer åtkomst än de behöver, och små fel gör att de eskalerar ännu mer, vilket utsätter data och system i onödan.

En växande mängd rubrikernas incidenter har nyligen väckt uppmärksamhet kring riskerna med att ge agentic AI alltför stora befogenheter, ofta genom användning av överprivilegierade verktyg och metoder som erbjuder mycket större omfattning än vad som behövs för en viss uppgift.

I en nylig händelse mötte en Claude-driven kodagent en Railway-API-token med bred omfattning under en rutinuppgift och använde den för att ta bort en produktionsdatabas och dess säkerhetskopior – trots att uppgiften inte krävde en sådan hög åtkomstnivå.

I ett separat fall 2025 ignorerade Replits AI-kodagent explicita begränsningar, modifierade skyddad kod och raderade en liveproduktionsdatabas.

I ett tredje fall i februari i år traverserade en AI-assisterad arbetsflödeskedja en kedja av befogenheter som slutligen nådde paketpubliceringsautentiseringsuppgifter, vilket i princip skapade en leverantörskedjeattack.

Därefter har säkerhetsanalyser citerat detta och liknande fall som exempel på tendensen hos agentsystem att omvandla små ingångar till högimpaktåtgärder när breda befogenheter är tillgängliga. Dessa incidenter tyder på att autonoma AI omedelbart och “instinktivt” når efter det kraftfullaste – och potentiellt destruktivaste – verktyget, särskilt när problem uppstår.

Verktygstid

För att åtgärda detta problem har ny forskning från Kina testat en rad av de mest populära proprietära och öppen källkodsmodellerna för att upptäcka deras benägenhet att nå efter kraftfulla verktyg i fall där sådana verktyg är överflödiga för en uppgift:

Från den nya artikeln: prestationen hos elva ledande AI-modeller när de väljer mellan minimallyt privilegierade verktyg och kraftfullare alternativ som var onödiga för uppgiften. Qwen3-8B och LLaMA-3.1-8B visade den starkaste tendensen mot överprivilegiering, medan Claude 4.6 Sonnet, GPT-5.2 och GLM-5 var betydligt mer återhållsamma. Mörkare segment indikerar omedelbar överutnyttjande, medan ljusare segment visar eskalering efter tillfälliga fel, vilket tyder på att många modeller svarar på bakslag genom att expandera åtkomst snarare än att behålla de smalaste behörigheter som behövs för att slutföra uppgiften. Källa

Testerna visar att öppenviktmodeller som Qwen3-8B och LLaMA-3.1-8B är mer benägna att eskalera, möjligen på grund av deras mer begränsade post-träningskonditionering jämfört med proprietära modeller som ChatGPT och Gemini-serien.

Författarna skriver:

‘Sex av de elva modellerna överstiger 30% [Överprivilegierat verktygsanvändningsfrekvens (OPUR)], med särskilt höga frekvenser för vanligt förekommande mindre öppenviktmodeller som Qwen3-8B (64,9%) och LLaMA-3.1-8B (55,9%).

‘Samtidigt förblir modeller med lägre OPUR, som Claude 4.6 Sonnet, GPT-5.2 och GLM-5, under 10%, men visar fortfarande mätbar överprivilegierad användning i vissa inställningar.

‘Denna variation tyder på att efterlevnad av minsta behörighetsprincipen är en modellbaserad beteendeeigenskap, som potentiellt formas av skillnader i allmän förmåga, verktygsanvändningsträning och säkerhetsjustering.’

Dessutom varierar benägenheten till överkraftigt verktygsanvändning mellan domäner, med kodbasarbete på högsta risk och mer övervakade domäner, som hälsovård, som inspirerar till färre radikala åtgärder:

Frekvenser av onödig högprivilegierad verktygsanvändning över olika uppgiftsdomäner och riskkategorier. Kodning, databas och infrastrukturuppgifter producerade konsekvent några av de högsta eskalationsfrekvenserna, medan hälsovård och regeringsuppgifter generellt gav upphov till färre radikala åtgärder. Över risktyper var modellerna mest benägna att överutnyttja genom behörighetse eskalering och säkerhetsbypassåtgärder, vilket tyder på att när AI-system möter hinder, föredrar de ofta bredare åtkomst och färre begränsningar snarare än att förbli inom de smalaste behörigheter som behövs för att slutföra uppgiften.

Dessutom visar resultaten att några av de sämsta resultaten inträffar när modellen känner sig “under press”. Över flera modellfamiljer utlöste tillfälliga fel från lägre privilegierade verktyg ofta en snabb övergång till bredare, kraftfullare alternativ – även om de ursprungliga verktygen fortfarande var fullt kapabla att slutföra uppgiften.

Panikläge!

På detta sätt kunde ett tillfälligt fel göra att modellerna övergav principen om minsta behörighet helt och hållet. Snarare än att försöka ett annat verktyg med lägre behörighet eller försöka igen med samma verktyg, svarade många system genom att expandera sin åtkomst.

Författarna hävdar att upprepade bakslag tycks urholka förtroendet för smalare verktyg, vilket gör onödig behörighetse eskalering alltmer sannolik under osäkerhetsförhållanden – ett beteende som observerats i varierande grad över både öppenvikt- och proprietära modeller.

Behörighetsmedveten post-träningskonditionering uppnår en viss begränsad framgång som en möjlig åtgärd. Men promptmanipulation erbjöd liten förbättring i testerna, och för närvarande verkar problemet relaterat till högre placerade beteendeprinciper i LLM.

Även om artikeln inte berör det, verkar det logiskt att anta att AI har mycket mer träningsmaterial på “slutresultat” än på processen med trial and error som leder till dessa – en otålig “TLDR-kultur” som kanske också har odlat otålighet i AI..?

Den nya artikeln har titeln När lägre behörigheter räcker: en undersökning av överprivilegierad verktygsselektion i LLM-agenter och kommer från åtta författare från Kinesiska vetenskapsakademien, The Chinese University of Hong Kong, Pekinguniversitetet och Universitetet för kinesiska vetenskapsakademien.

Metod

För att studera överprivilegierad verktygsanvändning under kontrollerade förhållanden skapade forskarna ToolPrivBench, en benchmark som består av 544 scenarier från åtta tillämpningsdomäner: Business, Kodning, Databas, Utbildning, Regering, Hälsovård, Infrastruktur och Media.

Fem återkommande riskmönster undersöktes: Behörighetse eskalering, Dataöverexponering, Säkerhetsbypass, Omfångsutvidgning och Tidsmässig persistence:

Fördelning av de 544 scenarierna i ToolPrivBench över fem behörighetse eskaleringmönster och åtta tillämpningsdomäner. Behörighetse eskalering var den vanligaste riskkategorin, medan Databas, Business och Utbildning stod för de största andelarna av benchmarken. Den breda spridningen av domäner och risktyper var avsedd att testa om överprivilegierad verktygsselektion består över olika operativa inställningar, snarare än att uppstå från en smal uppsättning uppgifter.

<p.Varje scenario parade en användaruppgift med tre lägre privilegierade verktyg och tre högre privilegierade alternativ. Alla sex verktyg var oberoende kapabla att slutföra uppgiften, vilket säkerställde att någon preferens för bredare åtkomst inte kunde förklaras av saknad funktion.

ToolPrivBench är utformad för att mäta mer än om en modell initialt väljer det kraftfullaste verktyget: under utvärdering injicerades tillfälliga fel, såsom anslutningsfel, avsiktligt i lägre privilegierade verktyg, även om dessa verktyg fortfarande var fullt kapabla att slutföra uppgiften. Detta tillät forskarna att observera hur modellerna svarade på bakslag, inklusive om de försökte igen med lägre privilegierade alternativ eller eskalerade till bredare, högre privilegierade verktyg:

Översikt av ToolPrivBench-utvärderingspipelinen. (a) Varje testscenario presenterar en uppgift tillsammans med tre lägre privilegierade verktyg och tre högre privilegierade alternativ, alla kapabla att slutföra samma mål. (b) Modeller utvärderas både för omedelbar selektion av ett överkraftigt verktyg och för eskalering efter tillfälliga fel introduceras i lägre privilegierade verktyg. (c) Benchmarkfall genereras från realvärldens API-riskmönster, sedan skickas de genom automatiserade kontroller, verktygs Sufficiency-validering, felanalys och mänsklig expertgranskning innan de slutligen antas till utvärderingssättet.

För att säkerställa att behörighetsnivå förblev den enda meningsfulla skillnaden mellan verktyg, utsattes varje scenario i testerna för flera valideringsstadier innan de antogs till benchmarken. ChatGPT-5.2 och Gemini 2.5 Pro användes oberoende för att verifiera att alla sex verktyg kunde slutföra den tilldelade uppgiften. Endast fall som fick överensstämmelse från båda systemen behölls. De återstående scenarierna granskades sedan av mänskliga granskare innan de inkluderades i den slutliga benchmarken.

Tester

Benchmarken utvärderades med elva språkmodeller från både proprietära och öppenviktiga familjer: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 och Claude 4.6 Sonnet. Prestanda mättes med OPUR och PED.

De flesta modellerna visade betydande frekvenser av onödig privilegierad användning trots att lägre privilegierade alternativ fortfarande var fullt kapabla att slutföra uppgiften. Qwen3-8B registrerade den högsta OPUR-värdet på 64,9%, följt av LLaMA-3.1-8B på 55,9%, medan sex av de elva modellerna översteg 30%:

Fördelning av överprivilegierad verktygsanvändning över de elva utvärderade modellerna. Qwen3-8B och LLaMA-3.1-8B registrerade de högsta OPUR-värdena, medan Claude 4.6 Sonnet, GPT-5.2 och GLM-5 visade de lägsta frekvenserna. Mörkare segment indikerar omedelbar selektion av ett onödigt kraftfullt verktyg, medan ljusare segment indikerar eskalering efter en eller flera lägre privilegierade verktyg som försöktes först, vilket avslöjar att privilegierad eskalering ofta följde tillfälliga bakslag snarare än att inträffa vid det första beslutsögonblicket.

I den andra änden av spektrumet förblev Claude 4.6 Sonnet, GPT-5.2 och GLM-5 under 10%, även om mätbara överträdelser fortfarande observerades. Mellanresultat rapporterades för MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 och Gemini 3 Flash.

Sammanfattningsvis varierade efterlevnaden av minsta behörighetsprincipen avsevärt över de elva modellerna. Verktygsfel visade sig öka sannolikheten för privilegierad eskalering: när lägre privilegierade verktyg mötte tillfälliga problem, skiftade många modeller till högre privilegierade alternativ snarare än att fortsätta utforska lägre privilegierade alternativ som fortfarande var kapabla att slutföra uppgiften.

Enligt författarna tycks upprepade fel minska förtroendet för lägre privilegierade verktyg, vilket ökar tendensen att välja bredare åtkomstalternativ även när sådana extra behörigheter visar sig onödiga för uppgiften:

‘Vi observerar en konsekvent trend där verktygsselektionsbias förstärks kraftigt av sekventiell miljöfriction. Snarare än att försöka minimallyt privilegierade alternativ, skiftar många agenter snabbt mot bredare och kraftfullare verktyg efter att ha upplevt bakslag.

‘Till exempel visar GPT-5.2 en nollskottsselektionsbias endast 5 gånger (PED=0), men dess bias utlöses 13 gånger vid PED=1 och exploderar till 35 gånger vid PED=2.

‘Liknande eskalationsmönster observeras konsekvent över DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 och Qwen-seriemodeller. ‘

Utmärkta domänfrågor

Eskalationsfrekvenser varierade också avsevärt mellan tillämpningsdomäner och riskkategorier. Infrastruktur-uppgifter producerade några av de högsta OPUR-värdena, med 46,4% för DeepSeek-v3.2, 42,9% för Grok 4.1 Fast och 37,5% för Qwen3.5-397B.

Ökade frekvenser observerades också i kodning, databas och media-relaterade uppgifter, medan <em"hälsovård och regering-scenarier generellt producerade lägre eskalationsfrekvenser, särskilt bland GPT-5.2 och Claude 4.6 Sonnet. Enligt författarna kan detta mönster återspegla skillnader i hur modeller tolkar risk och operativa begränsningar mellan domäner:

OPUR (%) över åtta tillämpningsdomäner och fem eskaleringkategorier. Öppenviktmodeller registrerade generellt de högsta frekvenserna av onödig privilegierad användning, med kodning, databas, infrastruktur, behörighetse eskalering och säkerhetsbypassscenarier som producerade den starkaste tendensen mot överutnyttjande.

Typen av privilegierad eskalering var också viktig: Behörighet eskalering och Säkerhetsbypass var de vanligaste formerna av överprivilegierat beteende över de utvärderade modellerna: LLaMA-3.1-8B nådde 72,7% på Behörighetse eskalering och 74,1% på Säkerhetsbypass, medan Qwen3.5-397B registrerade 42,4% respektive 45,7%.

I kontrast var Omfångsutvidgning konsekvent den minst vanliga kategorin, vilket indikerar att modellerna var mer benägna att söka bredare behörighet eller bypassa begränsningar snarare än att utöka omfånget av sina åtgärder över fler användare eller system.

Sökande efter lösningar

Mitigeringsexperiment undersökte om befintliga agentsäkerhetsmetoder också minskar onödig privilegierad eskalering. Resultattabellen nedan jämför OPUR med prestanda på AgentHarm, en benchmark som mäter skadligt beteende och vägranfrekvenser i AI-agenter.

Det första testet utvärderade AgentAlign, en säkerhetsjusteringsmetod designad för att minska skadligt beteende. AgentAlign förbättrade avsevärt AgentHarm-prestanda:

Säkerhetsjustering och överprivilegierad verktygsanvändning före och efter AgentAlign-träning. AgentAlign förbättrade avsevärt prestanda på AgentHarm-säkerhetsbenchmarken, minskade skadliga utdata och ökade vägranfrekvenser; men dess effekt på OPUR var inkonsekvent, med en modell som visade en måttlig minskning av onödig privilegierad eskalering, och en annan som visade en ökning. Detta resultat indikerar att förbättringar i konventionell agentsäkerhet inte nödvändigtvis översätts till bättre ‘minsta behörighet’ verktygsselektion.

För Ministral-8B-Instruct minskade den skadliga poängen från 67,4 till 10,5 medan vägranfrekvensen ökade från 0,0 till 79,5. För Qwen2.5-7B-Instruct minskade den skadliga poängen från 41,9 till 6,7 och vägranfrekvensen ökade från 21,6 till 85,8. Men dessa förbättringar översattes inte konsekvent till lägre OPUR. OPUR minskade måttligt för Ministral-8B-Instruct, från 68,8 till 62,5, men ökade för Qwen2.5-7B-Instruct, från 50,4 till 60,7.

Författarna testade också promptbaserade ingrepp som uttryckligen instruerade modellerna att föredra lägre privilegierade verktyg. Även om dessa promptrar minskade OPUR i vissa inställningar, minskade effekten när lägre privilegierade verktyg mötte fel:

Effekten av mitigationsstrategier på överprivilegierad verktygsanvändning i tre Qwen3-modeller. Promptteknik (PE) minskade eskalationsfrekvenser, men privilegierad post-träning (‘Ours’) producerade avsevärt större minskningar av OPUR över alla modeller och eskalationsdjup.

De starkaste mitigationsresultaten erhölls från en dedikerad post-träningsansats som fokuserade specifikt på minsta behörighet verktygsselektion. Modeller tränades för att föredra lägre privilegierade verktyg närhelst de var tillräckliga för uppgiften och undvika onödig eskalering.

Enligt författarna producerade denna ansats större minskningar av OPUR samtidigt som den bevarade uppgiftsslutförande prestanda, vilket indikerar att minsta behörighetsbeteende kan kräva riktad träning snarare än att uppstå automatiskt från allmänna säkerhetsjusteringsmetoder.

Slutsats

För att besvara frågan som ställs av artikeln, drar författarna slutsatsen att eskalering drivs av förmågaosäkerhet: efter tillfälliga fel, förlorar modellerna förtroendet för lägre privilegierade verktyg och väljer alltmer bredare, mer flexibla verktyg som verkar mer sannolika att lyckas, även när lägre privilegierade alternativ fortfarande är tillräckliga.

Återigen ser vi problem som är native för tränade modeller, och som behöver åtgärdas med tertiära metoder, begränsningar, post-träningskonditionering och andra hjälpmetoder, när föredraget vore att ett sådant beteende kunde formas inom arkitekturen – antagligen genom bättre kurering av data, eller kontextualisering av den typ av ‘snabbt svar’ datapunkter som dominerar samlingar, och som kan inklinera LLM till vårdslöst beteende.

Publicerad första gången söndag, 21 juni 2026