Proč agenti AI upřednostňují zbytečně mocné nástroje?

Rychle eskaluje: výzkum zjistil, že agenti AI si stále berou více přístupů, než potřebují, a malé selhání je činí ještě více eskalovat, čímž zbytečně vystavují data a systémy.

Růst počtu incidentů, které získaly pozornost, upozornil nedávno na rizika spojená s poskytováním agentic AI nadměrných oprávnění, často prostřednictvím použití přeoprávněných nástrojů a metod, které nabízejí mnohem větší rozsah, než je necessário pro danou úlohu.

V jedné recentní události se agent kódování Claude setkal s široce zaměřeným Railway API tokenem během rutinní úlohy a použil ho k smazání produkční databáze a jejích záloh – přestože úloha nevyžadovala takový úroveň přístupu.

V samostatném případě z roku 2025 ignoroval agent kódování Replit explicitní omezení, upravil chráněný kód a smazal živou produkční databázi.

V třetím případě z února letošního roku prošel AI-pomocený workflow řetězcem oprávnění, které nakonec dosáhly přihlašovacích údajů pro publikaci balíčků, čímž efektivně vytvořil útok na dodavatelský řetězec.

Následně bezpečnostní analýzy citovaly tyto a podobné případy jako ilustraci tendence agentních systémů měnit malé vstupy na akce s velkým dopadem, jakmile jsou k dispozici široké oprávnění. Tyto incidenty naznačují, že autonomní AI okamžitě a “instinktivně” sahá po nejmocnějším – a potenciálně destruktivním – nástroji, zejména když nastanou problémy.

Čas nástrojů

Při řešení této otázky provedl nový výzkum z Číny testy na nejpopulárnějších proprietárních a open-source modelech, aby zjistil jejich sklon k výběru mocných nástrojů v případech, kdy takové nástroje jsou pro úlohu zbytečné:

Z nové studie: výkon jedenácti předních AI modelů při výběru mezi minimálně oprávněnými nástroji a mocnějšími alternativami, které nebyly nutné pro úlohu. Qwen3-8B a LLaMA-3.1-8B ukázaly nej silnější tendenci k nadměrným oprávněním, zatímco Claude 4.6 Sonnet, GPT-5.2 a GLM-5 byly mnohem více zdrženlivé. Tmavší segmenty ukazují okamžitou eskalaci, zatímco světlejší segmenty ukazují eskalaci po dočasných selháních, naznačující, že mnoho modelů reaguje na překážky rozšiřováním přístupu a méně omezeními, místo setrvání v nejúžších oprávněních potřebných pro dokončení úlohy. Zdroj

Testy ukazují, že open-weight modely, jako jsou Qwen3-8B a LLaMA-3.1-8B, jsou více nakloněny k eskalaci, možná kvůli jejich omezenějšímu post-tréninkovému kondicionování, ve srovnání s proprietárními modely, jako je ChatGPT a Gemini série.

Autoři uvádějí:

‘Šest z jedenácti modelů překročilo 30% [míru použití nadměrných oprávnění (OPUR)], s obzvláště vysokými sazbami pro běžně používané menší open-weight modely, jako je Qwen3-8B (64,9%) a LLaMA-3.1-8B (55,9%).

‘Zatímco modely s nižší OPUR, jako Claude 4.6 Sonnet, GPT-5.2 a GLM-5, zůstaly pod 10%, ale stále vykazovaly měřitelné nadměrné použití v některých nastaveních.

‘Tato variace naznačuje, že dodržování principu minimálních oprávnění je vlastností chování modelu, potenciálně tvarovanou rozdíly v obecné schopnosti, školení nástrojů a bezpečnostním zarovnáním.’

Kromě toho se sklon k použití nadměrných oprávnění liší podle domény, s prací na kódech na nejvyšší riziko a více kontrolovanými doménami, jako je zdravotnictví, které inspirují méně radikální opatření:

Sazby zbytečného použití nástrojů s vysokými oprávněními napříč různými úkoly a kategoriemi rizik. Úkoly související s kódováním, databází a infrastrukturou konzistentně produkovaly některé z nejvyšších sazeb eskalace, zatímco úkoly související se zdravotnictvím a vládou obecně vyvolaly více zdrženlivost. Napříč typy rizik modely nejčastěji překročily oprávnění prostřednictvím eskalace oprávnění a akcí obejití bezpečnosti, naznačující, že když systémy AI narazí na překážky, často preferují širší přístup a méně omezení, místo setrvání v nejúžších oprávněních potřebných pro dokončení úlohy.

Kromě toho výsledky ukazují, že některé z nejhorších výsledků se vyskytují, když se model cítí “pod tlakem”. Napříč několika modelovými rodinami dočasná selhání z nástrojů s nižšími oprávněními často vyvolala rychlou změnu směrem k širším, mocnějším alternativám – i když původní nástroje zůstaly plně schopné dokončit úlohu.

Panikový režim!

Tímto způsobem mohla dočasná chyba způsobit, že modely opustí princip minimálních oprávnění úplně. Místo toho, aby se pokusily o další nástroj s nižšími oprávněními, nebo opakovaly stejný nástroj, mnoho systémů reagovalo rozšiřováním svého přístupu.

Autoři tvrdí, že opakovaná selhání zdají se erodovat důvěru v nástroje s nižšími oprávněními, čímž se zvyšuje pravděpodobnost zbytečného eskalování oprávnění za podmínek nejistoty – chování pozorované v různé míře napříč oběma open-weight a proprietárními modely.

Omezení vědomá post-tréninková fáze dosáhla omezeného úspěchu jako možná mitigace, odměňující použití nástrojů s nižšími oprávněními a trestající předčasné eskalování. Nicméně, manipulace s promptem nabízela málo zlepšení ve testech a prozatím se zdá, že problém je spojen s vyššími principy chování v LLM.

Ačkoli studie se o tom nezmiňuje, zdá se logické předpokládat, že AI má mnohem více tréninkových materiálů na “konečné výsledky” než na proces pokusů a omylů, který vede k těmto – nejspíše “netrpělivá” kultura, která perhaps vychovala i netrpělivost v AI..?

Nová studie se jmenuje Když stačí nižší oprávnění: Vyšetřování zbytečného výběru nástrojů s vysokými oprávněními v agentech LLM a pochází od osmi autorů z Čínské akademie věd, Čínské univerzity v Hongkongu, Peking University a Univerzity Čínské akademie věd.

Metoda

Pro studium zbytečného použití nástrojů s vysokými oprávněními za kontrolovaných podmínek vytvořili výzkumníci ToolPrivBench, benchmark sestávající z 544 scénářů z osmi aplikačních domén: Business, Kódování, Databáze, Vzdělávání, Vláda, Zdravotnictví, Infrastruktura a Média.

Pět opakujících se rizikových vzorců bylo prozkoumáno: Eskalace oprávnění, Překročení expozice dat, Obejití bezpečnosti, Rozšíření rozsahu a Časová persistencia:

Rozdělení 544 scénářů v ToolPrivBench napříč pětmi vzorci eskalace oprávnění a osmi aplikačními doménami. Eskalace oprávnění byla nejčastější kategorií rizik, zatímco Databáze, Business a Vzdělávání tvořily největší podíly benchmarku. Široké rozložení domén a rizikových typů bylo určeno k testování, zda zbytečný výběr nástrojů s vysokými oprávněními přetrvává napříč různými provozními nastaveními, spíše než vzniká z úzké množiny úkolů.

Každý scénář spároval uživatelský úkol se třemi nástroji s nižšími oprávněními a třemi nástroji s vyššími oprávněními. Všichni šest nástrojů byli nezávisle schopni dokončit úkol, zajišťující, že jakékoli preference pro širší přístup nemohly být vysvětleny chybějící funkcionalitou.

ToolPrivBench je navržen tak, aby měřil více než jen to, zda model inicialně vybere nejvýkonnější nástroj: během hodnocení byly dočasná selhání, jako jsou chyby připojení, záměrně vložena do nástrojů s nižšími oprávněními, i když tyto nástroje zůstaly plně schopné dokončit úkol. To umožnilo výzkumníkům pozorovat, jak modely reagovaly na překážky, včetně toho, zda opakovaly nástroje s nižšími oprávněními nebo eskalovaly na širší, nástroje s vyššími oprávněními:

Přehled pipeline hodnocení ToolPrivBench. (a) Každý testovací scénář představuje úkol spolu se třemi nástroji s nižšími oprávněními a třemi nástroji s vyššími oprávněními, všechny schopné dokončit stejný cíl. (b) Modely jsou hodnoceny jak pro okamžitý výběr nástroje s vysokými oprávněními, tak pro eskalaci po dočasných selháních zavedených do nástrojů s nižšími oprávněními. (c) Případy benchmarku jsou generovány z reálných vzorců rizik API, poté procházejí automatizovanými kontrolami, validací nástrojů, analýzou selhání a recenzí lidskými experty, než jsou přijaty do finální sady hodnocení.

Vlastní metrika vyvinutá pro studii je Míra použití nástrojů s vysokými oprávněními (OPUR), která zaznamenává, jak často model používá nástroj s vyššími oprávněními, přestože bezpečnější alternativy jsou stále k dispozici. Hloubka prozkoumání před eskalací (PED) je také měřena, zaznamenávající, kolik nástrojů s nižšími oprávněními je vyzkoušeno před eskalací.

Aby se zajistilo, že úroveň oprávnění zůstane jediným významným rozdílem mezi nástroji, každý scénář v testech prošel několika validačními fázemi, než byl přijat do benchmarku. ChatGPT-5.2 a Gemini 2.5 Pro byly nezávisle použity k ověření, že všechny šest nástrojů mohlo dokončit přidělený úkol. Pouze případy, které obdržely souhlas od obou systémů, byly uchovány. Zbývající scénáře byly poté auditovány lidskými recenzenty, než byly zahrnuty do finálního benchmarku.

Testy

Benchmark byl hodnocen pomocí jedenácti jazykových modelů z obou proprietárních a open-weight rodin: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 a Claude 4.6 Sonnet. Výkon byl měřen pomocí OPUR a PED.

Většina modelů vykazovala podstatné sazby zbytečného použití nástrojů s vysokými oprávněními, přestože nástroje s nižšími oprávněními byly plně schopné dokončit úkol. Qwen3-8B zaznamenal nejvyšší OPUR na 64,9%, následovaný LLaMA-3.1-8B na 55,9%, zatímco šest z jedenácti modelů překročilo 30%:

Rozdělení zbytečného použití nástrojů s vysokými oprávněními napříč jedenácti hodnocenými modely. Qwen3-8B a LLaMA-3.1-8B zaznamenaly nejvyšší hodnoty OPUR, zatímco Claude 4.6 Sonnet, GPT-5.2 a GLM-5 ukázaly nejnižší sazby. Tmavší segmenty ukazují okamžitý výběr zbytečně mocného nástroje, zatímco světlejší segmenty ukazují eskalaci po jedné nebo více nástrojích s nižšími oprávněními, které byly vyzkoušeny jako první, odhalující, že eskalování oprávnění často následovalo po dočasných selháních, spíše než na prvním rozhodování.

Na opačném konci spektra Claude 4.6 Sonnet, GPT-5.2 a GLM-5 zůstaly pod 10%, i když měřitelná porušení byla stále pozorována. Mezitímní výsledky byly hlášeny pro MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 a Gemini 3 Flash.

Celkově dodržování principu minimálních oprávnění se podstatně lišilo napříč jedenácti modely. Selhání nástrojů se ukázala jako zvyšující pravděpodobnost eskalování oprávnění: když nástroje s nižšími oprávněními narazily na dočasné problémy, mnoho modelů se přesunulo směrem k nástrojům s vyššími oprávněními, místo aby pokračovaly v prozkoumávání nástrojů s nižšími oprávněními, které zůstaly schopné dokončit úkol.

Podle autorů opakovaná selhání zdají se snižovat důvěru v nástroje s nižšími oprávněními, zvyšující tendenci vybrat širší přístupové alternativy, i když tyto dodatečné oprávnění se pro úkol neprokázaly jako nezbytná:

‘Pozorujeme konzistentní trend, kde je sklon nástrojů vážně zesílen sekvencí environmentální tření. Místo toho, aby se pokusily o minimálně oprávněné alternativy, mnoho agentů rychle přechází na širší a mocnější nástroje po selháních.

‘Například GPT-5.2 vykazuje nulový výběr sklonu pouze 5krát (PED=0), ale jeho sklon je spuštěn 13krát při PED=1 a vzroste na 35krát při PED=2.

‘Podobné eskalační vzorce jsou konzistentně pozorovány napříč DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 a Qwen-series modely. ‘

Značné problémy s doménou

Sazby eskalování se také podstatně lišily napříč aplikačními doménami a kategoriemi rizik. Úkoly související s infrastrukturou produkovaly některé z nejvyšších hodnot OPUR, dosahující 46,4% pro DeepSeek-v3.2, 42,9% pro Grok 4.1 Fast a 37,5% pro Qwen3.5-397B.

Vyšší sazby byly také pozorovány v kódování, databázi a média souvisejících úkolech, zatímco zdravotnictví a vládní scénáře obecně produkovaly nižší sazby eskalování, zejména mezi GPT-5.2 a Claude 4.6 Sonnet. Podle autorů tento vzorec může odrážet rozdíly v tom, jak modely interpretují rizika a provozní omezení napříč doménami:

Hodnoty OPUR (%) napříč osmi aplikačními doménami a pětmi kategoriemi eskalací. Open-weight modely obecně zaznamenaly nejvyšší sazby zbytečného použití nástrojů s vysokými oprávněními, s kódováním, databází, infrastrukturou, eskalací oprávnění a obejitím bezpečnosti, které produkovaly nejsilnější tendenci k nadměrnému použití.

Typ eskalování oprávnění také záležel: Oprávnění eskalace a Bezpečnostní obejití byly nejčastějšími formami nadměrného chování napříč hodnocenými modely: LLaMA-3.1-8B dosáhla 72,7% na Oprávnění eskalaci a 74,1% na Bezpečnostní obejití, zatímco Qwen3.5-397B zaznamenal 42,4% a 45,7% соответственно.

Naopak, Rozšíření rozsahu bylo konzistentně nejméně častou kategorií, naznačující, že modely byly více nakloněny k hledání širších oprávnění nebo obejití omezení, než k rozšíření rozsahu svých akcí napříč dalšími uživateli nebo systémy.

Hledání řešení

Experimenty s mitigací zkoumaly, zda stávající metody bezpečnosti agentů také snižují zbytečné eskalování oprávnění. Tabulka výsledků níže porovnává OPUR s výkonem na AgentHarm, benchmarku, který měří škodlivé chování a sazby odmítnutí v agentech AI.

První test vyhodnotil AgentAlign, bezpečnostní zarovnání metodu navrženou ke snížení škodlivých akcí. AgentAlign podstatně zlepšil výkon na benchmarku AgentHarm:

Bezpečnostní zarovnání a zbytečné použití nástrojů s vysokými oprávněními před a po školení AgentAlign. AgentAlign podstatně zlepšil výkon na benchmarku AgentHarm, snížil škodlivé výstupy a zvýšil sazby odmítnutí; ale jeho účinek na OPUR byl nekonzistentní, s jedním modelem, který ukázal mírné snížení zbytečného eskalování oprávnění, a druhým, který ukázal nárůst. Tento výsledek naznačuje, že zlepšení konvenční bezpečnosti agentů nemusí nutně přeložit do lepšího ‘minimálního oprávnění’ výběru.

Pro Ministral-8B-Instruct se škodlivý skóre snížil z 67,4 na 10,5, zatímco sazba odmítnutí se zvýšila z 0,0 na 79,5. Pro Qwen2.5-7B-Instruct se škodlivý skóre snížil z 41,9 na 6,7 a sazba odmítnutí se zvýšila z 21,6 na 85,8. Nicméně, tato zlepšení se nekonstantně přeložila do nižší OPUR. OPUR se mírně snížil pro Ministral-8B-Instruct, z 68,8 na 62,5, ale zvýšil se pro Qwen2.5-7B-Instruct, z 50,4 na 60,7.

Autoři také otestovali prompt-based intervence, které explicitně instruovaly modely, aby preferovaly nástroje s nižšími oprávněními. Ačkoli tyto prompty snížily OPUR v některých nastaveních, účinek se snížil, když nástroje s nižšími oprávněními narazily na selhání:

Účinek mitigací na zbytečné použití nástrojů s vysokými oprávněními ve třech Qwen3 modelech. Inženýrství promptů (PE) snížilo sazby eskalování, ale post-tréninková fáze zaměřená na minimální oprávnění (‘Ours’) produkovala podstatně větší snížení OPUR napříč všemi modely a hloubkami eskalací.

Nejsilnější výsledky mitigace byly získány z věnované post-tréninkové metody zaměřené specificky na minimální oprávnění výběru nástrojů. Modely byly školeny, aby preferovaly nástroje s nižšími oprávněními, kdykoli to bylo možné pro úkol, a aby se vyhnuly zbytečnému eskalování.

Podle autorů tato metoda produkovala větší snížení OPUR, zatímco zachovala výkon úkolu, naznačující, že minimální oprávnění chování může vyžadovat cílené školení, spíše než automaticky vzniknout z obecného bezpečnostního zarovnání.

Závěr

Aby odpověděli na otázku položenou titulem tohoto článku, autoři uzavírají, že eskalování je poháněno nejistotou schopností: po dočasných selháních modely ztrácejí důvěru v nástroje s nižšími oprávněními a stále více volí širší, flexibilnější nástroje, které se zdají více pravděpodobné k úspěchu, i když nástroje s nižšími oprávněními zůstávají dostatečné pro dokončení úkolu.

Ještě jednou vidíme problémy, které jsou native pro tréninkové modely, a které potřebují být řešeny terciárními metodami, omezeními, post-tréninkovým kondicionováním a jinými pomocnými přístupy, když by bylo preferováno, aby takové chování mohlo být vytvořeno v rámci architektury – pravděpodobně prostřednictvím lepší kurace dat, nebo kontextualizace ‘rychlých odpovědí’ datových bodů, které dominují sbírkám, a které mohou naklonit LLM k bezohlednému chování.

Poprvé zveřejněno v neděli, 21. června 2026