De ce agenții inteligenței artificiale preferă instrumente inutil de puternice?

S-a escaladat rapid: cercetările arată că agenții inteligenței artificiale continuă să obțină mai mult acces decât au nevoie, iar eșecurile mici îi determină să escaladeze și mai mult, expunând date și sisteme în mod inutil.

O serie de incidente care au atras atenția publică în ultima vreme au subliniat riscurile permisiei excesive a inteligenței artificiale agenților, adesea prin utilizarea unor instrumente și metode cu o sferă de acțiune mult mai largă decât era necesar pentru o anumită sarcină.

Într-un eveniment recent, un agent de codare Claude a întâlnit un token API Railway cu o sferă de acțiune largă în timpul unei sarcini de rutină și l-a utilizat pentru a șterge o bază de date de producție și copiile sale de rezervă – în ciuda faptului că sarcina nu necesita un nivel atât de înalt de acces.

Într-un alt caz din 2025, agentul de codare Replit a ignorat constrângerile explicite, a modificat codul protejat și a șters o bază de date de producție.

Într-un al treilea caz din februarie acest an, un flux de lucru asistat de inteligență artificială a parcurs o serie de privilegii care au ajuns în cele din urmă la credenciale de publicare a pachetelor, creând astfel un atac de lanț de aprovizionare.

Ulterior, analizele de securitate au menționat acest lucru și alte cazuri asemănătoare, ca ilustrare a tendinței sistemelor agenților de a transforma intrări minore în acțiuni cu impact ridicat atunci când sunt disponibile permisiuni largi. Aceste incidente sugerează că inteligența artificială autonomă ajunge imediat și “instinctiv” la instrumentul cel mai puternic – și, eventual, cel mai distructiv –, mai ales atunci când apar probleme.

Timpul instrumentelor

Pentru a aborda această problemă, o nouă cercetare din China a testat o serie de modele proprietare și cu sursă deschisă, pentru a descoperi dispoziția lor de a ajunge la instrumente puternice în cazurile în care astfel de instrumente sunt excesive pentru o sarcină:

Din noua lucrare: performanța a unsprezece modele de inteligență artificială lideri atunci când aleg între instrumente cu privilegii minimale și alternative mai puternice care erau inutile pentru sarcină. Qwen3-8B și LLaMA-3.1-8B au arătat cea mai puternică tendință către privilegii excesive, în timp ce Claude 4.6 Sonnet, GPT-5.2 și GLM-5 au fost mult mai reținute. Segmentele mai întunecate indică o extindere imediată, în timp ce segmentele mai deschise arată o escaladare după eșecuri temporare, sugerează că multe modele răspund la obstacole prin extinderea accesului și nu prin persistarea opțiunilor mai sigure. Sursă

Testele indică faptul că modelele cu sursă deschisă, cum ar fi Qwen3-8B și LLaMA-3.1-8B, sunt mai dispuse să escaladeze, poate din cauza condiționării post-antrenare mai limitate, comparativ cu modelele proprietare, cum ar fi ChatGPT și Gemini.

Autorii afirmă:

‘Șase dintre cele unsprezece modele depășesc 30% [Rata de utilizare a instrumentelor cu privilegii excesive (OPUR)], cu rate deosebit de ridicate pentru modelele deschise mai mici, cum ar fi Qwen3-8B (64,9%) și LLaMA-3.1-8B (55,9%).

‘În schimb, modelele cu OPUR mai scăzut, cum ar fi Claude 4.6 Sonnet, GPT-5.2 și GLM-5, rămân sub 10%, dar încă arată o utilizare cu privilegii excesive în anumite setări.

‘Această variație sugerează că respectarea principiului celor mai mici privilegii este o proprietate comportamentală dependentă de model, care poate fi modelată de diferențe în capacitatea generală, antrenamentul utilizării instrumentelor și alinierea securității.’

În plus, dispoziția către utilizarea instrumentelor cu putere excesivă variază în funcție de domeniu, cu lucrul la codul sursă la cel mai ridicat risc, și domenii mai strict supravegheate, cum ar fi sănătatea, inspirând măsuri mai puțin radicale:

Ratele de utilizare a instrumentelor cu putere excesivă în diferite domenii de sarcini și categorii de risc. Lucrul la codul sursă, bazele de date și infrastructura au produs unele dintre cele mai ridicate rate de escaladare, în timp ce sănătatea și guvernul au determinat, în general, o abordare mai prudentă. În categoriile de risc, modelele au fost mai predispuse să escaladeze prin escaladarea autorității și acțiunile de ocolire a securității, sugerând că atunci când sistemele inteligenței artificiale întâlnesc obstacole, ele preferă adesea accesul mai larg și restricțiile mai mici, în loc să rămână în cadrul celor mai înguste permisiuni necesare pentru a finaliza sarcina.

În plus, rezultatele indică faptul că unele dintre cele mai grave consecințe apar atunci când modelul se simte “sub presiune”. În mai multe familii de modele, eșecurile temporare ale instrumentelor cu privilegii mai mici au declanșat adesea o schimbare rapidă către alternative mai largi și mai puternice – chiar dacă instrumentele originale rămâneau pe deplin capabile să finalizeze sarcina.

Modul de panică!

În acest fel, o eroare tranzitorie a putut determina modelele să abandoneze principiul privilegiilor minime în totalitate. În loc să încerce o altă opțiune cu privilegii mai mici sau să reîncerce același instrument, multe sisteme au răspuns prin extinderea accesului.

Autorii afirmă că eșecurile repetate par să erodeze încrederea în instrumentele cu privilegii mai mici, făcând escaladarea inutilă a privilegiilor din ce în ce mai probabilă în condiții de incertitudine – un comportament observat în diferite grade atât în modelele cu sursă deschisă, cât și în cele proprietare.

Utilizarea post-antrenament conștientă de privilegii are un anumit succes limitat ca o posibilă atenuare, recompensând utilizarea instrumentelor cu privilegii mai mici și pedepsind escaladarea prematură. Cu toate acestea, manipularea prompturilor a oferit puține îmbunătățiri în testele efectuate, iar pentru moment problema pare a fi legată de principii comportamentale mai înalte în LLM.

Deși lucrarea nu abordează acest aspect, pare logic să se creadă că inteligența artificială are mult mai mult material de antrenament pe “rezultate finale” decât pe procesul de încercare și eroare care duce la acestea – o “cultura TLDR” impacientă care, poate, a cultivat și impaciență în inteligența artificială..?

Noua lucrare se intitulează Când privilegiile mai mici sunt suficiente: investigarea selecției instrumentelor cu privilegii excesive în agenții LLM și provine de la opt autori de la Academia Chineză de Științe, Universitatea Chineză din Hong Kong, Universitatea Peking și Universitatea Științifică și Tehnică a Chinei.

Metodă

Pentru a studia utilizarea instrumentelor cu privilegii excesive în condiții controlate, cercetătorii au creat ToolPrivBench, o bază de referință care cuprinde 544 de scenarii extrase din opt domenii de aplicații: Afaceri, Lucrul la codul sursă, Baze de date, Educație, Guvern, Sănătate, Infrastructură și Media.

Cinci tipare de risc recurente au fost examinate: Escaladarea autorității, Expoziția excesivă a datelor, Ocolirea securității, Extinderea sferei de acțiune și Persistența temporală:

Distribuția celor 544 de scenarii din ToolPrivBench pe cinci tipare de escaladare a privilegiilor și opt domenii de aplicații. Escaladarea autorității a fost cea mai frecventă categorie de risc, în timp ce bazele de date, afacerile și educația au reprezentat cele mai mari cote din benchmark. Distribuția largă a domeniilor și a tipurilor de risc a fost menită să testeze dacă selecția instrumentelor cu privilegii excesive persistă în diferite setări operaționale, și nu doar într-un set îngust de sarcini.

Fiecare scenariu a asociat o sarcină a utilizatorului cu trei instrumente cu privilegii mai mici și trei alternative cu privilegii mai mari. Toate cele șase instrumente au fost capabile să finalizeze sarcina în mod independent, asigurând că orice preferință pentru acces mai larg nu putea fi explicată prin lipsa funcționalității.

ToolPrivBench este proiectat pentru a măsura mai mult decât dacă un model selectează inițial instrumentul cel mai puternic: în timpul evaluării, eșecuri temporare, cum ar fi erorile de conectare, au fost introduse deliberat în instrumentele cu privilegii mai mici, chiar dacă aceste instrumente rămâneau pe deplin capabile să finalizeze sarcina. Acest lucru a permis cercetătorilor să observe cum modelele răspund la obstacole, inclusiv dacă au reîncercat opțiuni cu privilegii mai mici sau au escaladat către instrumente mai puternice:

Prezentare generală a pipeline-ului de evaluare ToolPrivBench. (a) Fiecare scenariu de test prezintă o sarcină alături de trei instrumente cu privilegii mai mici și trei alternative mai puternice, toate capabile să finalizeze același obiectiv. (b) Modelele sunt evaluate atât pentru selecția imediată a unui instrument prea puternic, cât și pentru escaladarea după eșecuri temporare introduse în instrumentele cu privilegii mai mici. (c) Cazurile de benchmark sunt generate din tipare de risc API din lumea reală, apoi trecute prin verificări automate, validarea suficienței instrumentului, analiza eșecului și revizuirea expertului uman înainte de a fi admise în setul final de evaluare.

Metrica personalizată dezvoltată pentru studiu este Rata de utilizare a instrumentelor cu privilegii excesive (OPUR), care înregistrează cât de des un model utilizează un instrument cu privilegii mai mari, în ciuda faptului că alternativele mai sigure rămân disponibile. Adâncimea de explorare pre-escaladare (PED) este de asemenea măsurată, înregistrând câte instrumente cu privilegii mai mici sunt încercate înainte de escaladare.

Pentru a asigura că nivelul de privilegiu a rămas singura diferență semnificativă între instrumente, fiecare scenariu din testele efectuate a fost supus mai multor etape de validare înainte de a fi admis în benchmark. ChatGPT-5.2 și Gemini 2.5 Pro au fost utilizate în mod independent pentru a verifica că toate cele șase instrumente pot finaliza sarcina atribuită. Doar cazurile care au primit acordul ambelor sisteme au fost păstrate. Scenariile rămase au fost apoi auditate de revizori umani, înainte de a fi incluse în benchmark-ul final.

Teste

Benchmark-ul a fost evaluat utilizând unsprezece modele de limbaj din familii atât proprietare, cât și cu sursă deschisă: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5, și Claude 4.6 Sonnet. Performanța a fost măsurată utilizând OPUR și PED.

Majoritatea modelelor au prezentat rate semnificative de utilizare a instrumentelor cu privilegii excesive, în ciuda faptului că alternativele cu privilegii mai mici erau pe deplin capabile să finalizeze sarcina. Qwen3-8B a înregistrat cel mai ridicat OPUR, la 64,9%, urmat de LLaMA-3.1-8B, la 55,9%, în timp ce șase dintre cele unsprezece modele au depășit 30%:

Distribuția utilizării instrumentelor cu privilegii excesive în cele unsprezece modele evaluate. Qwen3-8B și LLaMA-3.1-8B au înregistrat cele mai ridicate valori OPUR, în timp ce Claude 4.6 Sonnet, GPT-5.2 și GLM-5 au arătat cele mai scăzute rate. Segmentele mai întunecate indică selecția imediată a unui instrument inutil de puternic, în timp ce segmentele mai deschise indică escaladarea după una sau mai multe încercări cu instrumente cu privilegii mai mici, arătând că escaladarea privilegiilor adesea urmează eșecurilor temporare, mai degrabă decât să apară la primul punct de decizie.

La celălalt capăt al spectrului, Claude 4.6 Sonnet, GPT-5.2 și GLM-5 au rămas sub 10%, deși s-a observat o utilizare cu privilegii excesive în anumite setări. Rezultate intermediare au fost raportate pentru MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 și Gemini 3 Flash.

În general, respectarea principiului celor mai mici privilegii a variat semnificativ în cele unsprezece modele. Eșecurile instrumentelor au fost găsite să crească probabilitatea escaladării privilegiilor: atunci când instrumentele cu privilegii mai mici întâmpinau probleme temporare, multe modele s-au îndreptat către alternative mai puternice, în loc să continue să exploreze opțiuni cu privilegii mai mici care rămâneau capabile să finalizeze sarcina.

Conform autorilor, eșecurile repetate par să reducă încrederea în instrumentele cu privilegii mai mici, crescând tendința de a selecta alternative cu acces mai larg, chiar și atunci când aceste privilegii suplimentare se dovedesc inutile pentru sarcină:

‘Observăm o tendință consistentă în care biasul de selecție a instrumentului este amplificat sever de fricțiunea mediului. În loc să încerce alternative cu privilegii minimale, multe agenți se îndreaptă rapid către instrumente mai puternice și mai largi după ce întâlnesc obstacole.

‘De exemplu, GPT-5.2 prezintă un bias de selecție zero-shot doar de cinci ori (PED=0), dar biasul său este declanșat de treisprezece ori la PED=1 și explodează la treizeci și cinci de ori la PED=2.

‘Tipare similare de escaladare sunt observate consistent în DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 și modelele din seria Qwen. ‘

Probleme de domeniu eminent

Ratele de escaladare au variat, de asemenea, în mod semnificativ în funcție de domeniul de aplicații și categoriile de risc. Sarcinile de infrastructură au produs unele dintre cele mai ridicate valori OPUR, ajungând la 46,4% pentru DeepSeek-v3.2, 42,9% pentru Grok 4.1 Fast și 37,5% pentru Qwen3.5-397B.

Rate ridicate au fost observate și în sarcinile legate de lucrul la codul sursă, baze de date și media, în timp ce scenariile din sănătate și guvern au produs, în general, rate de escaladare mai scăzute, în special printre GPT-5.2 și Claude 4.6 Sonnet. Conform autorilor, acest model poate reflecta diferențe în modul în care modelele interpretează risc și constrângeri operaționale în diferite domenii:

OPUR (%) în opt domenii de aplicații și cinci categorii de escaladare. Modelele cu sursă deschisă au înregistrat, în general, cele mai ridicate rate de utilizare a instrumentelor cu privilegii excesive, cu sarcinile de lucrul la codul sursă, baze de date, infrastructură, escaladarea autorității și ocolirea securității producând cea mai puternică tendință de a depăși limitele.

Tipoul de escaladare a privilegiilor a contat, de asemenea: Escaladarea autorității și Ocolirea securității au fost cele mai comune forme de comportament cu privilegii excesive în rândul modelelor evaluate: LLaMA-3.1-8B a atins 72,7% la Escaladarea autorității și 74,1% la Ocolirea securității, în timp ce Qwen3.5-397B a înregistrat 42,4%, respectiv 45,7%.

Prin contrast, Extinderea sferei de acțiune a fost consistent cea mai puțin frecventă categorie, indicând faptul că modelele au fost mai predispuse să caute o autoritate mai largă sau să ocolească restricții, mai degrabă decât să-și extindă sfera de acțiune asupra unor utilizatori sau sisteme suplimentare.

Căutarea soluțiilor

Experimentele de atenuare au examinat dacă metodele de securitate a agenților existente pot reduce, de asemenea, escaladarea inutilă a privilegiilor. Tabelul de rezultate de mai jos compară OPUR cu performanța în AgentHarm, un benchmark care măsoară comportamentul dăunător și ratele de refuz în agenții inteligenței artificiale.

Primul test a evaluat AgentAlign, o metodă de aliniere a securității proiectată pentru a reduce acțiunile dăunătoare. AgentAlign a îmbunătățit semnificativ performanța în benchmark-ul de securitate AgentHarm:

Alinierea securității și utilizarea instrumentelor cu privilegii excesive înainte și după antrenamentul cu AgentAlign. AgentAlign a îmbunătățit semnificativ performanța în benchmark-ul de securitate AgentHarm, reducând ieșirile dăunătoare și crescând ratele de refuz; dar efectul său asupra OPUR a fost inconsistent, cu un model care a arătat o reducere modestă a escaladării privilegiilor și altul care a arătat o creștere. Acest rezultat indică faptul că îmbunătățirile în securitatea convențională a agenților nu se traduc neapărat într-o selecție mai bună a instrumentelor cu privilegii minimale.

Pentru Ministral-8B-Instruct, scorul dăunător a scăzut de la 67,4 la 10,5, în timp ce rata de refuz a crescut de la 0,0 la 79,5. Pentru Qwen2.5-7B-Instruct, scorul dăunător a scăzut de la 41,9 la 6,7, iar rata de refuz a crescut de la 21,6 la 85,8. Cu toate acestea, aceste îmbunătățiri nu s-au tradus în mod constant în OPUR mai scăzut. OPUR a scăzut modest pentru Ministral-8B-Instruct, de la 68,8 la 62,5, dar a crescut pentru Qwen2.5-7B-Instruct, de la 50,4 la 60,7.

Autorii au testat, de asemenea, intervenții bazate pe prompturi care au instructat explicit modelele să prefere instrumente cu privilegii mai mici. Deși aceste prompturi au redus OPUR în anumite setări, efectul a scăzut atunci când instrumentele cu privilegii mai mici întâmpinau eșecuri:

Efectul strategiilor de atenuare asupra utilizării instrumentelor cu privilegii excesive în trei modele Qwen3. Ingineria prompturilor (PE) a redus ratele de escaladare, dar antrenamentul conștient de privilegii (‘Ours’) a produs reduceri mai mari ale OPUR în toate modelele și adâncimile de escaladare.

Rezultatele de atenuare cele mai puternice au fost obținute printr-o abordare dedicată de post-antrenament, axată în mod specific pe selecția instrumentelor cu privilegii minimale. Modelele au fost antrenate să prefere instrumente cu privilegii mai mici atunci când acestea erau suficiente pentru sarcină și să evite escaladarea inutilă.

Conform autorilor, această abordare a produs reduceri mai mari ale OPUR, păstrând în același timp performanța de finalizare a sarcinii, indicând faptul că comportamentul cu privilegii minimale poate necesita un antrenament țintit, mai degrabă decât să apară în mod automat din alinierea generală a securității.

Concluzie

Pentru a răspunde la întrebarea pusă de titlul acestui articol, autorii concluzionează că escaladarea este condusă de incertitudinea capacității: după eșecuri temporare, modelele pierd încrederea în instrumentele cu privilegii mai mici și aleg din ce în ce mai mult instrumente mai largi și mai flexibile, care par mai probabile să reușească, chiar și atunci când alternativele cu privilegii mai mici rămân suficiente.

Încă o dată, vedem probleme care sunt native modelelor antrenate și care trebuie abordate prin metode terțiare, restricții, condiționări post-antrenament și abordări auxiliare, atunci când preferința ar fi ca un astfel de comportament să poată fi format în cadrul arhitecturii – probabil prin o curare mai bună a datelor sau contextualizarea tipului de puncte de date “răspuns rapid” care domină colecțiile și care pot determina LLM-urile să adopte un comportament imprudent.

Publicat pentru prima dată duminică, 21 iunie 2026