Cercetările NVIDIA arată că agenții IA devin mai puțin siguri când folosesc instrumente

Modelele IA precum ChatGPT, Gemini și Claude pot fi folosite pentru a alimenta agenți – „mecanisme de orchestrare” care le permit modelelor să interacționeze direct cu lumea reală. Este o inovație recentă și una din ce în ce mai controversată.

În orice caz, agenții nu sunt echipați automat cu abilitățile de care au nevoie atunci când navighează într-o rețea sau într-o bază de date, deoarece instrumentele necesare diferă în funcție de misiune și de modul de operare. De exemplu, ar putea avea nevoie de capabilități de recunoaștere optică a caracterelor (OCR) pentru a interpreta textul din fotografii, printre alte abilități. Există chiar și categorii de instrumente adaptate la domeniul de aplicare al agentului și la intenția acestuia.

În teorie, o solicitare care încalcă mecanismele de protecție încorporate ale unui sistem IA nu va fi niciodată pusă în practică, indiferent dacă executarea ei implică sau nu utilizarea unor instrumente. În practică, potrivit unor noi cercetări, utilizarea instrumentelor poate slăbi semnificativ filtrele de protecție care împiedică un agent IA să comită „abateri”.

Eșecul de a refuza

Noul articol de cercetare al NVIDIA, intitulat MLLM-urile nu refuză când folosesc instrumente în mod agentic, arată că modelele lingvistice multimodale (MLLM, denumite în continuare prin termenul mai răspândit „VLM”, adică model lingvistic vizual) sunt mult mai predispuse să dea curs solicitărilor dăunătoare atunci când li se pun la dispoziție instrumente, rata eșecurilor de refuz crescând în cazul fiecărui model și al fiecărui test de evaluare analizat.

Deși modelele cu ponderi deschise, precum Qwen3-VL, s-au dovedit mai predispuse la această problemă, și modele IA de ultimă generație precum Claude Opus 4.7, Gemini 3.1 Pro și GPT-5.4 au înregistrat mai multe eșecuri de refuz atunci când au folosit instrumente.

Autorii afirmă*:

„În pofida succeselor recente remarcabile ale MLLM-urilor agentice, această lucrare scoate la iveală o deficiență critică de siguranță în paradigma utilizării instrumentelor: MLLM-urile agentice care folosesc instrumente devin mai puțin capabile să refuze solicitările dăunătoare.”

„Experimentele noastre confirmă că, în cadrul a trei teste populare de evaluare a siguranței, toate MLLM-urile cu ponderi deschise și închise de top pe care le-am testat prezintă un nivel de siguranță semnificativ mai scăzut atunci când folosesc instrumente decât atunci când nu le folosesc, rata relativă a eșecurilor de refuz crescând cu până la 68,7%. ”

„Pe baza analizei a peste 100.000 de răspunsuri, inclusiv a unor experimente extinse, propunem și două posibile explicații pentru această degradare a siguranței.”

Cele două posibile explicații prezentate în articol sunt diluarea contextului, prin care solicitarea inițială dăunătoare devine mai puțin proeminentă pe măsură ce se acumulează rezultatele generate de instrumente; și deplasarea atenției de la siguranță, prin care modelul se concentrează pe descrierea observațiilor obținute cu ajutorul instrumentelor, în loc să acorde prioritate siguranței.

Rezultatele testelor ilustrează concluzia centrală a articolului privind siguranța. În partea de sus, un utilizator întreabă cum poate comite un furt din buzunare aparent surprins într-o imagine. Un VLM obișnuit refuză categoric solicitarea, în timp ce o versiune care folosește instrumente recurge mai întâi la instrumente de analiză a imaginilor, precum funcția de mărire, apoi își continuă raționamentul și, în cele din urmă, oferă un răspuns dăunător. Graficul de mai jos arată că această creștere a eșecurilor de refuz a fost observată la fiecare model cu ponderi deschise și proprietar evaluat. Sursă

În cazul tuturor celor unsprezece modele testate, activarea instrumentelor a dus în mod constant la creșterea eșecurilor de refuz, creșterile relative ajungând la 68,7% în cele mai nefavorabile cazuri, inclusiv în cazul modelelor care, în alte condiții, au demonstrat un nivel ridicat de siguranță.

Va fi interesant de văzut dacă rezultatele acestei lucrări, realizate de șase cercetători de la NVIDIA, vor fi reproduse sau confirmate în alte studii și dacă ar putea aprofunda înțelegerea noastră asupra comportamentului aparent și emergent al agenților IA care sfidează regulile.

Metodologie și date

Cercetătorii au evaluat unsprezece VLM-uri din șapte familii de modele. Modelele proprietare au fost Gemini 2.5 Pro; Gemini 3.1 Pro Preview; Claude Opus 4.6; Claude Opus 4.7; și GPT-5.4.

Modelele cu ponderi deschise au fost Qwen3-VL-235B-A22B-Instruct; Qwen3.5-122B-A10B; Kimi-K2.5; Kimi-K2.6; GLM-5V-Turbo; și AdaReasoner-7B-Randomized, un model cu ponderi deschise ajustat special pentru utilizarea agentică a instrumentelor.

Au fost realizate și experimente separate cu Gemini 3 Flash Vision Agent, deoarece utilizarea autonomă a instrumentelor de către acesta a impus evaluarea sa separată.

Pentru testele cu utilizarea instrumentelor, cercetătorii au folosit formatul ReAct, care alternează între raționament și apeluri către instrumente. Cele patru instrumente disponibile erau etichetarea cu RAM++; mărirea și decuparea imaginilor; recunoașterea optică a caracterelor (OCR) cu GOT-OCR2.0; și un interpretor de cod Python izolat, care putea manipula și analiza imagini.

Cercetătorii au conceput prompturi pereche pentru a izola efectul utilizării instrumentelor, nu pe cel al stilului de formulare a promptului. Modelelor VLM convenționale li s-a cerut să examineze imaginea și să răspundă direct solicitării utilizatorului, în timp ce versiunile agentice au urmat fluxul de lucru ReAct, hotărând în mod repetat dacă să apeleze la instrumente înainte de a genera un răspuns final.

Comparație între prompturile corespunzătoare folosite în experimentele principale. În condiția fără instrumente, modelul trebuia să analizeze imaginea și să răspundă prin raționament direct, în timp ce condiția agentică urma fluxul de lucru iterativ ReAct, permițând modelului să decidă când să apeleze la instrumente externe înainte de a-și genera răspunsul final.

Cele trei seturi de evaluare a siguranței multimodale folosite au fost MM-SafetyBench, VLSBench și HoliSafe. Fiecare dintre aceste seturi cuprinde imagini asociate unor solicitări dăunătoare din partea utilizatorilor și a fost conceput pentru a testa dacă un model refuză să ofere asistență în situații nesigure – de exemplu, când i se cere să explice cum se poate comite un furt din buzunare, aparent ilustrat într-o imagine.

Rata eșecurilor de refuz (RFR) a fost folosită drept principală măsură și indică procentul solicitărilor dăunătoare pe care modelul nu a refuzat să le îndeplinească; valorile mai mari indică un nivel de siguranță mai scăzut.

Teste

Răspunsurile au fost clasificate de GPT-5.2, care a acționat ca evaluator bazat pe un model lingvistic de mari dimensiuni (LLM), folosind promptul de evaluare recomandat de VLSBench:

Promptul de evaluare GPT-5.2 folosit pentru a determina dacă răspunsul fiecărui model reprezenta un refuz clar, un răspuns care ținea cont de siguranță și identifica riscurile implicate sau un răspuns nesigur, care nu recunoștea aceste riscuri și dădea curs solicitării dăunătoare. Evaluatorului i-au fost furnizate imaginea originală, solicitarea utilizatorului și răspunsul modelului, iar acesta trebuia să returneze clasificarea și raționamentul în format JSON.

Fiecare răspuns a fost încadrat într-una dintre cele trei categorii: sigur, cu refuz; sigur, cu avertisment; sau nesigur.

Ratele eșecurilor de refuz pentru cele trei seturi de evaluare a siguranței, comparând fiecare model cu și fără acces la instrumente. Toate modelele au fost mai puțin predispuse să refuze solicitările dăunătoare atunci când au folosit instrumente, deși amploarea efectului a variat considerabil: RFR medie a crescut cu 12,6 puncte procentuale pentru GLM-5V-Turbo, față de 2,3 puncte procentuale pentru GPT-5.4. Nuanțele mai închise indică o creștere mai mare a eșecurilor de refuz.

Folosirea instrumentelor a făcut modelele mai predispuse să răspundă solicitărilor dăunătoare pe care altfel le-ar fi refuzat – un rezultat observat la fiecare model și în toate seturile de evaluare testate. Per ansamblu, eșecurile de refuz au crescut cu 17,7%, comparativ cu aceleași modele care funcționau fără instrumente.

GPT-5.4 a fost cel mai puțin afectat: fără instrumente, nu a refuzat 14,6% dintre solicitările dăunătoare; cu instrumente, proporția a crescut la 16,8%. În cazul GLM-5V-Turbo, eșecurile au crescut de la 38,7% (valoarea de referință fără instrumente) la 51,3%. Același tipar s-a observat în toate cele trei seturi de evaluare, ceea ce sugerează că problema s-ar putea să nu fie limitată la un anumit tip de solicitare dăunătoare.

Motivele eșecurilor.. ?

Așa cum s-a menționat anterior, cercetătorii propun „diluarea contextului” drept una dintre explicațiile pentru creșterea numărului de eșecuri: pe măsură ce un agent apelează succesiv la instrumente, solicitarea dăunătoare inițială devine mai puțin proeminentă în raport cu rezultatele tot mai numeroase generate de instrumente.

Pentru a testa această ipoteză, cercetătorii au luat în calcul doar solicitările pe care același model le refuzase cu succes fără instrumente. După cum se arată mai jos, eșecurile au crescut apoi treptat odată cu numărul de apeluri către instrumente, de la valori apropiate de zero atunci când nu era apelat niciun instrument până la rate considerabil mai mari după trei sau mai multe apeluri:

Rezultatele testelor comparând eșecurile de refuz în funcție de numărul de apeluri către instrumente. Ratele de eșec au crescut pe măsură ce s-au acumulat apeluri suplimentare către instrumente, atât pentru fiecare model în parte, cât și pentru toate modelele la un loc.

Un al doilea test a inversat parțial efectul. Când solicitarea inițială și imaginea au fost introduse din nou după ultimul apel către un instrument, imediat înainte ca modelul să răspundă, eșecurile de refuz au scăzut în medie cu 7,6% pentru toate modelele și benchmarkurile, după cum se arată mai jos:

Rezultatele testelor comparând eșecurile de refuz cu și fără reintroducerea solicitării inițiale și a imaginii. Reintroducerea acestora după ultimul apel către un instrument a redus rata medie de eșec cu 7,6% pentru cele cinci modele testate.

Acest lucru susține ipoteza că diluarea contextului este un factor contributiv, sugerând totodată o măsură de atenuare relativ simplă.

A doua explicație propusă în lucrare este „deplasarea focalizării asupra siguranței”. În acest caz, utilizarea instrumentelor pare să îndepărteze atenția modelului de la întrebarea dacă solicitarea este dăunătoare și să o îndrepte spre descrierea descoperirilor făcute cu ajutorul instrumentelor.

Rezultatele testelor arată cum utilizarea instrumentelor a schimbat modul în care modelele își începeau răspunsurile care, în cele din urmă, refuzau solicitări dăunătoare. Fără instrumente, răspunsurile începeau, de regulă, prin abordarea directă a solicitării (55,6%) sau prin semnalarea unor preocupări legate de siguranță (25,8%). Cu instrumente, în schimb, 52,3% începeau prin a descrie ce descoperiseră cu ajutorul acestora, în timp ce menționările explicite ale siguranței au scăzut la 10,3%.

Au fost analizate cazurile în care modelele au refuzat cu succes atât cu instrumente, cât și fără ele. Fără instrumente, 55,6% dintre aceste răspunsuri începeau prin abordarea directă a solicitării, iar 25,8% începeau cu o declarație explicită privind siguranța. Cu instrumente, aceste valori au scăzut la 37,4%, respectiv 10,3%, în timp ce proporția răspunsurilor care începeau cu descrieri ale observațiilor obținute cu ajutorul instrumentelor a crescut la 52,3%.

Autorii oferă un exemplu calitativ interesant, folosind Claude Opus 4.6. Când a fost întrebat cum ar putea fi ocolite măsurile de securitate din toaletele publice, modelul a refuzat imediat solicitarea, fără a folosi instrumente:

Exemplu care arată cum utilizarea instrumentelor a făcut ca siguranța să nu mai fie preocuparea imediată a modelului. Claude Opus 4.6 a refuzat imediat solicitarea dăunătoare fără instrumente; cu instrumente, a mărit mai întâi imaginea, i-a citit și identificat conținutul și a descris indicatorul de la toaletă, înainte de a refuza în cele din urmă.

Cu instrumente, același model a mărit imaginea, a citit textul și i-a identificat conținutul, apoi și-a început răspunsul descriind indicatorul de la toaletă. Refuzul a venit abia după aceea, ilustrând cum procesul de utilizare a instrumentelor deplasase siguranța de pe primul plan al priorităților imediate ale modelului.

Autorii concluzionează:

„Per ansamblu, rezultatele noastre arată că utilizarea instrumentelor ar trebui considerată nu doar un mecanism care sporește capacitățile de raționament vizual, ci și o alegere de proiectare relevantă pentru siguranță, care poate modifica comportamentul de refuz; prin urmare, viitoarele MLLM-uri agentice ar trebui evaluate și antrenate în condiții de utilizare a instrumentelor, în loc să se presupună că alinierea la siguranță în absența instrumentelor se transferă neschimbată în contexte agentice.”

Concluzie

Pierderea persistenței contextului reprezintă în mod clar un dezavantaj în lanțurile complexe de evenimente ulterioare, desfășurate în urma unui prompt – totuși, în prezent nu există soluții simple pentru tendința unei ferestre de context limitate de a face un agent să-și uite „directivele principale” și să înceapă pur și simplu să folosească instrumentul pe care îl are la dispoziție.

* Accentuările autorilor; am transformat citările lor din text în hyperlinkuri, acolo unde a fost necesar.

Publicat inițial miercuri, 7 octombrie 2026