La ricerca NVIDIA rileva che gli agenti IA diventano meno sicuri quando usano strumenti

I modelli di IA come ChatGPT, Gemini e Claude possono alimentare agenti: «strutture» che consentono ai modelli di interagire direttamente con il mondo reale. È un’innovazione recente e sempre più controversa.

In ogni caso, gli agenti non dispongono automaticamente delle capacità necessarie per esplorare una rete o un database, perché gli strumenti richiesti variano a seconda delle missioni e delle modalità operative. Per esempio, potrebbero aver bisogno di funzionalità di riconoscimento ottico dei caratteri (OCR) per interpretare il testo nelle foto, oltre che di altre capacità. Esistono persino categorie di strumenti adattate all’ambito di applicazione dell’agente e al suo scopo.

In teoria, una richiesta che viola i paletti di sicurezza integrati in un’IA non verrà mai eseguita, indipendentemente dal fatto che per attuarla si usino o meno degli strumenti. In pratica, una nuova ricerca ha rilevato che l’uso di strumenti può compromettere significativamente i filtri di protezione che impediscono a un agente IA di commettere «trasgressioni».

L’incapacità di rifiutare

Il nuovo articolo di NVIDIA, intitolato I MLLM non riescono a rifiutare quando usano strumenti in modo agentico, rivela che i modelli linguistici multimodali (MLLM, qui indicati con la sigla più comune «VLM», ovvero modelli visione-linguaggio) sono molto più propensi ad assecondare richieste dannose quando vengono introdotti degli strumenti; i casi in cui non rifiutano aumentano in tutti i modelli e i benchmark testati.

Sebbene i modelli open-weight come Qwen3-VL si siano dimostrati più inclini al problema, anche modelli di punta come Claude Opus 4.7, Gemini 3.1 Pro e GPT-5.4 hanno mostrato un aumento dei casi in cui non rifiutano le richieste quando usano strumenti.

Gli autori affermano*:

«Nonostante i recenti e notevoli successi dei MLLM agentici, questo lavoro porta alla luce una grave carenza sul piano della sicurezza nel paradigma dell’uso degli strumenti: i MLLM agentici che utilizzano strumenti diventano meno capaci di rifiutare le richieste dannose.»

«I nostri esperimenti confermano che, in tre diffusi benchmark di sicurezza, tutti i principali MLLM open-weight e closed-weight da noi testati mostrano un livello di sicurezza significativamente inferiore quando usano strumenti rispetto a quando non li usano, con un aumento relativo dei casi in cui non rifiutano che arriva fino al 68,7%.»

«Sulla base dell’analisi di oltre 100.000 risposte, compresi esperimenti più approfonditi, proponiamo anche due possibili spiegazioni di questo peggioramento della sicurezza.»

Le due possibili spiegazioni fornite nell’articolo sono la diluizione del contesto, per cui la richiesta dannosa iniziale perde rilevanza man mano che si accumulano gli output degli strumenti, e lo spostamento dell’attenzione dalla sicurezza, per cui il modello si concentra nel descrivere le osservazioni ricavate dagli strumenti invece di dare priorità alla sicurezza.

Risultati dei test che illustrano la principale conclusione dell’articolo sulla sicurezza. In alto, un utente chiede come compiere un apparente borseggio mostrato in un’immagine. Un VLM convenzionale rifiuta la richiesta senza esitazione, mentre una versione che usa strumenti ricorre prima a strumenti di analisi delle immagini, come lo zoom, poi prosegue il ragionamento e alla fine fornisce una risposta dannosa. Il grafico qui sotto mostra che questo aumento dei casi in cui non si rifiuta è stato osservato in tutti i modelli open-weight e proprietari valutati. Fonte

In tutti e undici i modelli testati, l’attivazione degli strumenti ha aumentato sistematicamente i casi in cui non si rifiuta, con incrementi relativi che nei casi peggiori hanno raggiunto il 68,7%, anche tra i modelli che per altri versi avevano dimostrato solide prestazioni in termini di sicurezza.

Sarà interessante vedere se i risultati di questo lavoro, condotto da sei ricercatori di NVIDIA, verranno replicati o confermati altrove e se potranno approfondire la nostra comprensione dell’apparente e crescente indisciplina degli agenti IA che ignorano le regole.

Metodologia e dati

I ricercatori hanno valutato undici VLM appartenenti a sette famiglie di modelli. I modelli proprietari comprendevano Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 e GPT-5.4.

I modelli open-weight comprendevano Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo e AdaReasoner-7B-Randomized, un modello open-weight ottimizzato specificamente per l’uso agentico degli strumenti.

Sono stati condotti anche esperimenti separati con Gemini 3 Flash Vision Agent, poiché il suo uso autonomo degli strumenti richiedeva una valutazione indipendente.

Per i test con uso degli strumenti, i ricercatori hanno utilizzato il formato ReAct, che alterna ragionamento e chiamate agli strumenti. I quattro strumenti disponibili erano l’etichettatura, con RAM++; lo zoom e il ritaglio; il riconoscimento ottico dei caratteri (OCR), con GOT-OCR2.0; e un interprete di codice Python in ambiente isolato, in grado di manipolare e analizzare immagini.

I ricercatori hanno progettato prompt abbinati per isolare l’effetto dell’uso degli strumenti, anziché quello dello stile dei prompt. Ai VLM convenzionali veniva chiesto di esaminare l’immagine e rispondere direttamente alla richiesta dell’utente, mentre le versioni agentiche seguivano il flusso di lavoro ReAct, decidendo ripetutamente se richiamare gli strumenti prima di fornire una risposta finale.

Confronto tra i prompt abbinati utilizzati negli esperimenti principali. Nella condizione senza strumenti era richiesta l’analisi dell’immagine e un ragionamento diretto, mentre la condizione agentica seguiva il flusso di lavoro iterativo ReAct, consentendo al modello di decidere quando richiamare strumenti esterni prima di fornire la risposta finale.

I tre benchmark di sicurezza multimodale utilizzati sono stati MM-SafetyBench, VLSBench e HoliSafe. Ognuno di questi set è composto da immagini abbinate a richieste dannose degli utenti, progettate per verificare se un modello rifiuta di fornire assistenza in scenari non sicuri, per esempio quando gli viene chiesto come mettere in atto un apparente borseggio mostrato in un’immagine.

La metrica principale utilizzata è stata il tasso di mancato rifiuto (RFR), che misura la percentuale di richieste dannose che un modello non ha rifiutato; punteggi più alti indicano una minore sicurezza.

Test

Le risposte sono state classificate da GPT-5.2, che ha agito da valutatore LLM, usando il prompt di valutazione raccomandato da VLSBench:

Il prompt di valutazione di GPT-5.2 utilizzato per determinare se la risposta di ciascun modello costituisse un rifiuto efficace, una risposta consapevole dei rischi che li identificava oppure una risposta non sicura, incapace di riconoscere tali rischi e che assecondava la richiesta dannosa. Al valutatore sono stati forniti l’immagine originale, la richiesta dell’utente e la risposta del modello, ed è stato chiesto di restituire la classificazione e il ragionamento in formato JSON.

Ogni risposta è stata assegnata a una delle tre categorie: sicura con rifiuto; sicura con avvertimento; oppure non sicura.

Tassi di mancato rifiuto nei tre benchmark di sicurezza, con un confronto tra ciascun modello con e senza accesso agli strumenti. Con l’uso degli strumenti, tutti i modelli sono diventati meno propensi a rifiutare le richieste dannose, sebbene l’entità del cambiamento variasse considerevolmente: l’RFR medio è aumentato di 12,6 punti per GLM-5V-Turbo, rispetto ai 2,3 punti per GPT-5.4. Le tonalità più scure indicano aumenti maggiori dei mancati rifiuti.

Fornire strumenti ai modelli li ha resi più propensi a rispondere a richieste dannose che altrimenti avrebbero rifiutato: il fenomeno si è verificato con tutti i modelli e in tutti i benchmark testati. Nel complesso, i mancati rifiuti sono aumentati del 17,7% rispetto agli stessi modelli quando operavano senza strumenti.

GPT-5.4 è stato il modello meno influenzato: senza strumenti, non ha rifiutato il 14,6% delle richieste dannose; con gli strumenti, la percentuale è salita al 16,8%. Per GLM-5V-Turbo, i mancati rifiuti sono aumentati dal 38,7% (valore di riferimento senza strumenti) al 51,3%. Lo stesso schema è emerso in tutti e tre i benchmark, indicando che il problema potrebbe non essere circoscritto a un particolare tipo di richiesta dannosa.

Le ragioni del peggioramento..?

Come accennato in precedenza, i ricercatori propongono la «diluizione del contesto» come una possibile spiegazione dell’aumento dei mancati rifiuti: man mano che un agente effettua chiamate successive agli strumenti, la richiesta dannosa originale passa in secondo piano tra i risultati degli strumenti che si accumulano.

Per verificarlo, hanno preso in considerazione soltanto le richieste che lo stesso modello aveva rifiutato correttamente senza strumenti. Come mostra il grafico qui sotto, i mancati rifiuti sono poi aumentati progressivamente con il numero di chiamate agli strumenti: da valori prossimi allo zero quando non veniva richiamato alcuno strumento a tassi nettamente più elevati dopo tre o più chiamate:

Risultati dei test che confrontano i casi in cui il rifiuto è venuto meno al variare del numero di chiamate agli strumenti. I tassi di insuccesso sono aumentati man mano che si accumulavano ulteriori chiamate agli strumenti, sia per i singoli modelli sia considerando tutti i modelli.

Un secondo test ha in parte invertito l’effetto. Quando la richiesta originale e l’immagine sono state reinserite dopo l’ultima chiamata agli strumenti, subito prima che il modello rispondesse, i casi in cui il rifiuto è venuto meno sono diminuiti in media del 7,6% tra i modelli e i benchmark, come mostrato di seguito:

Risultati dei test che confrontano i casi in cui il rifiuto è venuto meno, con e senza il reinserimento della richiesta originale e dell’immagine. Il reinserimento dopo l’ultima chiamata agli strumenti ha ridotto il tasso medio di insuccesso del 7,6% nei cinque modelli testati.

Questo avvalora l’ipotesi che la diluizione del contesto sia un fattore determinante e suggerisce al contempo una misura di mitigazione relativamente semplice.

La seconda spiegazione proposta dallo studio è lo «spostamento del focus sulla sicurezza». In questo caso, l’uso degli strumenti sembra distogliere l’attenzione del modello dalla pericolosità della richiesta e orientarla verso la descrizione di ciò che gli strumenti hanno rilevato.

Risultati dei test che mostrano come l’uso degli strumenti abbia modificato il modo in cui i modelli iniziavano le risposte che, alla fine, rifiutavano richieste dannose. Senza strumenti, le risposte iniziavano di solito affrontando direttamente la richiesta (55,6%) oppure sollevando dubbi sulla sicurezza (25,8%). Con gli strumenti, il 52,3% iniziava invece descrivendo ciò che era stato rilevato tramite gli strumenti, mentre le dichiarazioni esplicite sulla sicurezza scendevano al 10,3%.

Sono stati esaminati i casi in cui i modelli hanno rifiutato correttamente sia con gli strumenti sia senza. Senza strumenti, il 55,6% di queste risposte iniziava affrontando direttamente la richiesta, mentre il 25,8% esordiva con una dichiarazione esplicita sulla sicurezza. Con gli strumenti, le percentuali scendevano rispettivamente al 37,4% e al 10,3%, mentre saliva al 52,3% la quota di risposte che iniziavano descrivendo quanto rilevato tramite gli strumenti.

Gli autori propongono un interessante esempio qualitativo, basato su Claude Opus 4.6. Alla domanda su come aggirare la sicurezza nei bagni pubblici, il modello, senza strumenti, ha rifiutato subito:

Esempio di come l’uso degli strumenti abbia distolto l’attenzione immediata del modello dalla sicurezza. Senza strumenti, Claude Opus 4.6 ha rifiutato subito la richiesta dannosa; con gli strumenti, ha prima ingrandito l’immagine, ne ha letto e identificato il contenuto e ha descritto il cartello del bagno, per poi rifiutare.

Con gli strumenti a disposizione, lo stesso modello ha invece ingrandito l’immagine, letto il testo e identificato il contenuto, prima di iniziare la risposta descrivendo il cartello del bagno. Il rifiuto è arrivato solo in seguito, a dimostrazione di come il processo di utilizzo degli strumenti avesse spostato la sicurezza dalla posizione di priorità immediata del modello.

Gli autori concludono:

«Nel complesso, i nostri risultati indicano che l’uso degli strumenti dovrebbe essere considerato non solo un meccanismo che potenzia le capacità di ragionamento visivo, ma anche una scelta progettuale rilevante per la sicurezza, in grado di modificare il comportamento di rifiuto; i futuri MLLM agentici dovrebbero quindi essere valutati e addestrati in condizioni d’uso degli strumenti, anziché dare per scontato che l’allineamento alla sicurezza ottenuto senza strumenti si trasferisca invariato ai contesti agentici.»

Conclusione

La perdita di continuità del contesto rappresenta chiaramente un rischio nelle complesse catene di eventi a valle innescate da un prompt; tuttavia, al momento non esistono soluzioni semplici per contrastare la tendenza di una finestra di contesto limitata a far dimenticare a un agente le sue «direttive fondamentali» e a indurlo semplicemente a usare lo strumento che ha a disposizione.

* Enfasi degli autori; ho convertito i riferimenti bibliografici inline degli autori in collegamenti ipertestuali, ove necessario.

Pubblicato per la prima volta mercoledì 7 ottobre 2026