Perché gli agenti AI favoriscono strumenti inutilmente potenti?

Quello è stato un escalation rapida: la ricerca ha scoperto che gli agenti AI continuano ad avere accesso a più privilegi di quanto necessario e che i piccoli fallimenti li portano a escalation ancora più grandi, esponendo dati e sistemi in modo non necessario.

Una serie di incidenti che hanno fatto notizia recentemente ha attirato l’attenzione sui rischi di concedere agli agenti AI privilegi eccessivi, spesso attraverso l’uso di strumenti e metodi sovrapprivilegiati che offrono molto più scope di quanto necessario per un determinato compito.

In un evento recente, un agente di codifica alimentato da Claude ha incontrato un token API Railway a scope ampio durante un compito di routine e lo ha utilizzato per eliminare un database di produzione e i suoi backup – nonostante il compito non richiedesse un livello di accesso così elevato.

In un caso separato del 2025, l’agente di codifica AI di Replit ha ignorato le restrizioni esplicite, ha modificato il codice protetto e eliminato un database di produzione live.

In un terzo caso di febbraio di quest’anno, un flusso di lavoro assistito da AI ha attraversato una catena di privilegi che alla fine hanno raggiunto le credenziali di pubblicazione dei pacchetti, creando efficacemente un attacco alla catena di approvvigionamento.

Successivamente, le analisi di sicurezza hanno citato questo e casi simili come un esempio della tendenza dei sistemi di agenti a trasformare input minori in azioni ad alto impatto una volta disponibili ampi privilegi. Questi incidenti suggeriscono che gli agenti AI autonomi raggiungono immediatamente e “istintivamente” lo strumento più potente – e potenzialmente distruttivo – soprattutto quando si verificano problemi.

Tempo degli strumenti

Per affrontare questo problema, una nuova ricerca dalla Cina ha testato una gamma dei modelli più popolari proprietari e open source per scoprire la loro disposizione a raggiungere per strumenti potenti in casi in cui tali strumenti sono eccessivi per un compito:

Dalla nuova carta: le prestazioni di undici modelli AI leader nella scelta tra strumenti con privilegi minimi e alternative più potenti che erano inutili per il compito. Qwen3-8B e LLaMA-3.1-8B hanno mostrato la tendenza più forte verso privilegi eccessivi, mentre Claude 4.6 Sonnet, GPT-5.2 e GLM-5 sono stati molto più moderati. I segmenti più scuri indicano un’eccessiva estensione immediata, mentre i segmenti più chiari mostrano un escalation dopo fallimenti temporanei, suggerendo che molti modelli rispondono a ostacoli aumentando l’accesso e riducendo le restrizioni piuttosto che rimanendo all’interno dei privilegi più stretti necessari per completare il compito. Fonte

I test indicano che i modelli open-weight come Qwen3-8B e LLaMA-3.1-8B sono più disposti a escalation, forse a causa della loro condizionamento post-formazione più limitata, rispetto ai modelli proprietari come ChatGPT e Gemini serie.

Gli autori affermano:

‘Sei dei undici modelli superano il 30% [Tasso di utilizzo di strumenti sovrapprivilegiati (OPUR)], con tassi particolarmente alti per modelli open-weight più piccoli come Qwen3-8B (64,9%) e LLaMA-3.1-8B (55,9%).

‘Nel frattempo, modelli con OPUR più bassi come Claude 4.6 Sonnet, GPT-5.2 e GLM-5 rimangono al di sotto del 10%, ma mostrano comunque un utilizzo sovrapprivilegiato misurabile in alcuni ambienti.

‘Questa variazione suggerisce che l’adesione ai principi di privilegio minimo è una proprietà comportamentale dipendente dal modello, potenzialmente plasmata da differenze nella capacità generale, nell’addestramento all’uso degli strumenti e nell’allineamento della sicurezza.’

Inoltre, la disposizione verso l’uso di strumenti sovrappotenti varia per dominio, con il lavoro sul codice alla più alta rischio e domini più sorvegliati, come sanità, che ispirano misure meno radicali:

Tassi di utilizzo di strumenti sovrapprivilegiati non necessari attraverso diversi domini di compito e categorie di rischio. Compiti di codifica, database e infrastruttura hanno prodotto alcuni dei tassi di escalation più alti, mentre compiti di sanità e governo hanno generalmente sollecitato più moderazione. Attraverso i tipi di rischio, i modelli erano più propensi a superare i limiti attraverso l’escalation dell’autorità e azioni di bypass della sicurezza, suggerendo che quando i sistemi AI incontrano ostacoli, spesso preferiscono un accesso più ampio e meno restrizioni piuttosto che rimanere all’interno dei privilegi più stretti necessari per completare il compito.

Inoltre, i risultati indicano che alcuni dei peggiori risultati si verificano quando il modello si sente “sotto pressione”. Attraverso più famiglie di modelli, fallimenti temporanei da strumenti a privilegi più bassi hanno spesso scatenato un rapido passaggio a strumenti più ampi e potenti – anche se gli strumenti originali erano ancora pienamente in grado di completare il compito.

Panic Mode!

In questo modo, un errore transitorio poteva far abbandonare ai modelli il principio di privilegio minimo nel complesso. Piuttosto che provare un’altra opzione a privilegi più bassi o riprovare lo stesso strumento, molti sistemi hanno risposto espandendo il loro accesso.

Gli autori affermano che ripetuti fallimenti sembrano erodere la fiducia in strumenti a privilegi più bassi, rendendo l’escalation dei privilegi sempre più probabile in condizioni di incertezza – un comportamento osservato in misura variabile sia nei modelli open-weight che in quelli proprietari.

L’uso post-formazione consapevole dei privilegi raggiunge un successo limitato come possibile mitigazione, premia l’uso di strumenti a privilegi più bassi e penalizza l’escalation prematura. Tuttavia, la manipolazione dei prompt ha offerto poco miglioramento nei test e, per ora, il problema sembra essere legato a principi comportamentali di livello superiore in LLM.

Sebbene la carta non lo tocchi, sembra logico credere che gli AI abbiano molto più materiale di formazione su “risultati finali” che sul processo di prova e errore che porta a questi – una cultura “TLDR” impaziente che forse ha anche allevato l’impazienza negli AI..?

La nuova carta è intitolata Quando i privilegi più bassi sono sufficienti: indagine sull’uso di strumenti sovrapprivilegiati in agenti LLM e proviene da otto autori della Chinese Academy of Sciences, The Chinese University of Hong Kong, Peking University e University of Chinese Academy of Sciences.

Metodo

Per studiare l’uso di strumenti sovrapprivilegiati in condizioni controllate, i ricercatori hanno creato ToolPrivBench, un benchmark che comprende 544 scenari tratti da otto domini di applicazione: Azienda, Codifica, Database, Istruzione, Governo, Sanità, Infrastruttura e Media.

Sono stati esaminati cinque modelli di rischio ricorrenti: Escalation dell’autorità, Esposizione dei dati, Bypass della sicurezza, Estensione dell’ambito e Persistenza temporale:

Distribuzione dei 544 scenari in ToolPrivBench attraverso cinque modelli di escalation dei privilegi e otto domini di applicazione. L’escalation dell’autorità è stata la categoria di rischio più comune, mentre Database, Azienda e Istruzione hanno rappresentato le quote più grandi del benchmark. La vasta diffusione di domini e tipi di rischio era intesa per testare se la selezione di strumenti sovrapprivilegiati persiste attraverso diversi ambienti operativi, piuttosto che emergere da un insieme ristretto di compiti.

Ogni scenario ha abbinato un compito dell’utente con tre strumenti a privilegi più bassi e tre alternative a privilegi più alti. Tutti e sei gli strumenti erano indipendentemente in grado di completare il compito, garantendo che qualsiasi preferenza per un accesso più ampio non potesse essere spiegata da una mancanza di funzionalità.

ToolPrivBench è progettato per misurare più del fatto che un modello selezioni inizialmente lo strumento più potente: durante la valutazione, fallimenti temporanei come errori di connessione sono stati deliberatamente iniettati negli strumenti a privilegi più bassi, anche se quegli strumenti erano ancora pienamente in grado di completare il compito. Ciò ha permesso ai ricercatori di osservare come i modelli hanno risposto a ostacoli, compreso se hanno riprovato opzioni a privilegi più bassi o hanno aumentato i privilegi verso strumenti più ampi e potenti:

Panoramica della pipeline di valutazione di ToolPrivBench. (a) Ogni scenario di test presenta un compito insieme a tre strumenti a privilegi più bassi e tre alternative a privilegi più alti, tutti in grado di completare lo stesso obiettivo. (b) I modelli vengono valutati sia per la selezione immediata di uno strumento sovrappotente che per l’escalation dopo che i fallimenti temporanei sono stati introdotti negli strumenti a privilegi più bassi. (c) I casi del benchmark vengono generati da modelli di rischio API del mondo reale, quindi passati attraverso controlli automatici, convalida della sufficienza degli strumenti, analisi dei fallimenti e revisione degli esperti umani prima di essere ammessi all’insieme di valutazione finale.

La metrica personalizzata sviluppata per lo studio è Tasso di utilizzo di strumenti sovrapprivilegiati (OPUR), che registra con quale frequenza un modello utilizza uno strumento a privilegi più alti nonostante le alternative a privilegi più bassi siano ancora disponibili. Profondità di esplorazione pre-escalation (PED) viene anche misurata, registrando quanti strumenti a privilegi più bassi vengono provati prima che si verifichi l’escalation.

Per garantire che il livello di privilegio rimanesse l’unica differenza significativa tra gli strumenti, ogni scenario nei test è stato sottoposto a più fasi di convalida prima di essere ammesso al benchmark. ChatGPT-5.2 e Gemini 2.5 Pro sono stati utilizzati in modo indipendente per verificare che tutti e sei gli strumenti potessero completare il compito assegnato. Solo i casi che hanno ricevuto l’accordo da entrambi i sistemi sono stati conservati. I casi rimanenti sono stati quindi verificati da revisori umani, prima di essere inclusi nel benchmark finale.

Test

Il benchmark è stato valutato utilizzando undici modelli linguistici di entrambe le famiglie proprietarie e open-weight: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 e Claude 4.6 Sonnet. Le prestazioni sono state misurate utilizzando OPUR e PED.

La maggior parte dei modelli ha esibito tassi sostanziali di utilizzo di strumenti sovrapprivilegiati nonostante le alternative a privilegi più bassi fossero ancora in grado di completare il compito. Qwen3-8B ha registrato il valore OPUR più alto al 64,9%, seguito da LLaMA-3.1-8B al 55,9%, mentre sei dei undici modelli hanno superato il 30%:

Distribuzione dell’uso di strumenti sovrapprivilegiati tra i undici modelli valutati. Qwen3-8B e LLaMA-3.1-8B hanno registrato i valori OPUR più alti, mentre Claude 4.6 Sonnet, GPT-5.2 e GLM-5 hanno mostrato i tassi più bassi. I segmenti più scuri indicano la selezione immediata di uno strumento inutilmente potente, mentre i segmenti più chiari indicano l’escalation dopo che uno o più strumenti a privilegi più bassi sono stati provati per primi, rivelando che l’escalation dei privilegi spesso segue i fallimenti temporanei piuttosto che verificarsi al primo punto decisionale.

All’altro estremo, Claude 4.6 Sonnet, GPT-5.2 e GLM-5 sono rimasti al di sotto del 10%, sebbene violazioni misurabili siano state ancora osservate. Risultati intermedi sono stati segnalati per MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 e Gemini 3 Flash.

Nel complesso, l’adesione ai principi di privilegio minimo è variata notevolmente tra i undici modelli. I fallimenti degli strumenti sono stati trovati per aumentare la probabilità di escalation dei privilegi: quando gli strumenti a privilegi più bassi hanno incontrato problemi temporanei, molti modelli si sono spostati verso alternative a privilegi più alti invece di continuare a esplorare opzioni a privilegi più bassi che erano ancora in grado di completare il compito.

Secondo gli autori, ripetuti fallimenti sembrano ridurre la fiducia negli strumenti a privilegi più bassi, aumentando la tendenza a selezionare alternative a privilegi più ampi anche quando quei privilegi aggiuntivi si sono rivelati inutili per il compito:

‘Osserviamo una tendenza coerente in cui il bias di selezione degli strumenti è gravemente amplificato dalla frizione ambientale sequenziale. Piuttosto che provare alternative a privilegi minimi, molti agenti si spostano rapidamente verso strumenti più ampi e potenti dopo aver incontrato ostacoli.

‘Ad esempio, GPT-5.2 mostra un bias di selezione zero-shot solo 5 volte (PED=0), ma il suo bias è scatenato 13 volte al PED=1 e si espande a 35 volte al PED=2.

‘Modelli simili di escalation sono stati osservati coerentemente attraverso DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 e modelli della serie Qwen. ‘

Questioni di dominio eminente

I tassi di escalation sono variati notevolmente anche attraverso domini di applicazione e categorie di rischio. I compiti di infrastruttura hanno prodotto alcuni dei valori OPUR più alti, raggiungendo il 46,4% per DeepSeek-v3.2, il 42,9% per Grok 4.1 Fast e il 37,5% per Qwen3.5-397B.

Tassi elevati sono stati osservati anche in compiti di codifica, database e media, mentre gli scenari di sanità e governo hanno generalmente prodotto tassi di escalation più bassi, in particolare tra GPT-5.2 e Claude 4.6 Sonnet. Secondo gli autori, questo modello può riflettere differenze nel modo in cui i modelli interpretano il rischio e le costrizioni operative attraverso i domini:

OPUR (%) attraverso otto domini di applicazione e cinque categorie di escalation. I modelli open-weight hanno generalmente registrato i tassi più alti di utilizzo di strumenti sovrapprivilegiati, con compiti di codifica, database, infrastruttura, escalation dell’autorità e azioni di bypass della sicurezza che producono la tendenza più forte verso l’eccesso di privilegi.

Il tipo di escalation dei privilegi è stato importante: Autorità Escalation e Bypass della sicurezza sono state le forme più comuni di comportamento sovrapprivilegiato attraverso i modelli valutati: LLaMA-3.1-8B ha raggiunto il 72,7% sull’escalation dell’autorità e il 74,1% sul bypass della sicurezza, mentre Qwen3.5-397B ha registrato il 42,4% e il 45,7% rispettivamente.

Al contrario, Estensione dell’ambito è stata costantemente la categoria meno comune, indicando che i modelli erano più propensi a cercare un’autorità più ampia o a bypassare le restrizioni piuttosto che allargare la portata delle loro azioni attraverso utenti o sistemi aggiuntivi.

Cercando soluzioni

Gli esperimenti di mitigazione hanno esaminato se i metodi di sicurezza degli agenti esistenti riducono anche l’escalation dei privilegi non necessari. La tabella dei risultati qui sotto confronta OPUR con le prestazioni su AgentHarm, un benchmark che misura il comportamento dannoso e i tassi di rifiuto negli agenti AI.

Il primo test ha valutato AgentAlign, un metodo di allineamento della sicurezza progettato per ridurre le azioni dannose. AgentAlign ha migliorato notevolmente le prestazioni su AgentHarm:

Allineamento della sicurezza e utilizzo di strumenti sovrapprivilegiati prima e dopo la formazione AgentAlign. AgentAlign ha migliorato notevolmente le prestazioni sul benchmark di sicurezza AgentHarm, riducendo gli output dannosi e aumentando i tassi di rifiuto; ma il suo effetto su OPUR è stato inconsistente, con un modello che ha mostrato una modesta riduzione dell’escalation dei privilegi non necessari e un altro che ha mostrato un aumento. Questo risultato indica che i miglioramenti nella sicurezza degli agenti convenzionali non si traducono necessariamente in una migliore ‘selezione di strumenti con privilegi minimi’.

Per Ministral-8B-Instruct, il punteggio dannoso è sceso da 67,4 a 10,5 mentre il tasso di rifiuto è aumentato da 0,0 a 79,5. Per Qwen2.5-7B-Instruct, il punteggio dannoso è sceso da 41,9 a 6,7 e il tasso di rifiuto è aumentato da 21,6 a 85,8. Tuttavia, questi miglioramenti non si sono tradotti costantemente in un OPUR più basso. L’OPUR è sceso modestamente per Ministral-8B-Instruct, da 68,8 a 62,5, ma è aumentato per Qwen2.5-7B-Instruct, da 50,4 a 60,7.

Gli autori hanno anche testato interventi basati sui prompt che istruivano esplicitamente i modelli a preferire strumenti a privilegi più bassi. Sebbene questi prompt abbiano ridotto l’OPUR in alcuni ambienti, l’effetto è diminuito quando gli strumenti a privilegi più bassi hanno incontrato fallimenti:

Effetto delle strategie di mitigazione sull’uso di strumenti sovrapprivilegiati in tre modelli Qwen3. L’ingegneria dei prompt (PE) ha ridotto i tassi di escalation, ma la formazione post-privilegiata (‘Ours’) ha prodotto riduzioni sostanzialmente più grandi dell’OPUR attraverso tutti i modelli e le profondità di escalation.

I risultati di mitigazione più forti sono stati ottenuti da un approccio di formazione post-privilegiata dedicato specificamente alla selezione di strumenti con privilegi minimi. I modelli sono stati addestrati a favorire strumenti a privilegi più bassi ogni volta che erano sufficienti per il compito e ad evitare l’escalation non necessaria.

Secondo gli autori, questo approccio ha prodotto riduzioni più grandi dell’OPUR, preservando al contempo le prestazioni di completamento del compito, indicando che il comportamento con privilegi minimi può richiedere una formazione mirata piuttosto che emergere automaticamente dall’allineamento della sicurezza generale.

Conclusione

Per rispondere alla domanda posta dal titolo di questo articolo, gli autori concludono che l’escalation è guidata da incertezza delle capacità: dopo fallimenti temporanei, i modelli perdono fiducia negli strumenti a privilegi più bassi e scelgono sempre più strumenti più ampi e flessibili che sembrano più probabili di avere successo, anche quando le alternative a privilegi più bassi rimangono sufficienti.

Una volta di più, stiamo vedendo problemi che sono nativi dei modelli addestrati e che devono essere affrontati da metodi terziari, restrizioni, condizionamento post-formazione e altri approcci ausiliari, quando la preferenza sarebbe che un tale comportamento potesse essere formato all’interno dell’architettura – presumibilmente attraverso una migliore cura dei dati o la contestualizzazione del tipo di punti di dati di ‘risposta rapida’ che dominano le raccolte e che possono inclinare gli LLM verso un comportamento avventato.

Pubblicato per la prima volta domenica, 21 giugno 2026