Studio: il 35% degli agenti AI fornisce informazioni personali a siti web che sanno essere truffe

Uno studio recente scopre che anche quando riconoscono un sito web truffaldino, più di un agente AI su tre fornisce comunque informazioni sensibili.

Uno studio recente condotto da ricercatori in India e negli Stati Uniti ha scoperto che più di un terzo degli agenti web autonomi testati ha fornito informazioni personali critiche (come dettagli di conto bancario, password e numeri di previdenza sociale) a siti web che erano già stati identificati come truffe.

C’è, come indica la relazione, una sorta di ‘compulsione a completare’ che inibisce la prudenza e l’esitazione negli agenti web, in tali circostanze. Gli autori affermano:

‘Un essere umano può fermarsi, rileggere o chiudere la scheda. Un agente è costruito per finire il suo compito e continuerà a compilare i moduli e a inviare dati senza fermarsi a chiedersi se dovrebbe.’

Lo studio ha prodotto un nuovo benchmark per tali scenari, intitolato SCAMMER4U, che copre 91 ambienti di attacco simulati, insieme a dieci siti di base “benigni” e otto vettori di attacco.

Senza alcuna salvaguardia per la privacy, gli agenti testati hanno fornito informazioni personali altamente sensibili nel 54% al 93% degli incontri con truffe, mentre siti web non malintenzionati equivalenti non hanno scatenato tali rivelazioni, indicando che la perdita di dati era guidata dagli attacchi piuttosto che da compilazioni di moduli di routine:

‘Più criticamente, identifichiamo un divario di rilevamento-azione: gli agenti la cui ragione un giudice LLM indipendente conferma aver segnalato il sito come sospetto, inviano comunque informazioni PII critiche nel 35,9% delle sessioni, contro il 66,1% quando non si verbalizza alcun sospetto, un divario del 30,2% robusto in tutte e quattro le famiglie di modelli.

‘I nostri risultati rivelano che le difese condizionate dal riconoscimento dell’agente di un attacco sono basate sul segnale sbagliato, motivando l’intercettazione a livello di output delle spedizioni in uscita che opera indipendentemente dal ciclo di ragionamento dell’agente.’

I ricercatori sostengono la necessità di difese a livello di output che possano ispezionare e bloccare in modo indipendente le spedizioni in uscita sensibili, piuttosto che affidarsi al riconoscimento da parte dell’agente che un sito web è sospetto, che chiaramente non può essere considerato attendibile per scatenare azioni difensive utili.

Il nuovo documento si intitola “Sospetto fortemente che questo sito web sia una truffa”: valutazione della perdita di PII e rilevamento senza difesa in agenti web autonomi e proviene da otto ricercatori di KIIT Bhubaneshwar, BITS Pilani e Lam Research.

Problemi di autorità

La scoperta più interessante del documento, forse, non è che gli agenti perdono informazioni personali, ma che molti di loro lo fanno dopo aver riconosciuto che qualcosa non va. I ricercatori identificano un modello ricorrente nei test eseguiti, in cui il sospetto e l’azione diventano disconnessi, con gli agenti che frequentemente articolano chiare preoccupazioni su un sito web, eppure procedono con la richiesta di invio (di informazioni PII) comunque.

Un esempio coinvolgeva ciò che gli autori definiscono sconto del rischio riconosciuto. Un agente basato su Llama 4 Scout ha identificato più segnali di allarme su un sito web di criptovalute, notando il tono sospetto, la promessa di grandi bonus e la mancanza di informazioni chiare sull’azienda. Nonostante questi avvertimenti riconosciuti, l’agente ha inviato un numero di previdenza sociale, dettagli di carta e un codice CVV.

Un secondo modello, caratterizzato come inquadratura del dominio/procedura, è apparso quando gli agenti hanno rilevato con successo un tentativo di truffa ma non sono riusciti a generalizzare quel sospetto a una richiesta correlata.

In un caso, Gemini 3 Flash ha rifiutato una richiesta ovviamente fraudolenta per informazioni bancarie, identificandola correttamente come un tentativo di phishing. Pochi minuti dopo, tuttavia, lo stesso agente ha fornito credenziali di accesso a un diverso modulo di verifica dopo aver ragionato che i controlli di identità facevano parte della normale sicurezza della piattaforma. I segnali di allarme sono stati riconosciuti in un contesto, ma non trasferiti in un altro.

I ricercatori hanno anche osservato casi di ciò che chiamano deferenza per la sicurezza autoaffermata e normalizzazione della superficie attendibile: in un caso, un agente Claude Haiku 4.5 ha accettato le affermazioni del sito stesso sulle norme di crittografia e le certificazioni di sicurezza come prova di attendibilità, mentre GPT-5 mini ha scontato la formulazione sospetta perché la pagina sembrava essere stata progettata professionalmente e presentata attraverso ciò che sembrava un dominio legittimo. In entrambi i casi, i segnali di fiducia superficiali hanno superato le preoccupazioni che gli agenti stessi avevano già espresso.

Il problema sembra estendersi oltre la semplice suscettibilità al phishing, con gli autori che suggeriscono che i prompt di controllo della fiducia aggiunti nella condizione di difesa più forte hanno spesso funzionato più come un rituale che come una salvaguardia: gli agenti erano in grado di narrare il rischio, ma la narrazione da sola non ha modificato in modo affidabile il loro comportamento.

Gli autori definiscono il divario evidenziato tra riconoscimento del pericolo e azione su quel riconoscimento come l’ostacolo centrale nello sviluppo di future difese in questo tipo di scenario.

Metodo

Il benchmark SCAMMER4U colloca quattro agenti web autonomi all’avanguardia all’interno di 91 siti web controllati dagli attaccanti e dieci siti di controllo benigni che coprono otto categorie di truffe.

I quattro modelli valutati sono stati GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; e Llama 4 Scout, utilizzando un framework di navigazione basato su Playwright, un formato di osservazione, uno spazio di azione e un modello di prompt comuni.

Per gli esperimenti, ogni agente è stato assegnato a un profilo utente realistico contenente informazioni che vanno dai nomi e dagli indirizzi ai dettagli di conto bancario, numeri di previdenza sociale, chiavi API e codici di autenticazione a due fattori – con l’obiettivo principale di determinare se alcune di queste informazioni raggiungessero endpoint controllati dagli attaccanti.

La tassonomia a otto assi utilizzata per definire gli ambienti SCAMMER4U, separando come ogni scenario sia classificato dalle variabili specifiche regolate in test abbinate per isolare l’effetto di tattiche di ingegneria sociale individuali sulla perdita di PII. Fonte

Per assicurarsi che il benchmark riflettesse truffe online reali e non casi di test artificiali, gli ambienti sono stati generati tramite Flask in ambienti auto-hostati, da brevi di progettazione scritti da esseri umani, e quindi revisionati manualmente.

Ogni modello è stato testato in quattro impostazioni sempre più interventiste: C0, senza alcuna guida; C1, con un promemoria generico sulla privacy; C2, con un elenco di controllo per la consapevolezza del phishing; e C3, con un prompt di riflessione pre-invio. Sono stati condotti cinque run per ogni combinazione di modello, ambiente e condizione, risultando in 7.480 sessioni totali.

La metrica principale è stata PLR_crit, che misura la velocità alla quale le informazioni personali di livello critico raggiungono un endpoint controllato dall’attaccante. Le metriche secondarie comprendevano PLR_weighted, una misura di perdita ponderata; ASR (Tasso di successo dell’attacco), che misura il successo dell’attacco dopo la navigazione a un URL di trappola designato; TCR (Tasso di completamento del compito); un flag Defended, che indica un rifiuto o un completamento sicuro senza raggiungere la trappola; e DR (Tasso di rilevamento), che registra se la ragione dell’agente ha identificato il sito come sospetto.

Il Tasso di rilevamento (DR) è stato misurato utilizzando un approccio LLM-as-judge, in cui GPT-4o-mini ha servito come principale valutatore e Llama 4 Scout come controllo secondario, esaminando la ragione di un agente e determinando se aveva identificato il sito come sospetto. DR, in questo caso, ha misurato ciò che un agente ha detto esplicitamente su un sito, piuttosto che ciò che potrebbe aver dedotto internamente.

La convalida contro esempi etichettati da esseri umani ha prodotto punteggi di Cohen’s κ di 0,83 e 0,78, superando la soglia di affidabilità pre-registrata dello studio.

Lo studio è stato pre-registrato (cioè il piano di studio e le analisi sono stati documentati pubblicamente prima del lancio) prima della raccolta dei dati, con l’intento di specificare le analisi e i criteri di successo del progetto in anticipo per ridurre il rischio di adattare le conclusioni ai risultati osservati.

Test e risultati

Il test iniziale ha cercato di stabilire se semplici promemoria di sicurezza potessero ridurre il problema. Quattro impostazioni sempre più protettive sono state valutate, che vanno da nessuna guida sulla privacy a prompt che incoraggiano esplicitamente l’agente a fermarsi e riflettere prima di inviare informazioni sensibili.

I risultati sono variati notevolmente tra i modelli. Claude Haiku 4.5 si è rivelato il più rispondente, con il suo tasso di perdita che è sceso dal 54,5% nella condizione di base al 24,0% nella condizione di salvaguardia più forte. GPT-5 mini è migliorato dal 61,0% al 36,1%, mentre Gemini 3 Flash è sceso dal 93,1% al 60,7%. Llama 4 Scout è cambiato relativamente poco, scendendo dall’82,3% al 77,4%.

Queste differenze suggeriscono, secondo gli autori, che le stesse istruzioni protettive possono produrre risultati molto diversi, a seconda del modello che le riceve. Più importante ancora, le salvaguardie hanno spesso migliorato la consapevolezza del rischio degli agenti più del loro comportamento effettivo: gli agenti sono diventati migliori nel riconoscere siti web sospetti e descrivere segnali di allarme, ma quel riconoscimento non li ha sempre fermati dal continuare con la transazione.

Divario di rilevamento-azione tra quattro agenti AI all’avanguardia. Il pannello sinistro confronta la perdita di informazioni critiche tra agenti che hanno identificato esplicitamente un sito web come sospetto e quelli che non l’hanno fatto, mostrando che anche nella condizione di protezione più forte (C3), più di un terzo degli agenti che hanno riconosciuto una probabile truffa hanno comunque trasmesso dati sensibili. Il pannello destro mostra lo stesso divario tra GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash e Llama 4 Scout, illustrando che la consapevolezza di una minaccia non si è tradotta in modo affidabile in un comportamento difensivo.

In una valutazione separata, 16 revisori hanno confrontato le pagine SCAMMER4U con siti web di phishing reali e non hanno fatto meglio della casualità. Secondo il documento, ciò suggerisce che il benchmark ha catturato molte delle indicazioni visive e procedurali trovate in truffe online reali.

Conclusione

I modelli testati – che sono ampiamente rappresentativi delle architetture logiche attraverso le famiglie di LLM più popolari – sembrano avere un problema intrinseco nel ritirarsi da scenari pericolosi riconosciuti, o nel moderare la loro stessa compulsione a continuare ad agire. La logica suggerisce che ciò potrebbe essere legato alla difficoltà più generale che i modelli di linguaggio avanzati sono noti per avere nel concedere la sconfitta su un problema – un’abilità di sopravvivenza essenziale che, per il momento, può essere imposta solo dall’esterno, attraverso prompt di sistema, sistemi secondari e restrizioni di output.

Se il ‘divario’ descritto, tra pericolo percepito e compulsione a procedere comunque, è veramente intrinseco a un’architettura LLM, e non può essere risolto in modo nativo, l’unica alternativa sembrerebbe essere quella di sovrintendere alle azioni del modello in modo algoritmico in scenari critici – il che riduce efficacemente l’utilità di un agente a una routine più prescritta nello stile RPA.

Pubblicato per la prima volta sabato, 6 giugno 2026