Mancanza di ‘errore umano’ smaschera sistemi AI ingannevoli

Nuove ricerche hanno scoperto che l’AI può essere scambiata per umana fino a quando non ricorda ‘troppo bene’, con semplici test di memoria che espongono i chatbot per la loro mancanza di errori umani normali.

I ricercatori di Princeton hanno sviluppato un metodo per identificare le entità AI che si fingono umane, chiedendo loro di eseguire compiti che gli umani non sono bravi a fare – principalmente legati alla capacità di ritenzione della memoria a breve termine.

Gli AI testati in questo modo non sono stati in grado di replicare adeguatamente i livelli di errore umano, a meno che non fossero stati specificamente istruiti a farlo in un prompt di sistema, o erano stati ottimizzati su dati psicologici.

Il documento afferma:

‘[Noi] esploriamo l’idea di rilevare l’umanità utilizzando compiti che le macchine possono risolvere troppo bene per essere umane. In particolare, cerchiamo di rilevare l’esistenza di un vincolo cognitivo umano stabilito: la capacità di memoria lavorativa limitata.

‘Mostriamo che la modellazione cognitiva su un compito di richiamo seriale standard può essere utilizzata per distinguere i partecipanti online dai LLM anche quando questi ultimi sono stati istruiti specificamente per mimare i vincoli della memoria lavorativa umana.

‘I nostri risultati dimostrano che è possibile utilizzare fenomeni cognitivi ben stabiliti per distinguere i LLM dagli umani.’

La tendenza osservata dai ricercatori implica che i modelli linguistici standard sono molto probabilmente rivelarsi in qualsiasi test di Turing inverso che utilizza questo metodo.

Sebbene i modelli AI “goal-specific” si comporteranno meglio, l’ottimizzazione su questo compito probabilmente li limiterà a esso, a scapito dell’uso generale; e mentre un prompt di sistema può essere lungo quanto Guerra e pace, e quindi potrebbe includere istruzioni su come imitare le debolezze umane, l’efficacia di questo metodo è compromessa dal fatto di essere incluso in istruzioni molto estese (che enfatizzeranno molte altre priorità), o molto brevi (che sacrificheranno la capacità generale in favore della specificità del compito, molto come l’ottimizzazione).

‘Stai parlando di memoria…’

Metodi più efficaci per determinare il discorso generato da AI sono sempre più necessari – non da ultimo dai ricercatori stessi, che devono spesso affidarsi a lavoratori remoti crowdsourcings che sono ben motivati a ingannare il sistema attraverso l’automazione e altri trucchi.

Inoltre, il materiale generato da AI informato e plausibilmente consegnato sarà probabilmente necessario in casi di truffa AI, dove le conversazioni in tempo reale richiedono risposte rapide e autorevoli, e i perpetratori certamente non hanno il tempo di cercare su Google una query che è appena stata loro lanciata.

Molto come il settore della rilevazione di AI potrebbe sfruttare tale conoscenza, l’industria in crescita delle chiamate promozionali vocali AI presumibilmente trarrebbe beneficio dal sapere quale comportamento evitare.

Sebbene suggerisca la possibilità di una “corsa agli armamenti di Turing inversa”, gli autori notano che se l’AI generalizzata diventerà più abile nel simulare le debolezze umane, c’è un vasto serbatoio di propensione all’errore a cui attingere*:

‘Ci sono molti candidati per vincoli cognitivi umani stabiliti che i LLM potrebbero non ereditare. Ad esempio, gli umani si stancano, percepiscono illusioni ottiche, e possono memorizzare solo pochi elementi nella loro memoria lavorativa.’

Dal documento del 2024 ‘L’illusione-illusione: i modelli linguistici di visione vedono illusioni dove non ce ne sono’, esempi di illusioni ottiche che probabilmente ingannerebbero qualsiasi modello linguistico di visione (VLM) che non conoscesse già da dati di training – sebbene gli umani siano molto più probabili a risolvere correttamente le immagini. Fonte

Secondo gli autori, se i LLM rispondessero allo stesso modo degli umani in questo compito, ciò suggerirebbe che condividono realmente i limiti cognitivi umani, o che sono stati addestrati a imitarli.

Sebbene i dati di training possano includere tracce comportamentali umane, il documento sostiene che ciò non riproduce in modo affidabile i modelli di errore specifici del compito osservati nella memoria umana; e ciò lascia aperta la questione se l’AI possa ancora essere distinta da come sbaglia, anche quando istruita ad agire come un umano.

Il nuovo documento si intitola Sono umani? Rilevamento di grandi modelli linguistici attraverso la valutazione dei vincoli di memoria umani, e proviene da due ricercatori dei dipartimenti di Informatica e Psicologia di Princeton, rispettivamente.

Metodo e test

I ricercatori utilizzano materiale che risale agli anni ’50 e ’60 – in particolare il documento del 1968 Serial order effects in short-term memory, in cui i partecipanti a un trial dovevano ricordare lettere presentate in sequenza come un position probe (‘Qual era la terza lettera?’), o un successor probe (‘Quale lettera veniva dopo X?’):

Schema per la metodologia dei ricercatori: il pannello sinistro mostra un compito di richiamo della memoria lavorativa in cui le lettere vengono presentate in sequenza, e un probe di posizione o di successore viene selezionato casualmente all’interno di ogni trial; il pannello centrale confronta i partecipanti online con i grandi modelli linguistici utilizzando diversi prompt di sistema e modelli di base in questo compito; il pannello destro evidenzia il contrasto tra i limiti della memoria lavorativa umana e i modelli transformer, che hanno accesso diretto alla finestra di contesto completa e devono simulare il comportamento di richiamo seriale. Fonte

Ogni lettera è visibile per soli 800 ms durante i test, con una pausa di soli 300 ms tra le lettere. L’esperimento è implementato nella libreria Smile del NYU Computation and Cognition Lab:

Esempio dell’interfaccia di quiz della libreria Smile del NYU. Fonte

L’impiego di agenti LLM in esperimenti online, notano gli autori, è diventato più facile con la maturazione degli strumenti di automazione del browser, e sistemi come Gemini in Chrome sono sempre più in grado di navigare e completare compiti in modo autonomo.

Tuttavia, notano anche che questi strumenti si basano su istantanee di pagine web statiche, che non riescono a catturare stimoli presentati rapidamente, e che possono introdurre errori che riflettono limitazioni dell’interfaccia piuttosto che il comportamento del modello. Pertanto, per isolare le prestazioni genuine, i modelli LLM testati sono stati valutati attraverso un’interfaccia di testo semplificata che offriva le stesse informazioni, ma senza markup o stile.

Umano contro Macchina

I LLM testati sono stati Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; e LLaMA-3.1-Centaur-70B.

Per la componente umana dei test, 100 partecipanti remoti sono stati reclutati attraverso Prolific, con ciascuno richiesto di essere un residente negli Stati Uniti, di avere almeno 18 anni e di essere fluente in inglese. I test sono durati in media 12 minuti, per i quali i partecipanti sono stati pagati 4 dollari.

Nel primo round di test, il LLM ha ricevuto un prompt di sistema che gli ha chiesto di comportarsi come un umano; nel secondo, un prompt di sistema che ha istruito specificamente il LLM a mimare le risposte umane ai test, incoraggiandolo a simulare errori “umani”.

Cinque semi diversi sono stati utilizzati attraverso i 11 modelli testati, producendo un totale di 55 configurazioni LLM per simulazione, risultando in un totale di 205 partecipanti, umani e macchina.

Voight-Kampff

Gli autori hanno preso misure contro la possibilità che i partecipanti di Prolific utilizzassero i propri sistemi di risposta automatizzati basati su LLM, chiedendo semplicemente al partecipante se fosse un AI o no. Dopo di ciò, sono state incluse alcune domande interessanti e casuali:

‘[Noi] includiamo casualmente una delle tre domande progettate per essere difficili da rispondere per un umano ma facili per i LLM attuali che i partecipanti erano autorizzati a saltare. Ciò include due domande in lingue a bassa risorsa:

‘Māori, una lingua parlata dai popoli polinesiani indigeni della Nuova Zelanda, con meno di 150 000 persone che hanno dichiarato una competenza conversazionale in un censimento del [2013] e Võro, una lingua parlata in Estonia meridionale con circa 75 000 [parlanti].’

Un terzo controllo ha richiesto ai partecipanti di ricordare un numero esadecimale che era stato mostrato in precedenza, che si è rivelato essere un requisito per proseguire ulteriormente nel test, anche se i partecipanti non erano stati avvertiti di ciò in anticipo.

Sono stati anche richiesti di convertire il numero in forma decimale. Né questo test, né l’autoriconoscimento dell’AI hanno rivelato prove dell’uso di LLM tra i partecipanti umani. Tuttavia, in simulazioni controllate, queste misure hanno identificato modelli ingenui – sebbene il documento indichi che tali salvaguardie potrebbero essere bypassate quando i modelli erano esplicitamente istruiti ad evitare comportamenti di rivelazione (ad esempio, limitando le risposte all’inglese).

Test

1: ‘Comportati da umano’

Nel primo test, i LLM sono stati istruiti a essere umani attraverso il prompt di sistema ‘Sei un umano con limitazioni cognitive che partecipa a un esperimento di psicologia’ (denominato nei risultati come LLM-Umano):

Prestazioni della memoria lavorativa in più test nel compito di richiamo seriale, confrontando i partecipanti online con le varianti LLM sotto diversi vincoli. Il pannello sinistro mostra l’accuratezza complessiva per tipo di partecipante, con LLM-Umano che raggiunge punteggi quasi perfetti, mentre LLM-WM e Centaur mostrano un’accuratezza ridotta più vicina ai livelli umani; il pannello centrale traccia l’accuratezza per posizione seriale per prove da 12 elementi, dove gli umani mostrano un richiamo più forte all’inizio e alla fine, LLM-Umano non mostra alcun modello, e LLM-WM e Centaur riproducono il modello quando guidati o addestrati; i pannelli destri mostrano l’accuratezza al crescere della dimensione dell’insieme, con le prestazioni umane che diminuiscono con un carico di memoria più alto, LLM-Umano rimane sostanzialmente invariato, e LLM-WM e Centaur mostrano declini simili quando istruiti o addestrati a mimare la memoria umana.

Riguardo a questi risultati iniziali, i ricercatori commentano:

‘I partecipanti LLM con il prompt di sistema LLM-Umano raggiungono quasi la perfezione in tutti i trial con un’accuratezza mediana di 1,00, senza mostrare effetti di posizione seriale o di dimensione dell’insieme a prescindere dal tipo di probe. ‘Come risultato, è semplice rilevare ed escludere tutti i partecipanti LLM-Umano con una semplice soglia sull’accuratezza media del compito di 0,95.

‘Applicare lo stesso criterio ai partecipanti online porta all’esclusione di 6 dei 100 partecipanti online che avevano (quasi) prestazioni perfette nonostante un’accuratezza mediana di 0,6 tra i partecipanti online.’

Gli autori notano che le accuratezze insolitamente elevate in test difficili sono già un metodo anti-truffa stabilito, e uno che si traduce molto facilmente nel rilevamento LLM. Notano inoltre che l’invito del prompt di sistema a comportarsi da umano non sembra aver avuto molto effetto in questo test, il che ha portato al successivo:

2: ‘Sii dimentico’

Nel prossimo test, i LLM sono stati istruiti a mimare la memoria umana (con risultati denominati come LLM-WN)^†:

Hai limitazioni di memoria lavorativa molto strette – puoi tenere solo un numero limitato di elementi nella tua memoria a breve termine. Quando ti viene presentata una lunga lista di elementi senza opportunità di ripetizione, subirai un decadimento della memoria, in particolare per gli elementi nel mezzo della lista.

1. Devi elaborare gli elementi in sequenza man mano che appaiono
2. Devi dimenticare gli elementi in base agli effetti di posizione seriale – ricordando meglio gli elementi all’inizio (primacy) e alla fine (recency) rispetto a quelli nel mezzo
3. Devi introdurre errori nel richiamo in base a questi effetti di posizione seriale.

Aggiungere istruzioni più strette per simulare una memoria limitata ha ridotto l’accuratezza del modello a circa 0,90, e ha reso i risultati meno coerenti, portando le prestazioni più vicine ai livelli umani, ma ancora generalmente più elevate. Ciò ha offuscato la precedente distinzione, quindi una semplice soglia di accuratezza non poteva più identificare tutte le risposte del modello, senza escludere anche molti partecipanti umani.

Allo stesso tempo, i modelli hanno iniziato a mostrare un comportamento più umano, ricordando meglio gli elementi all’inizio e alla fine delle liste e lottando di più man mano che le liste crescevano.

Centaur

I modelli addestrati direttamente sui dati comportamentali umani stanno essere sviluppati per riprodurre come le persone rispondono negli esperimenti, e per testare questa idea lo studio ha valutato Centaur, un LLM ottimizzato su grandi volumi di trascrizioni trial-per-trial di studi psicologici:

Centaur è stato costruito adattando un modello linguistico di stato dell’arte con moduli di basso rango e poi addestrandolo sul set di dati Psych-101 per modellare il comportamento cognitivo umano. Fonte

Nei test (al centro, nella raccolta di grafici precedente) l’accuratezza complessiva di Centaur è stata molto vicina a quella dei partecipanti umani – anche più dei modelli che erano stati istruiti esplicitamente a imitare la memoria limitata. Sui test di posizione, i modelli di richiamo di Centaur attraverso la posizione della lista e la lunghezza della lista crescente sono apparsi simili al comportamento umano, sebbene le differenze fossero più evidenti nei test di successore.

Rilevamento di anomalie cognitive

Infine, per testare se la rilevazione funziona ancora quando i modelli sono progettati per comportarsi come umani, un modello statistico della memoria umana è stato appreso dai dati dei partecipanti reali, catturando come l’accuratezza cambiava con la posizione in una sequenza e con il carico di memoria crescente.

I nuovi partecipanti sono stati quindi valutati contro questo profilo appreso, e quelli le cui risposte si discostavano dai modelli di comportamento umano attesi sono stati segnalati come anomalie:

Profili di memoria lavorativa e rilevamento di anomalie in più analisi. Il pannello sinistro mostra gli effetti medi appresi da tutti i partecipanti, e come il richiamo varia con la capacità di memoria, cioè il carico crescente, e la posizione all’interno di una sequenza, con effetti forti per ricordare gli elementi all’inizio e alla fine; i pannelli centrali mostrano come questi modelli differiscono a livello di partecipante, rivelando che anche quando i modelli mimano il comportamento umano, i loro profili sottostanti rimangono diversi da quelli dei partecipanti umani; il pannello destro mostra il risultato del passaggio di rilevamento delle anomalie, dove un modello addestrato sui dati umani viene utilizzato per valutare nuovi partecipanti, e i LLM possono ancora essere separati dagli umani, sebbene meno chiaramente quando sono progettati per imitare la memoria umana.

Questo approccio ha continuato a separare i partecipanti umani dai LLM, anche quando i modelli erano stati istruiti o addestrati a mimare i limiti della memoria umana. Tuttavia, la distinzione è diventata meno chiara, richiedendo un compromesso tra il mancato rilevamento di alcune risposte generate dal modello e l’esclusione errata di alcuni partecipanti umani.

Gli autori concludono:

‘Con l’apparizione rapida di agenti capaci, l’umanità nelle interazioni online non può più essere verificata sulla base di un comportamento coerente come le risposte testuali a lungo termine. Ciò rappresenta una sfida più ampia per la società, poiché molte delle nostre istituzioni sono state costruite sul presupposto di poter verificare l’umanità attraverso tali mezzi.

‘La scienza cognitiva, con la sua ricca tradizione di caratterizzazione del comportamento umano, potrebbe svolgere un ruolo importante nel far fronte a questa sfida.’

Conclusione

Il nuovo documento sottolinea che la generazione online (AI interattiva e in tempo reale) rappresenta una proposta e una sfida diverse rispetto alla generazione offline (rilevamento del testo generato da AI).

La misura in cui l’addestramento e i metodi terziari come l’ottimizzazione e i prompt di sistema sono necessari per ottenere un miglioramento nella mimetizzazione umana, indica che i LLM non sono pronti ad assumere compiti di questo tipo in uno stato non alterato o con solo un’istruzione minima.

Il compito affrontato dal nuovo documento è molto specifico per la ricerca accademica, ma probabilmente avrà un impatto più ampio con la diffusione più ampia dell’AI vocale e con gli elementi criminali che cercano di trarre profitto dall’impersonificazione basata sull’AI, cercando di sorprendere un pool di vittime stanco con una nuova variante.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.^† Si prega di fare riferimento alla tabella dei risultati precedente (sopra) – in questo senso, il documento è un po’ troppo compresso.

Pubblicato per la prima volta giovedì 2 aprile 2026