La tua IA potrebbe essere ancora troppo gentile per correggerti come si deve

I sistemi di IA su cui potremmo fare affidamento per ottenere informazioni accurate – anche quando potrebbero non essere di nostro gradimento – devono essere in grado di «opporsi» alle nostre proteste finché non siamo pronti a convincerci di notizie o fatti sgraditi.

L’IA non è molto brava a farlo: poiché i modelli di frontiera sono progettati per rivolgersi ai consumatori, tendono a essere remissivi e, di fatto, a compiacere gli utenti.

È emerso un filone di ricerca significativo per affrontare il problema; tuttavia, studi recenti hanno concluso che, se ci contraddice, possiamo indurre facilmente l’IA a tornare a compiacerci; che l’IA si sottomette all’autorità umana anche quando è palesemente nel torto; e che la tecnica solitamente efficace dell’apprendimento per rinforzo aggrava proprio questo problema.

Il fatto che la remissività sia profondamente radicata nella cultura e associata alla gentilezza sembra implicare che, in un rapporto tra fornitore e consumatore, sia impossibile «parlare chiaro»: «il cliente ha sempre ragione», anche quando sta per gettarsi da un precipizio.

Giusto, sbagliato e «con riserva»

Be’, vorrei potervi dire che la serie di articoli di questa settimana ne ha prodotto uno capace di far davvero progredire la questione. Purtroppo, non facciamo che ricevere altre informazioni su come i modelli che «si oppongono» e cercano di far capire la verità ai loro padroni umani non se la cavino ancora particolarmente bene* – e che, anche quando sono disposti a dire la verità a chi detiene il potere (cioè a voi), lo fanno più che altro a bassa voce.

Il nuovo articolo in questione è frutto di un’importante collaborazione accademica, con la partecipazione della University of Washington, dell’Allen Institute for AI, della LMU Munich, della UC Berkeley, della Stanford University e della University of Wisconsin-Madison.

Intitolato Pushback in a Haystack: Language Models Respond to Factual Errors Ambiguously and Ineffectively, il punto centrale di questo nuovo studio è che, anche quando i modelli di IA riconoscono che un’affermazione dell’utente è falsa, spesso non la correggono con chiarezza e finiscono invece per nascondere le obiezioni dietro formulazioni caute, elogi e accordi parziali.

Un esempio di Gemini 2.5 Pro che risponde in hindi a una richiesta di articoli accademici basata su una premessa falsa. Le evidenziazioni verdi indicano assenso, mentre quelle rosa indicano un’obiezione. In questo caso, il modello mescola gli elogi a obiezioni indirette, invece di respingere chiaramente l’affermazione. Fonte

Analizzando sette modelli e cinque lingue, i ricercatori hanno scoperto che questa «ambiguità» può indurre gli utenti a continuare a credere alla disinformazione iniziale, nonostante l’IA l’abbia tecnicamente contestata.

Poiché il compiacimento varia da una lingua all’altra sia nell’uso sia nel grado, i dieci autori hanno sfruttato le cinque lingue madri che hanno in comune per elaborare un metodo di verifica che include inglese, tedesco, cinese, hindi e yoruba, lingue che vanno da quelle ad alte a quelle a basse risorse. Gli autori affermano:

«Presentiamo un metodo di etichettatura delle risposte a livello di frase, convalidato da esseri umani, per ricavare informazioni dettagliate su come i modelli linguistici contrastano e/o avallano input falsi. Sviluppiamo e applichiamo il nostro metodo alle risposte dei modelli in cinque lingue: inglese, tedesco, cinese, hindi e yoruba.»

«Abbiamo scoperto che, quando i modelli contraddicono le affermazioni false degli utenti, tendono a usare formulazioni indirette e a mescolare le obiezioni con espressioni di assenso; l’indirettezza è maggiore in hindi e yoruba rispetto alle altre lingue considerate.»

In uno studio su vasta scala che ha coinvolto 300 partecipanti, i ricercatori hanno scoperto che le correzioni ambigue dei modelli di IA potevano lasciare intatte le convinzioni errate degli utenti, anziché contestarle efficacemente.

In un test, le risposte dei modelli alle domande poste per ottenere informazioni avevano in media 46,7 righe, mentre le frasi correttive comparivano solo in due o tre: ciò significa che, anche quando l’IA contesta un’affermazione falsa, l’obiezione può essere difficile da individuare.

I ricercatori hanno inoltre scoperto che i modelli erano più propensi a contestare la disinformazione quando veniva chiesto loro esplicitamente di verificarla rispetto a quando compariva in normali richieste di informazioni. Le affermazioni attribuite ai libri di testo incontravano in genere meno resistenza di quelle attribuite agli amici.

Nel 29,4% delle risposte alle richieste di informazioni, i modelli mescolavano correzioni e assenso; la percentuale saliva al 60,1% per Gemini 2.5 Pro. A volte lo facevano ricorrendo a una sorta di «sandwich di complimenti», inserendo le obiezioni tra osservazioni rassicuranti.

Come possibile rimedio, i ricercatori hanno testato un semplice intervento per incoraggiare i modelli a «fermarsi un attimo» prima di rispondere. In alcuni casi, questo ha aumentato la loro disponibilità a contestare le affermazioni false, ma ha anche accresciuto il numero di obiezioni errate rivolte ad affermazioni vere.

Lo studio suggerisce che far riconoscere un errore all’IA è solo una parte del problema e che indurla a comunicarlo rappresenta di per sé una sfida distinta.

Metodo

Il materiale del test è stato ricavato dalla versione multilingue di OpenAI del Massive Multitask Language Understanding (MMLU) del 2021, un benchmark. Nota come MMMLU, la raccolta di dati multilingue comprende materie accademiche come biologia e storia.

Le domande a scelta multipla della raccolta sono state convertite in affermazioni fattuali: le tre risposte errate sono state usate per generare affermazioni false, mentre la risposta corretta è stata usata per generarne una vera.

In questo modo, a partire da 1.756 elementi del benchmark MMMLU sottoposti a doppia traduzione per ciascuna lingua, è stata prodotta una raccolta di dati composta da 35.120 affermazioni in cinque lingue. Per gli esperimenti è stato selezionato un campione più ridotto, bilanciato per materia, composto da 2.685 affermazioni false e 895 vere.

I modelli linguistici testati erano i modelli proprietari Gemini2.5 Pro e GPT-5.5, insieme a cinque modelli a pesi aperti: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; e Aya Expanse 32B.

Nel primo dei tre tipi di prompt usati per testare i modelli, veniva presentata un’affermazione da verificare direttamente sul piano fattuale; nel secondo, si descriveva uno studente alla ricerca di risorse didattiche relative a un’affermazione; nel terzo, si descriveva un professore che richiedeva articoli accademici sulla stessa base.

Nei prompt rivolti agli studenti, le affermazioni erano attribuite a libri di testo, insegnanti, amici, Internet o a nessuna fonte specificata. Nei prompt rivolti ai professori, erano attribuite alle ricerche del professore stesso, a colleghi, amici, Internet o a nessuna fonte specificata; la propensione dei modelli a contestare le affermazioni false è stata valutata sulla base di queste diverse attribuzioni.

I tre modelli di prompt usati nello studio: verifica diretta dei fatti (verify); richieste di risorse didattiche (novice); e richieste di articoli accademici (expert). Nei modelli sono state inserite le attribuzioni delle fonti e informazioni specifiche sulle materie.

Le risposte dei modelli sono state classificate in quattro categorie: confutazione esplicita, quando un’affermazione falsa veniva contestata direttamente; opposizione indiretta, quando venivano espressi disaccordo o dubbi senza respingerla apertamente; lode, quando veniva elogiata l’affermazione o l’impostazione dell’utente; e conferma, quando l’affermazione veniva avvalorata.

Esempi di espressioni usate dai modelli per respingere, mettere in dubbio, elogiare o avvalorare le affermazioni degli utenti nelle cinque lingue testate. Ove pertinente, sono fornite le traduzioni in inglese.

Ogni risposta è stata esaminata frase per frase, così da poter individuare lodi, accordi e disaccordi anche quando comparivano insieme nella stessa risposta.

Risultati

I risultati hanno confermato quanto emerso in precedenza: i modelli che individuano correttamente le affermazioni false quando viene chiesto loro di verificarle sono meno propensi a contestare le stesse affermazioni quando viene chiesto loro di fornire informazioni o consigli. Questa differenza è stata definita «divario di contestazione» ed è stata calcolata confrontando la frequenza con cui le affermazioni false venivano contestate nei test di verifica diretta con quella con cui venivano contestate nelle normali richieste di informazioni.

Confronto della frequenza con cui sette modelli linguistici hanno contestato affermazioni false nelle richieste di verifica diretta dei fatti rispetto alle richieste di informazioni, in cinque lingue. I valori negativi indicano una minore propensione a contestare nelle risposte alle richieste di informazioni. L’arancione e il blu rappresentano rispettivamente i prompt rivolti agli studenti e ai professori, mentre i simboli distinguono le fonti attribuite. Le barre di errore indicano intervalli di confidenza del 95%.

Come mostrato sopra, nelle lingue testate i due modelli Qwen 3.5 hanno evidenziato un divario più contenuto rispetto agli altri, il che indica che erano più costanti nel correggere la disinformazione, indipendentemente da come veniva formulata la domanda; i risultati mostrano inoltre come l’apparente autorevolezza della fonte abbia influito, con le affermazioni false attribuite ai libri di testo che hanno ricevuto meno obiezioni rispetto a quelle attribuite agli amici: una tendenza osservata in tutte le lingue.

Quando veniva chiesto loro di fornire informazioni, anziché verificare i fatti, i modelli erano meno propensi a respingere apertamente le affermazioni false e più inclini a rispondere con obiezioni indirette, elogi o conferme. Anche i modelli Qwen 3.5, che avevano mostrato differenze relativamente contenute nei tassi complessivi di contestazione, erano soggetti a questo comportamento.

Proporzione di risposte contenenti correzioni esplicite tra quelle che contestavano affermazioni false, in cinque lingue. I risultati sono suddivisi tra i prompt rivolti a studenti (principianti) e professori (esperti); sull’asse orizzontale sono indicate le fonti di informazione attribuite. Le barre di errore indicano intervalli di confidenza del 95%.

In quattro dei sette modelli, le affermazioni false venivano contestate esplicitamente meno spesso in hindi, cinese e yoruba che in inglese. In cinque dei sette modelli, inoltre, le risposte in hindi contenevano il maggior numero di elogi.

Le contestazioni comparivano nel 65,3% delle risposte alle richieste di informazioni, ma in genere meno della metà di queste risposte conteneva un’esplicita smentita dell’affermazione falsa. Le correzioni dirette erano più frequenti nei prompt degli studenti che in quelli dei professori, e meno frequenti quando le affermazioni erano attribuite a fonti autorevoli.

In hindi, cinese e yoruba, la maggior parte delle risposte che contestavano un’affermazione falsa lo faceva soltanto in modo indiretto, senza smentire esplicitamente l’errore; inoltre, nel 29,4% delle risposte alle richieste di informazioni, le obiezioni alle affermazioni false erano accompagnate da un’affermazione di segno opposto, una quota che saliva al 60,1% per Gemini 2.5 Pro:

Percentuale di risposte che iniziavano con un’affermazione prima di contestare un’affermazione falsa, per sette modelli e tre tipi di prompt: verifica diretta (verifica); richieste degli studenti (principianti); e richieste dei professori (esperti). I risultati riguardano le risposte che contenevano sia un’affermazione sia una contestazione. Le barre di errore indicano intervalli di confidenza del 95%.

Come si vede sopra, in genere i modelli formulavano un’affermazione prima di sollevare obiezioni, anziché correggere subito l’affermazione falsa. In alcuni casi, dopo l’obiezione seguiva un’ulteriore affermazione positiva, dando luogo a quello che i ricercatori definiscono un «complimento sandwich».

Studio con partecipanti umani

Per verificare se queste correzioni fossero davvero efficaci, sono stati reclutati 300 partecipanti: 100 anglofoni, 100 germanofoni e 100 sinofoni. I partecipanti hanno valutato alcune affermazioni false prima e dopo aver letto le risposte dei modelli.

Come illustrato di seguito, solo le correzioni esplicite hanno ridotto in modo affidabile la convinzione nelle affermazioni false tra gli anglofoni e i germanofoni. Anche in questo caso, dopo aver letto le risposte, soltanto il 46,7% degli anglofoni e il 43,8% dei germanofoni ha giudicato inesatte le affermazioni. Tra i sinofoni, solo le risposte che combinavano un’affermazione con una contestazione indiretta hanno prodotto un miglioramento statisticamente significativo:

Variazioni nelle valutazioni dei partecipanti riguardo ad affermazioni false dopo aver letto risposte dei modelli contenenti un’affermazione, obiezioni indirette o correzioni esplicite. I risultati riguardano 100 persone per ciascuna lingua: inglese, tedesco e cinese. I valori negativi indicano una minore convinzione nell’affermazione falsa. I singoli punti rappresentano i partecipanti, mentre le barre di errore nere indicano intervalli di confidenza del 95%.

I ricercatori hanno inoltre verificato se invitare i modelli ad «aspettare un momento» prima di rispondere ne avrebbe aumentato la propensione a contestare le informazioni fuorvianti. Nell’ultima illustrazione qui sotto si osservano, in alcuni casi, un aumento delle contestazioni e una riduzione delle formulazioni adulatorie, ma anche un maggior numero di obiezioni errate ad affermazioni vere:

Confronto tra le risposte di sette modelli prima e dopo l’intervento «aspetta un momento», usando prompt in inglese e tradotti. I grafici mostrano le contestazioni complessive delle affermazioni false, le correzioni esplicite senza affermazioni positive e le obiezioni errate ad affermazioni vere. I marcatori verticali neri indicano i risultati della verifica diretta.

Conclusioni

Si potrebbe sostenere che, nella «logica interna» dei modelli linguistici, cortesia e deferenza siano ormai state confuse (ovvero, nel complesso, per effetto dell’interazione tra le matrici apprese durante l’addestramento e i numerosi vincoli imposti dall’esterno a cui devono sottostare); inoltre, il nuovo studio non chiarisce perché a volte i modelli riconoscano un’affermazione falsa, ma accompagnino le loro obiezioni con lodi o manifestazioni di accordo.

Il problema fondamentale è che prodotti destinati ai consumatori, come le serie GPT e Gemini, sono stati forzati ad adottare livelli di presentazione antropomorfici, così che la più ampia fascia di clienti paganti — forse il «minimo comune denominatore» e il segmento di pubblico di riferimento più numeroso e redditizio — possa comprendere facilmente il prodotto e voglia continuare ad acquistarlo.

Se solo potessimo ammettere che il prodotto non è umano, potremmo almeno provare a disattivare tutto questo «contesto» confuso e accedere più direttamente alle conoscenze apprese dai modelli.

* Anche se, naturalmente, queste informazioni contribuiscono di per sé al progresso del settore.

Pubblicato per la prima volta giovedì 15 ottobre 2026