Perché il testo generato dall’IA è più difficile da capire di quanto si pensi

I modelli di IA potrebbero diventare più difficili da capire perché, durante l’addestramento, vengono sempre più premiati per la capacità di risolvere i problemi in modo efficiente anziché di spiegare le cose con chiarezza alle persone.

La frase qui sopra, non modificata, è stata scritta da ChatGPT in risposta a una richiesta di sintesi di un articolo scientifico in una sola frase, in stile ELI5; presenta almeno alcune delle caratteristiche che deformano il linguaggio descritte in questo nuovo studio*. Il nuovo lavoro conclude che il problema riguarda tutti i modelli di punta, quelli prossimi alla frontiera e anche alcuni modelli open-weight sottoposti a test.

Per esempio, la prima parte del segmento «il loro addestramento premia sempre più la risoluzione efficiente dei problemi» esemplifica l’osservazione degli autori secondo cui a volte i modelli di IA attribuiscono azioni umane a entità non viventi (poiché, nell’esempio qui sopra, l’«addestramento» viene descritto come qualcosa che premia attivamente qualcosa).

Questo può rendere più difficile analizzare rapidamente la frase, perché dobbiamo riconoscere mentalmente che si tratta di un’attribuzione a scopo illustrativo, anziché interpretarla alla lettera (cosa molto più semplice).

Anche la parte finale, «premia sempre più la risoluzione efficiente dei problemi», comprime insieme diverse idee e costringe chi legge a capire che cosa viene premiato, che cosa viene risolto e che cosa diventa più efficiente.

L’articolo afferma^†:

«[Readers] usano l’animatezza come indizio durante l’elaborazione e, senza ulteriore contesto, una mancata corrispondenza può provocare una risposta P600^†† associata alla ri-analisi.

«Tuttavia, riformulare queste frasi per evitare soggetti inanimati potrebbe richiederne l’allungamento: per esempio, la parola “morde” sta per “causa un problema”.

«Ipotizziamo che, durante l’addestramento, i modelli possano aver finito per adottare costruzioni di questo tipo come modi efficienti, anche se non standard, di esprimere significati che altrimenti richiederebbero più token.»

Ma che vuol dire?

Questo è il punto centrale dell’articolo: poiché i moderni modelli di IA, come ChatGPT, Claude e Gemini, sono ottimizzati per diversi tipi di risoluzione dei problemi, anziché specificamente per comunicare, tendono a presentare le informazioni in forma estremamente compressa, che richiede un certo lavoro di decodifica.

La cosa mi ha sorpreso, perché cerco continuamente di convincere ChatGPT e i suoi simili a essere meno prolissi e più concisi: un problema che la letteratura riconosce e affronta.

L’articolo descrive invece la prolissità come una sorta di bomba ZIP, che ostacola la comprensione anche quando la frase non è molto lunga. Se quindi sommiamo il problema della lunghezza eccessiva delle risposte predefinite all’osservazione degli autori sulla compressione eccessiva, possiamo immaginare che lo stile tipico delle risposte predefinite dell’IA di frontiera sia piuttosto particolare (e, presumibilmente, questo stile piuttosto telegrafico viene usato in parte come criterio nei rilevatori di testo generato dall’IA, anche se l’articolo non affronta la questione).

Gli autori esaminano anche i composti nominali concatenati, come nell’espressione problematica Squadra aiuta vittima di morso di cane^†:

«In inglese, i sostantivi possono modificare liberamente altri sostantivi con funzione aggettivale: nell’espressione coffee shop, coffee modifica shop, pur essendo di norma un sostantivo. Questa caratteristica permette di concatenare più sostantivi in composti ricchi, che esprimono significati molto specifici.

Tuttavia, queste concatenazioni possono creare ambiguità nell’analisi della struttura, come nel titolo Squadra aiuta vittima di morso di cane, e ostacolare la lettura.»

Se i modelli linguistici di grandi dimensioni sono prolissi perché comprimono il testo, diventano due volte prolissi producendo volumi eccessivi di testo compresso in risposta a una richiesta? Questo significa che non solo c’è molto testo da leggere in risposta alla richiesta, ma che il testo stesso può contenere molti significati «impliciti» da decodificare.

Uno studio del 2023 ipotizzava che i modelli linguistici di grandi dimensioni possano diventare inutilmente prolissi perché durante l’addestramento vengono usati valutatori basati sull’IA, che spesso premiano le risposte più lunghe, anche quando nei test dello studio le persone preferivano quelle più brevi.

Gli autori del nuovo lavoro attribuiscono (come si legge nella citazione precedente) alcune tendenze alla compressione dei modelli di frontiera alla loro predisposizione architetturale a risparmiare token, un’ipotesi generosa di questi tempi.

Vediamo i metodi, i dati e i test utilizzati dagli autori nello studio.

Dati e metodi

Le combinazioni insolite di parole (misurate attraverso gli n-grammi, cioè sequenze di parole) sono state esaminate per valutarne l’imprevedibilità; le combinazioni rare risultano associate a maggiori difficoltà di lettura.

È stata misurata anche la lunghezza delle dipendenze (la distanza tra parole collegate grammaticalmente), poiché distanze maggiori sollecitano più intensamente la memoria di lavoro, soprattutto quando soggetto e verbo sono separati da diverse parole interposte.

Sono state esaminate le proposizioni relative oggettive (costruzioni come «la casa che i muratori hanno costruito»), in particolare quando vengono omesse parole facoltative (come «che» in «la casa che i muratori hanno costruito»).

Sono stati esaminati anche i già citati composti nominali concatenati (tre o più nomi uniti tra loro, come in «generatore di colonne sonore per film horror»), perché i rapporti tra le parole che li compongono possono risultare ambigui.

Sono stati esaminati i verbi denominali (nomi usati come verbi, come «forchettalo» invece di «mettilo sulla forchetta»), insieme ai soggetti inanimati abbinati a verbi solitamente associati agli esseri viventi (come discusso in precedenza). Entrambe le costruzioni permettono di condensare i significati in un minor numero di parole, ma possono richiedere un’interpretazione aggiuntiva da parte dei lettori.

I modelli esaminati

I ricercatori hanno raccolto conversazioni generate dall’IA da 14 modelli: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 e Fable 5; GPT-5.6 Luna, Terra e Sol; Olmo Base, Instruct e Think; e Llama Base and Instruct.

I test comprendevano dieci prompt iniziali per la conversazione generale e cinque per la programmazione. Per ciascun compito, il modello doveva clonare un repository GitHub pubblico esistente, individuare i bug e correggerli in un ambiente sandbox.

Le conversazioni erano limitate a 12 scambi, mentre le sessioni di programmazione erano limitate a 11, seguite da un messaggio conclusivo prestabilito. In un test separato, è stato chiesto a ciascun modello di scrivere sette saggi basati su tracce tratte dal dataset PERSUADE 2.0.

Per il confronto, sono stati selezionati testi scritti da esseri umani provenienti da fonti il più possibile corrispondenti ai tre tipi di output dell’IA: OpenSubtitles (una raccolta di sottotitoli di film e programmi televisivi, non collegata alla piattaforma open source subs) è stata utilizzata per la conversazione generale; StackExchange (la rete online di forum di domande e risposte) per le discussioni sulla programmazione; e i saggi degli studenti tratti dal già citato dataset PERSUADE 2.0 per le attività di scrittura. Anche Wikipedia è stata usata come ulteriore fonte di confronto.

Quando erano disponibili dati umani adeguati, le stesse caratteristiche linguistiche sono state misurate nei testi scritti da esseri umani e in quelli generati dall’IA; queste raccolte di riferimento sono state utilizzate anche per valutare la frequenza delle combinazioni di parole.

La traduzione andata e ritorno (dall’inglese al giapponese e di nuovo all’inglese, usando il modello NLLB-200) è servita a distinguere le preferenze stilistiche dalle necessità linguistiche. Il significato è stato in gran parte preservato, mentre la struttura delle frasi è cambiata, consentendo di individuare formulazioni inutilmente complesse.

Risultati

Esperimento 1

Come mostrato di seguito, diverse costruzioni difficili sono risultate più frequenti nei testi originali generati dall’IA, in particolare nei modelli più avanzati. Ciò è stato interpretato come prova di una preferenza per formulazioni inutilmente complesse:

Confronto tra i testi originali generati dall’IA e le versioni tradotte in giapponese e poi di nuovo in inglese. I punti verdi indicano gli schemi linguistici più frequenti nei testi originali; quelli rosa, gli schemi più frequenti dopo la traduzione. Le differenze erano generalmente maggiori nei modelli GPT e Claude. Fonte

Le sei caratteristiche linguistiche sono state confrontate in 14 modelli di IA in tre contesti (chat, programmazione e scrittura di saggi). Dodici modelli sono stati testati nella chat, nove nella programmazione e tutti e 14 nella scrittura di saggi:

Confronto tra sei caratteristiche linguistiche nei modelli di IA per chat, programmazione e scrittura di saggi. Ogni rombo rappresenta il risultato aggregato di un modello; le barre orizzontali mostrano gli intervalli di confidenza al 95%. Le linee verticali tratteggiate indicano i valori di riferimento dei testi scritti da esseri umani: OpenSubtitles (chat), StackExchange (programmazione) e i saggi degli studenti del dataset PERSUADE 2.0 (scrittura di saggi). Le linee puntinate indicano i confronti con Wikipedia. Valori più alti indicano in genere un uso più frequente della costruzione misurata o una maggiore complessità linguistica. Per una risoluzione migliore, consultare l’articolo originale.

Il testo originale generato dall’IA è stato confrontato anche con le sue versioni ritradotte, così da poter misurare le differenze nella struttura delle frasi:

Confronto tra il testo originale generato dall’IA (rombi pieni) e le versioni tradotte in giapponese e poi nuovamente in inglese con NLLB-200 (cerchi vuoti). Le linee rosa indicano le caratteristiche usate più spesso dopo la traduzione; quelle verdi indicano le caratteristiche usate più spesso nei testi originali. Gli asterischi indicano la significatività statistica (uno, due o tre asterischi rappresentano evidenze statistiche progressivamente più forti). La traduzione ha ridotto la maggior parte delle costruzioni associate alle difficoltà di lettura, in particolare nei modelli di frontiera. Per una risoluzione migliore, consultare l’articolo di ricerca originale.

È emerso che i modelli di frontiera e quelli prossimi alla frontiera fanno un uso eccessivo di combinazioni di parole insolite, verbi denominali, soggetti inanimati e proposizioni relative oggettive in cui vengono omesse parole facoltative (vedi il grafico sopra). Queste tendenze erano generalmente meno marcate in Llama e Olmo Base, ma più accentuate in Olmo Think.

Le differenze osservate nella scrittura di saggi erano più contenute rispetto a quelle riscontrate nelle conversazioni o nella programmazione. Gli autori le hanno attribuite alla natura dei saggi, basati su un unico prompt: le conversazioni prolungate e caratterizzate da numerosi scambi potrebbero infatti favorire una maggiore compressione linguistica.

Gli autori osservano:

«I saggi PERSUADE presentano variazioni più contenute dopo la traduzione di andata e ritorno in diverse categorie (misure degli n-grammi, lunghezza delle dipendenze, sequenze di sostantivi, verbi denominali) rispetto alle conversazioni e [coding].

«Ipotizziamo che ciò dipenda dal fatto che si basano su un unico prompt, a differenza dei numerosi scambi iterativi delle conversazioni e della programmazione. Supponiamo che alcuni schemi possano emergere nel corso di conversazioni prolungate e caratterizzate da numerosi scambi (che potrebbero richiedere una maggiore compressione delle informazioni).»

Le variazioni minori dopo la traduzione sono state riscontrate in Llama e Olmo Base e Instruct, che si sono avvicinati maggiormente ai saggi degli studenti anche per quanto riguarda le combinazioni di parole e l’uso dei verbi. Olmo Think, invece, si è comportato più come i modelli di frontiera. È stato osservato che Claude Opus 5.5 ha usato meno costruzioni difficili di Opus 5 in 19 confronti su 21; in otto di questi, gli intervalli di confidenza al 95% non si sovrapponevano.

Esperimento 2

Il secondo esperimento è stato progettato per verificare se una pressione intrinseca a produrre risposte più brevi e dense di informazioni potesse indurre i modelli a preferire costruzioni linguistiche più difficili da comprendere per gli esseri umani.

In questo caso, Qwen2.5-1.5B-Instruct è stato ottimizzato con un ulteriore addestramento usando l’ottimizzazione delle policy relative al gruppo (GRPO); al modello è stato assegnato il compito di trasformare descrizioni strutturate di eventi, in formato JSON, in frasi in inglese.

Sono stati modificati due aspetti dell’addestramento: quanto il modello poteva discostarsi dalle parole che avrebbe scelto normalmente (β) e quanto severamente veniva penalizzato per la produzione di risposte più lunghe (λ). Ogni evento poteva essere espresso in due modi grammaticalmente corretti, con una differenza nota nel numero di token.

Per esempio, «Ci ha mandato una foto» richiedeva sei token, contro i sette di «Ha mandato una foto a noi». È stato inoltre svolto un test separato in cui due modi di esprimere la stessa cosa richiedevano lo stesso numero di token, per verificare se le differenze fossero dovute alla lunghezza delle frasi.

L’effetto è stato verificato su frasi mai viste prima, usando quattro costruzioni incontrate durante l’addestramento, due costruzioni non incluse nell’addestramento che contenevano la parola facoltativa «that» e costruzioni non correlate riguardanti possessivi, quantificatori, forme passive e proposizioni finali.

I test sono stati progettati per stabilire se la preferenza per formulazioni più brevi sarebbe stata appresa e trasferita a costruzioni mai incontrate durante l’addestramento:

L’effetto della penalizzazione delle risposte più lunghe durante l’addestramento. In A è mostrato un esempio di formulazione più breve e di una più lunga. In B vengono misurate le preferenze per le costruzioni più brevi, mentre in C e D sono mostrati i test su costruzioni mai viste durante l’addestramento. L’arancione indica l’addestramento senza limitazioni sulle modifiche al modello originale; il blu indica l’addestramento con tale limitazione. Le linee tratteggiate mostrano le preferenze del modello originale. In generale, penalizzazioni più forti hanno prodotto una maggiore preferenza per formulazioni più brevi, anche in costruzioni assenti dall’addestramento. Per una risoluzione migliore, consultare l’articolo originale.

Con l’aumentare della penalizzazione delle risposte più lunghe, venivano scelte più spesso formulazioni brevi (come illustrato qui sopra). In assenza della penalizzazione KL (un limite alla misura in cui il modello poteva discostarsi dalle sue previsioni originali sulle parole), il cambiamento è stato rapido; con la penalizzazione, lo stesso effetto si è manifestato più gradualmente. Senza nessuna delle due penalizzazioni, le preferenze variavano notevolmente da un ciclo di addestramento all’altro, ma persino una penalizzazione modesta della lunghezza ha prodotto una preferenza costante per le alternative più brevi.

Questa preferenza è stata osservata anche in costruzioni frasali mai viste prima che prevedevano l’uso facoltativo della parola «that». Il trasferimento a costruzioni grammaticali più distanti è stato molto più debole: un effetto è stato rilevato solo nei possessivi, in assenza della penalizzazione KL.

Gli autori concludono:

«Consideriamo questi risultati una dimostrazione del concetto secondo cui una penalizzazione della lunghezza applicata durante l’apprendimento per rinforzo con GRPO può incidere direttamente sulle caratteristiche grammaticali.

Osserviamo che al modello non è stato chiesto direttamente di usare un linguaggio conciso o denso, né sono state fornite direttamente informazioni sulla disponibilità di alternative sintattiche.

La penalizzazione ha invece generato una preferenza emergente per le varianti più brevi delle alternative sintattiche».

Conclusione

Da tempo mi interessano gli elementi ricorrenti che caratterizzano i testi generati dall’IA, sia involontari sia intenzionali. Questo nuovo contributo fa quindi luce sull’apparente conflitto tra la nota prolissità degli LLM e la loro ormai altrettanto nota tendenza a comprimere le informazioni in modi che sembrano «facili da leggere», semplicemente perché usano poche parole; ma è chiaramente un’interpretazione errata di questo indizio.

Negli LLM, la brevità del testo generato può segnalare complessità anziché una sintesi essenziale, come se l’IA ci porgesse un rompicapo invece dei concetti espliciti che stanno dietro alle parole. A quanto pare, tutto questo serve a consentire a un unico modello di programmare e scrivere.

* Intitolato «Perché è così difficile da capire il linguaggio generato dall’IA?», è opera di due autori affiliati alla New York University e alla The University of Texas.

^† La mia conversione delle citazioni nel testo degli autori in collegamenti ipertestuali.

^†† https://mikeydoes.com/glossary/p600/

Pubblicato per la prima volta lunedì 26 ottobre 2026