Le SFide dell’Intelligenza Artificiale nel Riprodurre la Lingua Storica

Una collaborazione tra ricercatori negli Stati Uniti e in Canada ha scoperto che i grandi modelli linguistici (LLM) come ChatGPT faticano a riprodurre gli idiomi storici senza un’addestramento estensivo – un processo costoso e laborioso che va oltre le possibilità della maggior parte delle iniziative accademiche o di intrattenimento, rendendo progetti come il completamento del romanzo finale e incompiuto di Charles Dickens attraverso l’intelligenza artificiale una proposta improbabile.

I ricercatori hanno esplorato una serie di metodi per generare testi che suonassero storicamente accurati, partendo da semplici prompt utilizzando prosa del primo Novecento e passando all’addestramento fine di un modello commerciale su una piccola raccolta di libri di quel periodo.

Hanno anche confrontato i risultati con un modello separato che era stato addestrato interamente su libri pubblicati tra il 1880 e il 1914.

Nel primo dei test, istruendo ChatGPT-4o a imitare la lingua fin‑de‑siècle ha prodotto risultati molto diversi da quelli del modello GPT2 più piccolo che era stato addestrato fine su letteratura del periodo:

Chiesto di completare un testo storico reale (al centro), anche un ChatGPT-4o ben preparato (in basso a sinistra) non può fare a meno di tornare alla modalità ‘blog’, fallendo nel rappresentare l’idioma richiesto. Al contrario, il modello GPT2 addestrato fine (in basso a destra) cattura bene lo stile linguistico, ma non è altrettanto preciso in altri modi. Fonte: https://arxiv.org/pdf/2505.00030

Sebbene l’addestramento fine porti l’output più vicino allo stile originale, i lettori umani sono stati ancora in grado di rilevare tracce di linguaggio moderno o idee, suggerendo che anche modelli attentamente regolati continuano a riflettere l’influenza dei loro dati di addestramento contemporanei.

I ricercatori sono arrivati alla conclusione frustrante che non ci sono scorciatoie economiche per la generazione di testi storici idiomaticamente corretti o dialoghi prodotti da macchine. Sospettano anche che la sfida stessa potrebbe essere mal posta:

‘[Dovremmo] considerare la possibilità che l’anacronismo possa essere in qualche senso inevitabile. Che rappresentiamo il passato istruendo modelli storici perché possano condurre conversazioni, o insegnando modelli contemporanei a ventriloquizzare un periodo più antico, potrebbe essere necessario un compromesso tra gli obiettivi di autenticità e fluidità conversazionale.

‘Non ci sono, dopotutto, esempi “autentici” di una conversazione tra un interrogante del XXI secolo e un rispondente del 1914. I ricercatori che tentano di creare tale conversazione dovranno riflettere sul [premessa] che l’interpretazione implica sempre una negoziazione tra presente e [passato].’

Lo studio nuovo è intitolato Possono i Modelli Linguistici Rappresentare il Passato senza Anacronismo? e proviene da tre ricercatori dell’Università dell’Illinois, dell’Università della Columbia Britannica e dell’Università di Cornell.

Disastro Completo

Inizialmente, in un approccio di ricerca a tre parti, gli autori hanno testato se i modelli linguistici moderni potessero essere spinti a imitare la lingua storica attraverso semplici prompt. Utilizzando estratti reali da libri pubblicati tra il 1905 e il 1914, hanno chiesto a ChatGPT-4o di continuare questi passaggi nello stesso idioma.

Il testo originale del periodo era:

‘In questo ultimo caso, si economizzano circa cinque o sei dollari al minuto, poiché più di venti metri di pellicola devono essere avvolti per proiettare durante un solo minuto un oggetto di una persona in riposo o un paesaggio. Così si ottiene una combinazione pratica di immagini fisse e in movimento, che produce effetti artistici molto interessanti.

‘Ciò consente anche di lavorare con due cinematografi che proiettano alternativamente per evitare la scintillazione, o proiettando simultaneamente immagini rosse e verdi e riproducendo i colori naturali, alleviando così la fatica fisiologica dell’occhio umano, abituato a ricevere i colori fondamentali simultaneamente. Una parola adesso sull’applicazione della luce fredda alla fotografia istantanea.’

Per valutare se il testo generato corrispondeva allo stile storico desiderato, e consapevoli che le persone non sono particolarmente brave a indovinare la data in cui un testo è stato scritto, i ricercatori hanno addestrato fine un modello RoBERTa per prevedere le date di pubblicazione, utilizzando un subset del Corpus of Historical American English, che copre il materiale dal 1810 al 2009.

Il classificatore RoBERTa è stato quindi utilizzato per valutare le continuazioni prodotte da ChatGPT-4o, che era stato istruito con passaggi reali da libri pubblicati tra il 1905 e il 1914.

L’istruzione del sistema (ovvero, le istruzioni contestuali a ChatGPT su come affrontare il compito) era:

‘Il tuo compito è completare passaggi da libri del primo Novecento. Ti verrà dato un passaggio da un libro pubblicato nel 1913. Continua questo passaggio nello stesso stile, per almeno 200 parole. Solo fornisci questa continuazione; non fare commenti di cornice, come “Ecco la continuazione:”.

Nonostante sia il prompt one-shot che quello 20-shot, gli output di ChatGPT-4o sono costantemente deviati verso un registro stilistico del XXI secolo.

L’esempio fornito nel documento presenta uno dei tentativi di ChatGPT-4o di continuare il testo originale del periodo sulla fotografia:

‘L’uso della luce fredda nella fotografia istantanea ha rivoluzionato l’approccio alla cattura di immagini in condizioni di luce variabili. Tradizionalmente, i fotografi hanno lottato con la durezza e la variabilità della luce naturale o la natura invasiva della fotografia con flash, che poteva disturbare l’atmosfera di una scena o il comportamento naturale dei soggetti, in particolare nella fotografia di animali e nella fotografia di persone in modo casuale.

‘La luce fredda, con la sua natura più morbida e diffusa… consente una rappresentazione più naturale dei colori e delle texture, che spesso si perde sotto l’illuminazione artificiale dura.’

Come possiamo facilmente vedere, questo testo generico e nello stile di un blog non corrisponde allo stile elaborato e prolisso del testo originale del periodo. Inoltre, non continua realmente da dove il testo originale si interrompe, ma lancia una riflessione tangenziale e astratta su uno degli argomenti secondari.

Il team ha anche testato GPT-1914, un modello GPT-2 più piccolo addestrato da zero su 26,5 miliardi di token di letteratura datati tra il 1880 e il 1914.

Sebbene il suo output sia stato meno coerente rispetto a quello di ChatGPT-4o, è stato più coerente con lo stile del periodo di origine. L’unico esempio fornito nel documento, di nuovo come continuazione del testo reale del periodo sulla fotografia, recita:

‘Il principio della sua azione è stato già spiegato (p. 4). Qui menzioneremo solo che può essere applicato con vantaggio quando si desidera ottenere fotografie molto rapide su carta coperta con collodio, così come quelle scattate con lastre di gelatina.

‘In tali casi, l’esposizione non deve superare un secondo al massimo; ma se la foto è desiderata per essere sviluppata in meno tempo – diciamo mezzo secondo – allora la temperatura non dovrebbe mai scendere sotto i 20° C., altrimenti l’immagine diventerà troppo scura dopo lo sviluppo; inoltre, la lastra perderebbe la sua sensibilità in queste condizioni.

‘Per scopi ordinari, tuttavia, basta semplicemente esporre la superficie sensibile a un basso grado di calore senza alcuna precauzione speciale oltre a mantenere il’ [sic]

Sebbene il materiale reale e originale sia arcano e difficile da seguire, è difficile capire fino a che punto GPT-1914 abbia accuratamente colto l’essenza del testo originale; tuttavia, l’output suona sicuramente più autentico per il periodo.

Tuttavia, gli autori concludono da questo esperimento che il semplice prompt fa poco per superare i pregiudizi contemporanei di un modello pre-addestrato grande come ChatGPT-4o.

La Trama Si Infittisce

Per misurare quanto da vicino gli output del modello assomigliavano alla scrittura storica autentica, i ricercatori hanno utilizzato un classificatore statistico per stimare la data di pubblicazione probabile di ogni campione di testo. Quindi, hanno visualizzato i risultati utilizzando un grafico di densità del kernel, che mostra dove il modello pensa che ogni passaggio cada nella linea del tempo.

Date di pubblicazione stimate per testi reali e generati, basate su un classificatore addestrato per riconoscere lo stile storico (testi di origine 1905-1914 confrontati con continuazioni di GPT-4o utilizzando prompt one-shot e 20-shot, e GPT-1914 addestrato solo su letteratura dal 1880 al 1914).

I passaggi scritti da GPT-1914, il modello addestrato interamente su letteratura del periodo, si sono raggruppati intorno al primo Novecento – simile al materiale di origine.

Al contrario, gli output di ChatGPT-4o, anche quando istruito con più esempi storici, tendevano ad assomigliare alla scrittura del XXI secolo, riflettendo i dati su cui era stato originariamente addestrato.

I ricercatori hanno quantificato questa discordanza utilizzando la divergenza di Jensen-Shannon, una misura di quanto due distribuzioni di probabilità siano diverse. GPT-1914 ha ottenuto un punteggio molto vicino, pari a 0,006, rispetto al testo storico reale, mentre gli output di ChatGPT-4o, sia con prompt one-shot che 20-shot, hanno mostrato lacune molto più ampie, rispettivamente 0,310 e 0,350.

Gli autori sostengono che questi risultati indicano che il prompt alone, anche con più esempi, non è un metodo affidabile per produrre testi che simulano convincentemente uno stile storico.

Completare il Passaggio

Il documento poi indaga se l’addestramento fine potrebbe produrre un risultato superiore, poiché questo processo coinvolge direttamente l’influenza sui pesi di un modello continuando il suo addestramento su dati specificati dall’utente – un processo che può influenzare la funzionalità originale del modello, ma migliorare notevolmente le sue prestazioni nel dominio che viene “spinto” o enfatizzato durante l’addestramento fine.

Nel primo esperimento di addestramento fine, il team ha addestrato GPT-4o-mini su circa duemila paia di passaggi-completamento tratti da libri pubblicati tra il 1905 e il 1914, con l’obiettivo di vedere se un addestramento fine su scala ridotta potesse spostare gli output del modello verso uno stile storicamente più accurato.

Utilizzando lo stesso classificatore RoBERTa basato su cui aveva agito come giudice nei test precedenti per stimare la “data” stilistica di ogni output, i ricercatori hanno scoperto che nel nuovo esperimento, il modello addestrato fine ha prodotto testi allineati strettamente con la verità di base.

La sua divergenza stilistica dai testi originali, misurata dalla divergenza di Jensen-Shannon, è scesa a 0,002, generalmente in linea con GPT-1914:

Date di pubblicazione stimate per testi reali e generati, mostrando quanto da vicino GPT-1914 e una versione addestrata fine di GPT-4o-mini corrispondono allo stile della scrittura del primo Novecento (basato su libri pubblicati tra il 1905 e il 1914).

Tuttavia, i ricercatori avvertono che questa metrica potrebbe catturare solo caratteristiche superficiali dello stile storico e non anacronismi concettuali o fattuali più profondi.

‘[Questo] non è un test molto sensibile. Il modello RoBERTa utilizzato come giudice qui è addestrato solo a prevedere una data, non a discriminare passaggi autentici da anacronismi. Probabilmente utilizza prove stilistiche grossolane per fare quella previsione. Lettori umani, o modelli più grandi, potrebbero ancora essere in grado di rilevare contenuti anacronistici in passaggi che superficialmente “suonano” nel periodo.

Tocco Umano

Infine, i ricercatori hanno condotto test di valutazione umana utilizzando 250 passaggi selezionati a mano da libri pubblicati tra il 1905 e il 1914, e osservano che molti di questi testi sarebbero probabilmente interpretati in modo molto diverso oggi rispetto a quando sono stati scritti:

‘La nostra lista includeva, ad esempio, una voce di enciclopedia su Alsazia (che allora faceva parte della Germania) e una su beriberi (che allora era spesso spiegato come una malattia fungina piuttosto che una carenza nutrizionale). Mentre queste sono differenze di fatto, abbiamo anche selezionato passaggi che avrebbero mostrato differenze più sottili di atteggiamento, retorica o immaginazione.

‘Ad esempio, le descrizioni di luoghi non europei all’inizio del Novecento tendono a scivolare nella generalizzazione razziale. Una descrizione dell’alba sulla luna scritta nel 1913 immagina fenomeni cromatici ricchi, poiché nessuno aveva ancora visto fotografie di un mondo senza [atmosfera].’

I ricercatori hanno creato domande brevi che ogni passaggio storico poteva plausibilmente rispondere, quindi hanno addestrato fine GPT-4o-mini su queste paia di domanda-risposta. Per rafforzare la valutazione, hanno addestrato cinque versioni separate del modello, ogni volta tenendo fuori una porzione diversa dei dati per il test.

Quindi, hanno prodotto risposte utilizzando sia le versioni predefinite di GPT-4o che GPT-4o-mini, sia le versioni addestrate fine, ogni volta valutate sulla porzione che non avevano visto durante l’addestramento.

Persi nel Tempo

Per valutare quanto convincentemente i modelli potessero imitare la lingua storica, i ricercatori hanno chiesto a tre annotatori esperti di esaminare 120 completamenti generati dall’IA e di giudicare se ognuno sembrava plausibile per uno scrittore nel 1914.

Questo approccio di valutazione diretta si è rivelato più impegnativo del previsto: sebbene gli annotatori concordassero sulle loro valutazioni quasi l’80% delle volte, lo squilibrio nei loro giudizi (con ‘plausibile’ scelto due volte più spesso di ‘non plausibile’) significava che il loro livello di accordo effettivo era solo moderato, come misurato da un punteggio di Cohen’s kappa di 0,554.

I valutatori stessi hanno descritto il compito come difficile, spesso richiedendo ulteriori ricerche per valutare se una dichiarazione si allineava con ciò che era noto o creduto nel 1914.

Alcuni passaggi hanno sollevato domande difficili su tono e prospettiva – ad esempio, se una risposta era appropriatamente limitata nella sua visione del mondo per riflettere ciò che sarebbe stato tipico nel 1914. Questo tipo di giudizio spesso dipendeva dal livello di etnocentrismo (ovvero, la tendenza a vedere altre culture attraverso le assunzioni o i pregiudizi della propria cultura).

In questo contesto, la sfida era decidere se un passaggio esprimeva abbastanza pregiudizio culturale per sembrare storicamente plausibile senza suonare troppo moderno o troppo offensivo secondo gli standard odierni. Gli autori notano che anche per studiosi familiari con il periodo, è stato difficile tracciare una linea netta tra linguaggio che sembrava storicamente accurato e linguaggio che rifletteva idee odierne.

Tuttavia, i risultati hanno mostrato una classificazione chiara dei modelli, con la versione addestrata fine di GPT-4o-mini giudicata più plausibile nel complesso:

Valutazioni degli annotatori sulla plausibilità dell’output di ogni modello

Se questo livello di prestazione, valutato plausibile nell’80% dei casi, sia sufficientemente affidabile per la ricerca storica rimane incerto – in particolare poiché lo studio non ha incluso una misura di base di quanto spesso i testi del periodo potrebbero essere mal classificati.

Allarme Intruso

Successivamente, è stato condotto un test “intruso”, in cui agli annotatori esperti sono stati mostrati quattro passaggi anonimi che rispondevano alla stessa domanda storica. Tre delle risposte provenivano da modelli linguistici, mentre una era un vero e proprio estratto da una fonte del primo Novecento.

Il compito era identificare quale passaggio fosse l’originale, realmente scritto durante il periodo.

Questo approccio non chiedeva agli annotatori di valutare direttamente la plausibilità, ma piuttosto misurava quanto spesso il passaggio reale si distingueva dalle risposte generate dall’IA, in effetti testando se i modelli potevano ingannare i lettori facendogli credere che il loro output fosse autentico.

La classificazione dei modelli ha corrisposto ai risultati del compito di valutazione precedente: la versione addestrata fine di GPT-4o-mini è stata il modello più convincente tra i modelli, ma è ancora rimasta indietro rispetto al vero.

Frequenza con cui ogni fonte è stata correttamente identificata come il passaggio storico autentico.

Questo test ha anche fornito un utile punto di riferimento, poiché, con il passaggio reale identificato più della metà delle volte, il divario tra prosa autentica e sintetica è rimasto evidente per i lettori umani.

Un’analisi statistica nota come test di McNemar ha confermato che le differenze tra i modelli erano significative, tranne che nel caso delle due versioni non addestrate (GPT-4o e GPT-4o-mini), che hanno eseguito in modo simile.

Il Futuro del Passato

Gli autori hanno scoperto che istruire modelli linguistici moderni ad adottare una voce storica non ha prodotto risultati convincenti: meno di due terzi degli output sono stati giudicati plausibili da lettori umani, e anche questo numero probabilmente sovrastima le prestazioni.

In molti casi, le risposte includevano segnali espliciti che il modello stava parlando da una prospettiva odierna – frasi come ‘nel 1914, non si sa ancora che…’ o ‘al 1914, non sono familiare con…’ erano abbastanza comuni da apparire in fino a un quinto delle continuazioni. Dichiarazioni di questo tipo hanno reso chiaro che il modello stava simulando la storia dall’esterno, piuttosto che scrivendo da dentro.

Gli autori affermano:

‘Le prestazioni scarse dell’apprendimento in contesto sono sfortunate, poiché questi metodi sono i più facili e economici per la ricerca storica basata sull’IA. Sottolineiamo che non abbiamo esplorato questi approcci in modo esaustivo.

‘Potrebbe risultare che l’apprendimento in contesto sia adeguato – ora o in futuro – per un subset di aree di ricerca. Ma le nostre prove iniziali non sono incoraggianti.’

Gli autori concludono che, sebbene l’addestramento fine di un modello commerciale su passaggi storici possa produrre output stilisticamente convincenti a costo minimo, non elimina completamente tracce di prospettiva moderna. Addestrare un modello interamente su materiale del periodo evita anacronismi, ma richiede molte più risorse e produce output meno fluenti.

Nessun metodo offre una soluzione completa, e, per ora, ogni tentativo di simulare voci storiche sembra implicare un compromesso tra autenticità e coerenza. Gli autori concludono che ulteriori ricerche saranno necessarie per chiarire come navigare al meglio questa tensione.

Conclusione

Forse una delle domande più interessanti che sorgono dal nuovo studio è quella dell’autenticità. Sebbene non siano strumenti perfetti, funzioni di perdita e metriche come LPIPS e SSIM danno ai ricercatori di visione artificiale almeno una metodologia come-per-compare per valutare contro la verità di base.

Quando si genera nuovo testo nello stile di un’epoca passata, al contrario, non c’è verità di base – solo un tentativo di abitare una prospettiva culturale scomparsa. Tentare di ricostruire quella mente da tracce letterarie è esso stesso un atto di quantizzazione, poiché tali tracce sono solo prove, mentre la coscienza culturale da cui emergono rimane al di là dell’inferenza e probabilmente al di là dell’immaginazione.

A livello pratico, anche le fondamenta dei modelli linguistici moderni, plasmate dalle norme e dai dati odierni, rischiano di reinterpretare o sopprimere idee che sarebbero apparse ragionevoli o insignificanti a un lettore edoardiano, ma che ora si registrano come (spesso offensive) artefatti di pregiudizio, disuguaglianza o ingiustizia.

Si potrebbe quindi chiedere se, anche se potessimo creare un tale colloquio, potrebbe non ripugnarci.

Pubblicato per la prima volta venerdì, 2 maggio 2025