L’IA fatica a emulare la lingua storica

Una collaborazione tra ricercatori negli Stati Uniti e in Canada ha scoperto che grandi modelli linguistici (LLM) come ChatGPT faticano a riprodurre idiomi storici senza un’estensiva pre-formazione – un processo costoso e laborioso che va oltre le possibilità della maggior parte delle iniziative accademiche o di intrattenimento, rendendo progetti come completare l’ultimo romanzo incompiuto di Charles Dickens attraverso l’IA una proposta improbabile.

I ricercatori hanno esplorato una serie di metodi per generare testi che suonassero storicamente accurati, iniziando con semplici prompt utilizzando prosa del primo ventesimo secolo e passando al fine-tuning di un modello commerciale su una piccola collezione di libri di quel periodo.

Hanno anche confrontato i risultati con un modello separato che era stato addestrato interamente su libri pubblicati tra il 1880 e il 1914.

Nel primo dei test, istruire ChatGPT-4o per imitare la lingua fin‑de‑siècle ha prodotto risultati molto diversi da quelli del modello GPT2 più piccolo che era stato fine-tuned sulla letteratura del periodo:

Chiesto di completare un testo storico reale (al centro in alto), anche un ChatGPT-4o ben preparato (in basso a sinistra) non può fare a meno di tornare alla modalità ‘blog’, fallendo nel rappresentare l’idioma richiesto. Al contrario, il modello GPT2 fine-tuned (in basso a destra) cattura bene lo stile linguistico, ma non è altrettanto preciso in altri modi. Fonte: https://arxiv.org/pdf/2505.00030

Sebbene il fine-tuning porti l’output più vicino allo stile originale, i lettori umani sono ancora frequentemente in grado di rilevare tracce di linguaggio o idee moderne, suggerendo che anche modelli attentamente regolati continuano a riflettere l’influenza dei loro dati di formazione contemporanei.

I ricercatori arrivano alla frustrante conclusione che non ci sono scorciatoie economiche per la generazione di testi storici prodotti da macchine o dialoghi idiomaticamente corretti. Sospettano anche che la sfida stessa potrebbe essere mal posta:

‘[Dovremmo] anche considerare la possibilità che l’anacronismo possa essere in qualche senso inevitabile. Che rappresentiamo il passato attraverso l’istruzione di modelli storici in modo che possano condurre conversazioni, o insegnando a modelli contemporanei a ventriloquizzare un periodo più antico, potrebbe essere necessario un compromesso tra gli obiettivi di autenticità e fluidità conversazionale.

‘Dopo tutto, non ci sono esempi “autentici” di una conversazione tra un interrogante del ventunesimo secolo e un rispondente del 1914. I ricercatori che tentano di creare tale conversazione dovranno riflettere sulla [premessa] che l’interpretazione sempre coinvolge una negoziazione tra presente e [passato].’

Lo studio recente si intitola Possono i modelli linguistici rappresentare il passato senza anacronismo?, e proviene da tre ricercatori dell’Università dell’Illinois, dell’Università della Columbia Britannica e dell’Università di Cornell.

Disastro Completo

Inizialmente, in un approccio di ricerca a tre parti, gli autori hanno testato se i modelli linguistici moderni potessero essere spinti a imitare la lingua storica attraverso semplici prompt. Utilizzando estratti reali da libri pubblicati tra il 1905 e il 1914, hanno chiesto a ChatGPT-4o di continuare questi passaggi nello stesso idioma.