AI kämpar för att efterlikna historiskt språk

Ett samarbete mellan forskare i USA och Kanada har visat att stora språkmodeller (LLM) som ChatGPT har svårt att reproducera historiska idiom utan omfattande pretraining – en kostsam och arbetskrävande process som ligger bortom möjligheterna för de flesta akademiska eller underhållningsinitiativ, vilket gör projekt som att slutföra Charles Dickens sista, ofullständiga roman genom AI en osannolik proposition.

Forskarna undersökte en rad metoder för att generera text som lät historiskt korrekt, med början i enkel prompting med tidigt tjugo-tal prosa, och sedan fine-tuning en kommersiell modell på en liten samling böcker från den perioden.

De jämförde också resultaten med en separat modell som hade tränats helt på böcker publicerade mellan 1880 och 1914.

I den första testen, instruerade ChatGPT-4o att imitera fin‑de‑siècle språk producerade ganska olika resultat från dem av den mindre GPT2-baserade modellen som hade fine-tunats på litteratur från perioden:

Tillfrågad att slutföra en riktig historisk text (överst-mitten), kan inte ens en välprimad ChatGPT-4o (nedre vänster) hjälpa till att glida tillbaka till ‘blogg’-läge, utan att lyckas representera den begärda idiom. I kontrast till det fångar den fine-tunade GPT2-modellen språkstilen väl, men är inte lika exakt på andra sätt. Källa: https://arxiv.org/pdf/2505.00030

Även om fine-tuning bringar utmatningen närmare den ursprungliga stilen, kunde mänskliga läsare fortfarande ofta upptäcka spår av moderna språk eller idéer, vilket tyder på att även noggrant justerade modeller fortsätter att reflektera inflytandet från deras samtida träningsdata.

Forskarna kommer till den frustrerande slutsatsen att det inte finns några ekonomiska genvägar för att generera maskinproducerad idiomatiskt korrekt historisk text eller dialog. De spekulerar också att utmaningen i sig kan vara felställd:

‘[Vi] bör också överväga möjligheten att anakronismer kan vara på något sätt oundvikliga. Oavsett om vi representerar det förflutna genom instruktions-tuning av historiska modeller så att de kan ha samtal, eller genom att lära samtida modeller att ventriloquera en äldre period, kan någon kompromiss vara nödvändig mellan målen om autenticitet och konversationsflyt.

‘Det finns, efter allt, inga “autentiska” exempel på ett samtal mellan en tjugoförsta-århundradets frågeställare och en respondent från 1914. Forskare som försöker skapa ett sådant samtal måste reflektera över [premissen] att tolkning alltid innebär en förhandling mellan nutid och [förflutenhet].’

Den nya studien heter Kan språkmodeller representera det förflutna utan anakronismer?, och kommer från tre forskare på University of Illinois, University of British Columbia och Cornell University.

Fullständig katastrof

Initialt, i en tre-delad forskningsansats, testade författarna om moderna språkmodeller kunde skjutas in i att imitera historiskt språk genom enkel prompting. Med hjälp av riktiga utdrag från böcker publicerade mellan 1905 och 1914, bad de ChatGPT-4o att fortsätta dessa passager i samma idiom.