AI kämpar för att efterlikna historiskt språk

En samarbetsinsats mellan forskare i USA och Kanada har visat att stora språkmodeller (LLM) som ChatGPT har svårt att reproducera historiska idiom utan omfattande förträning – en kostsam och arbetskrävande process som ligger bortom de flesta akademiska eller underhållningsinitiativ, vilket gör projekt som att slutföra Charles Dickens sista, ofullbordade roman effektivt genom AI en osannolik proposition.

Forskarna undersökte en rad metoder för att generera text som lät historiskt korrekt, med början i enkel uppmaning med tidigt 1900-talsprosa och övergång till finjustering av en kommersiell modell på en liten samling böcker från den tiden.

De jämförde också resultaten med en separat modell som hade tränats helt på böcker publicerade mellan 1880 och 1914.

I den första testen, där ChatGPT-4o instruerades att härma fin‑de‑siècle -språk, producerades helt olika resultat jämfört med den mindre GPT2-baserade modellen som hade finjusterats på litteratur från perioden:

Tillfrågad att slutföra en riktig historisk text (övre mitten), kan inte ens en väl förberedd ChatGPT-4o (nedre vänster) hjälpa till att glida tillbaka till ‘blogg’-läge, utan att lyckas representera den begärda idiom. I kontrast till det fångar den finjusterade GPT2-modellen (nedre höger) språkstilen väl, men är inte lika exakt på andra sätt. Källa: https://arxiv.org/pdf/2505.00030

Även om finjustering bringar utmatningen närmare den ursprungliga stilen, kunde mänskliga läsare fortfarande ofta upptäcka spår av modern språk eller idéer, vilket tyder på att även noggrant justerade modeller fortsätter att reflektera inflytandet från deras samtida träningsdata.

Forskarna kommer fram till den frustrerande slutsatsen att det inte finns några ekonomiska genvägar för att generera maskinproducerad historiskt korrekt text eller dialog. De spekulerar också i att utmaningen i sig kan vara felställd:

‘[Vi] bör också överväga möjligheten att anakronismer kan vara oundvikliga. Oavsett om vi representerar det förflutna genom att instruera historiska modeller så att de kan ha samtal, eller genom att lära samtida modeller att imitera en äldre period, kan vissa kompromisser vara nödvändiga mellan målen om autenticitet och konversationsflyt.

‘Det finns, efter allt, inga “autentiska” exempel på ett samtal mellan en tjugoförstaårhundradets frågeställare och en respondent från 1914. Forskare som försöker skapa ett sådant samtal måste reflektera över [premissen] att tolkning alltid innebär en förhandling mellan nutid och [förfluten tid].’

Den nya studien har titeln Kan språkmodeller representera det förflutna utan anakronismer? och kommer från tre forskare vid University of Illinois, University of British Columbia och Cornell University.

Fullständig katastrof

Till en början, i en tre-delad forskningsansats, testade författarna om moderna språkmodeller kunde påverkas att härma historiskt språk genom enkel uppmaning. Med hjälp av riktiga utdrag från böcker publicerade mellan 1905 och 1914, bad de ChatGPT-4o att fortsätta dessa passager i samma idiom.

Den ursprungliga periodtexten var:

‘I detta sista fall är det cirka fem eller sex dollar som sparas per minut, eftersom mer än tjugo yard av film måste rullas av för att projicera under en enda minut ett föremål i vila eller en landskap. Således erhålls en praktisk kombination av fasta och rörliga bilder, som producerar de mest konstnärliga effekterna.

‘Det möjliggör också att vi kan arbeta med två kinematografer som projicerar alternativt för att undvika skimmer, eller projicerar samtidigt röda och gröna bilder och återger naturliga färger, vilket lindrar det mänskliga ögat, som är van att ta emot de grundläggande färgerna samtidigt, från all fysiologisk trötthet. Ett ord nu om tillämpningen av kallt ljus för ögonblicksphotografering.’

För att utvärdera om den genererade texten matchade den avsedda historiska stilen, och medvetna om att människor inte är särskilt skickliga på att gissa datumet då en text skrevs, finjusterade forskarna en RoBERTa -modell för att uppskatta publiceringsdatum, med hjälp av en delmängd av Corpus of Historical American English, som omfattar material från 1810 till 2009.

RoBERTa-klassificeringen användes sedan för att bedöma fortsättningar producerade av ChatGPT-4o, som hade fått riktiga passager från böcker publicerade mellan 1905 och 1914.

Systemprompten (dvs. kontextuella instruktioner till ChatGPT om hur man ska närma sig uppgiften) var:

‘Din uppgift är att slutföra passager från tidigt 1900-talsböcker. Du kommer att få en passage från en bok publicerad 1913. Fortsätt denna passage i samma stil, i minst 200 ord. Ge endast denna fortsättning; gör inga ramkommentarer, som “här är fortsättningen:”.

Trots både enstaka och 20-gångers uppmaning, lutade ChatGPT-4o:s utmatningar konsekvent mot ett 2000-tals stilregister.

Exemplet som ges i artikeln visar en av ChatGPT-4o:s försök att fortsätta den riktiga periodtexten om fotografering:

‘Användningen av kallt ljus i ögonblicksphotografering har revolutionerat tillvägagångssättet för att fånga bilder under varierande ljusförhållanden. Traditionellt kämpade fotografer med ljusets hänsynslöshet och variabilitet eller den inträngande naturen hos blixtfotografering, som kunde störa atmosfären i en scen eller det naturliga beteendet hos ämnen, särskilt i vilda djur och äkta mänskliga fotografier.

‘Kallt ljus, med sin mjukare och mer diffusa natur… tillåter en mer naturlig representation av färger och texturer, som ofta förloras under hårt konstgjort ljus.’

Som vi kan se, matchar denna generiska, wiki-liknande text inte den prolixa och elaborerade stilen i den ursprungliga periodtexten. Dessutom fortsätter den inte riktigt där den ursprungliga texten slutar, utan startar en tangentiell, abstrakt fundering över ett av underteman.

Forskargruppen testade också GPT-1914, en mindre GPT-2-klassmodell som tränats från scratch på 26,5 miljarder token av litteratur daterad mellan 1880 och 1914.

Även om dess utmatning var mindre sammanhängande än ChatGPT-4o:s, var den mer konsekvent med periodens stil. Det enda exemplet som ges i artikeln, som en fortsättning av den riktiga periodtexten om fotografering, lyder:

‘Principen för dess verkan har redan förklarats (s. 4). Vi ska här endast nämna att den kan tillämpas med fördel när vi vill få mycket snabba fotografier på papper belagd med kollodium, samt de som tas med hjälp av gelatinskivor.

‘I sådana fall får exponeringen inte överstiga en sekund; men om bilden önskas utvecklas på mindre tid – säg en halv sekund – bör temperaturen aldrig understiga 20° C, annars blir bilden för mörk efter utveckling; dessutom skulle plattan förlora sin känslighet under dessa förhållanden.

‘För vanliga ändamål räcker det dock att utsätta den känsliga ytan för en låg grad av värme utan att några särskilda försiktighetsåtgärder behövs utöver att hålla den…’ [sic]

Eftersom den riktiga och ursprungliga materialet är svårt att förstå och ganska svårt att följa, är det svårt att förstå i vilken utsträckning GPT-1914 har lyckats fånga upp den ursprungliga texten; men utmatningen låter i alla fall mer periodautentisk.

Forskarna drog emellertid slutsatsen från denna experiment att enkel uppmaning gör litet för att övervinna de samtida fördomarna hos en stor förtränad modell som ChatGPT-4o.

Intrigen fördjupas

För att mäta hur nära modellutmatningarna liknade äkta historiskt skrivande, använde forskarna en statistisk klassificerare för att uppskatta det troliga publiceringsdatumet för varje textprov. De visualiserade sedan resultaten med hjälp av en kernel density plot, som visar var modellen tror att varje passage faller på en historisk tidslinje.

Uppskattade publiceringsdatum för riktiga och genererade texter, baserat på en klassificerare tränad för att känna igen historisk stil (1905–1914 källtexter jämförda med fortsättningar av GPT-4o med enstaka och 20-gångers uppmaning, och av GPT-1914 tränad endast på litteratur från 1880–1914).

Den finjusterade RoBERTa-modellen som användes för denna uppgift, noterar författarna, är inte ofelbar, men kunde ändå belysa allmänna stilistiska trender. Passager skrivna av GPT-1914, modellen som tränats helt på periodlitteratur, klusterade runt det tidiga 1900-talet – liknande den ursprungliga källmaterialet.

I kontrast tenderade ChatGPT-4o:s utmatningar, även när de fick flera historiska exempel, att likna 2000-tals skrivande, och reflekterade de data den ursprungligen tränades på.

Forskarna kvantifierade denna diskrepans med hjälp av Jensen-Shannon divergence, ett mått på hur olika två sannolikhetsfördelningar är. GPT-1914 fick ett värde på 0,006 jämfört med riktiga historiska texter, medan ChatGPT-4o:s enstaka och 20-gångers utmatningar visade på mycket större luckor, på 0,310 respektive 0,350.

Författarna hävdar att dessa fynd indikerar att enbart uppmaning, även med flera exempel, inte är ett tillförlitligt sätt att producera text som övertygande simulerar en historisk stil.

Att slutföra passagen

Artikeln undersöker sedan om finjustering kan producera ett bättre resultat, eftersom denna process innebär att direkt påverka de användbara vikterna i en modell genom att “fortsätta” dess träningsprocess på användarspecifik data – en process som kan påverka den ursprungliga kärnfunktionaliteten i modellen, men kan förbättra dess prestanda på det domän som “trycks” in i den eller betonas under finträning.

I det första finjusteringsförsöket tränade teamet GPT-4o-mini på cirka två tusen passage-fortsättningspar från böcker publicerade mellan 1905 och 1914, i syfte att se om en mindre finjustering kunde flytta modellens utmatningar mot en mer historiskt korrekt stil.

Med hjälp av samma RoBERTa-baserade klassificerare som fungerade som domare i tidigare tester för att uppskatta den stilistiska “datum” för varje utmatning, fann forskarna att den finjusterade modellen i det nya experimentet producerade text som nära överensstämde med grund­sanningen.

Den stilistiska divergensen från de ursprungliga texterna, mätt med Jensen-Shannon divergence, sjönk till 0,002, vilket i allmänhet överensstämde med GPT-1914:

Uppskattade publiceringsdatum för riktiga och genererade texter, som visar hur nära GPT-1914 och en finjusterad version av GPT-4o-mini matchar stilen i tidigt 1900-tals skrivande (baserat på böcker publicerade mellan 1905 och 1914).

Forskarna varnar emellertid för att denna måttstock kanske bara fångar ytliga egenskaper hos historisk stil, och inte djupare konceptuella eller faktamässiga anakronismer.

‘[Detta] är inte en särskilt känslig test. RoBERTa-modellen som används som domare här är endast tränad för att förutsäga ett datum, inte för att skilja äkta passager från anakronistiska. Den använder troligen grova stilistiska bevis för att göra den förutsägelsen. Mänskliga läsare, eller större modeller, kan fortfarande kunna upptäcka anakronistiskt innehåll i passager som ytligt sett låter “i perioden”. ‘

Mänsklig beröring

Slutligen genomförde forskarna humana utvärderingstester med 250 handvalda passager från böcker publicerade mellan 1905 och 1914, och de observerar att många av dessa texter sannolikt skulle tolkas ganska annorlunda idag än de var vid skrivningstiden:

‘Vår lista innehöll, till exempel, en uppslagsbokspost om Alsace (som då var en del av Tyskland) och en om beri-beri (som då ofta förklarades som en svampinfektion snarare än en näringsbrist). Medan dessa är faktamässiga skillnader valde vi också passager som skulle visa mer subtila skillnader i attityd, retorik eller fantasi.

‘Till exempel tenderar beskrivningar av icke-europeiska platser i början av 1900-talet att glida in i rasgeneraliseringar. En beskrivning av soluppgång på månen skriven 1913 föreställer sig rika kromatiska fenomen, eftersom ingen hade ännu sett fotografier av en värld utan [atmosfär].’

Forskarna skapade korta frågor som varje historisk passage kunde rimligtvis besvara, sedan finjusterade de GPT-4o-mini på dessa fråga-svar-par. För att stärka utvärderingen tränade de fem separata versioner av modellen, varje gång hållande tillbaka en annan del av datat för testning.

De producerade sedan svar med hjälp av både standardversionerna av GPT-4o och GPT-4o-mini, samt de finjusterade varianterna, var och en utvärderad på den del som den inte hade sett under träningsprocessen.

Förlorad i tiden

För att bedöma hur övertygande modellerna kunde imitera historiskt språk, bad forskarna tre expertannotatorer att granska 120 AI-genererade fortsättningar och bedöma om var och en verkade rimlig för en författare 1914.

Denna direkt utvärderingsansats visade sig mer utmanande än förväntat: även om annotatorerna var överens om sina bedömningar nästan åttio procent av tiden, innebar obalansen i deras bedömningar (med “rimlig” vald dubbelt så ofta som “icke rimlig”) att deras faktiska överensstämmelse var måttlig, som mättes med en Cohens kappa på 0,554.

Annotatorerna beskrev uppgiften som svår, ofta krävande ytterligare forskning för att utvärdera om ett uttalande stämde överens med vad som var känt eller trodd 1914.

Vissa passager väckte svåra frågor om ton och perspektiv – till exempel om ett svar var lämpligt begränsat i sin världsbild för att återspegla vad som skulle ha varit typiskt 1914. Denna typ av bedömning hängde ofta på nivån av etnocentrism (dvs. tendensen att se andra kulturer genom antaganden eller fördomar från den egna).

I detta sammanhang var utmaningen att avgöra om en passage uttryckte tillräckligt med kulturell partiskhet för att verka historiskt rimlig utan att låta för modern eller alltför uppenbart stötande enligt dagens standarder. Författarna noterar att även för forskare som är bekanta med perioden var det svårt att dra en skarp linje mellan språk som kändes historiskt korrekt och språk som reflekterade samtida idéer.

Ändå visade resultaten en tydlig rangordning av modellerna, med den finjusterade versionen av GPT-4o-mini som bedömdes mest rimlig totalt:

Annotatorernas bedömningar av hur rimlig varje modells utmatning verkade

Inträngare

Därefter följde ett “inträngartest”, där expertannotatorer visades fyra anonyma passager som svarade på samma historiska fråga. Tre av svaren kom från språkmodeller, medan ett var ett riktigt och äkta utdrag från en tidig 1900-talskälla.

Uppgiften var att identifiera vilken passage som var den ursprungliga, skriven under perioden.

Denna ansats krävde inte att annotatorerna direkt bedömde rimligheten, utan mätte istället hur ofta den riktiga passagen stack ut från AI-genererade svar, i effekt testande om modellerna kunde lura läsare att tro att deras utmatning var äkta.

Rangordningen av modellerna matchade resultaten från den tidigare bedömningen: den finjusterade versionen av GPT-4o-mini var den mest övertygande bland modellerna, men fortfarande inte i närheten av den riktiga varan.

Frekvensen med vilken varje källa korrekt identifierades som den äkta historiska passagen.

Denna test fungerade också som en användbar benchmark, eftersom den riktiga passagen identifierades mer än hälften av gångerna, vilket visade att gapet mellan äkta och syntetisk prosa fortfarande var märkbart för mänskliga läsare.

En statistisk analys känd som McNemars test bekräftade att skillnaderna mellan modellerna var meningsfulla, utom i fallet med de outtränade versionerna (GPT-4o och GPT-4o-mini), som presterade liknande.

Det förflutnas framtid

Författarna fann att att uppmana moderna språkmodeller att anta en historisk röst inte gav tillförlitliga resultat: färre än två tredjedelar av utmatningarna bedömdes rimliga av mänskliga läsare, och även denna siffra överdriver troligen prestandan.

I många fall innehöll svaren uttryckliga signaler om att modellen talade från ett samtida perspektiv – fraser som ‘1914 är det inte ännu känt att…’ eller ‘som av 1914 är jag inte bekant med…’ var tillräckligt vanliga för att förekomma i så många som en femtedel av fortsättningarna. Sådana förbehåll gjorde det tydligt att modellen simulerade historia utifrån, snarare än att skriva inifrån.

Författarna påpekar:

‘Den dåliga prestandan hos in-kontext-lärande är olycklig, eftersom dessa metoder är de enklaste och billigaste för AI-baserad historisk forskning. Vi betonar att vi inte har undersökt dessa metoder utförligt.

‘Det kan visa sig att in-kontext-lärande är tillräckligt – nu eller i framtiden – för en undergrupp av forskningsområden. Men våra initiala bevis är inte uppmuntrande.’

Författarna slutsats är att medan finjustering av en kommersiell modell på historiska passager kan producera stilistiskt övertygande utmatning till minimal kostnad, eliminerar det inte helt spår av samtida perspektiv. Att förträna en modell helt på periodmaterial undviker anakronismer men kräver betydligt större resurser och resulterar i mindre flytande utmatning.

Ingen metod erbjuder en fullständig lösning, och för tillfället verkar varje försök att simulera historiska röster innebära en avvägning mellan autenticitet och sammanhängande utmatning. Författarna avslutar med att ytterligare forskning kommer att behövas för att klargöra hur man bäst navigerar denna spänning.

Slutsats

Kanske en av de mest intressanta frågorna som uppstår ur den nya artikeln är den om autenticitet. Medan de inte är perfekta verktyg, ger förlustfunktioner och mått som LPIPS och SSIM datavetare i alla fall en metod för att utvärdera mot grund­sanning.

När man genererar ny text i stilen från en försvunnen epok, däremot, finns det ingen grund­sanning – endast ett försök att bebo en försvunnen kulturell perspektiv. Att försöka rekonstruera den medvetenheten från litterära spår är i sig en akt av kvantisering, eftersom sådana spår endast är bevis, medan den kulturella medvetenhet som de härrör från förblir bortom inferens och troligen bortom fantasi.

På ett praktiskt plan också, riskerar grunderna för moderna språkmodeller, formade av samtida normer och data, att omtolka eller undertrycka idéer som skulle ha verkat rimliga eller oanmärkningsvärda för en edwardiansk läsare, men som nu registreras som (ofta stötande) artefakter av fördomar, ojämlikhet eller orättvisa. Man undrar därför, även om vi kunde skapa ett sådant samtal, om det inte skulle avvisa oss.

Publicerad första gången fredagen den 2 maj 2025