AI-kampen for at efterligne historisk sprog

Et samarbejde mellem forskere i USA og Canada har fundet, at store sprogmodeller (LLM’er) som ChatGPT har svært ved at genskabe historiske idiomer uden omfattende prætræning – en kostbar og arbejdskrævende proces, der ligger uden for rækkevidde for de fleste akademiske eller underholdningsinitiativer, hvilket gør projekter som at fuldføre Charles Dickens’ sidste, ufuldendte roman effektivt gennem AI en usandsynlig mulighed.

Forskere undersøgte en række metoder til at generere tekst, der lyder historisk korrekt, startende med simple prompts med tidligt 20. århundredes prosa og gående videre til finjustering af en kommerciel model på en lille samling af bøger fra den periode.

De sammenlignede også resultaterne med en separat model, der var trænet helt på bøger publiceret mellem 1880 og 1914.

I den første af testene producerede instruktioner til ChatGPT-4o til at efterligne fin‑de‑siècle sprog quite forskellige resultater fra dem af den mindre GPT2-baserede model, der var finjusteret på litteratur fra perioden:

Bedt om at fuldføre en rigtig historisk tekst (top-center), kan selv en velpræget ChatGPT-4o (nederst til venstre) ikke undgå at glide tilbage i ‘blog’-tilstand, og mislykkes med at repræsentere den anmodede idiom. Til gengæld fanger den finjusterede GPT2-model (nederst til højre) sprogstilen godt, men er ikke så præcis på andre måder. Kilde: https://arxiv.org/pdf/2505.00030

Selv om finjustering bringer outputtet tættere på den originale stil, kunne menneskelige læsere stadig ofte opdage spor af moderne sprog eller ideer, hvilket antyder, at selv omhyggeligt justerede modeller fortsat reflekterer indflydelsen fra deres samtidige træningsdata.

Forskere kommer til den frustrerende konklusion, at der ikke er nogen økonomiske genveje til generationen af maskinproduceret idiomatisk korrekt historisk tekst eller dialog. De gætter også, at udfordringen i sig selv måske er forkert formuleret:

‘[Vi] burde også overveje muligheden for, at anakronismer måske er uundgåelige. Enten vi repræsenterer fortiden ved at justere historiske modeller, så de kan føre samtaler, eller ved at lære samtidige modeller at ventriloquisere en ældre periode, kan der være behov for en vis kompromis mellem målet om autenticitet og samtaleflyd.

‘Der er, efter alt, ingen “autentiske” eksempler på en samtale mellem en 21. århundredes spørger og en respondent fra 1914. Forskere, der forsøger at skabe en sådan samtale, må nødtvivlsomt overveje, at fortolkning altid indebærer en forhandling mellem nutid og [fortid].’

Den nye studie er titlen Kan sprogmodeller repræsentere fortiden uden anakronismer?, og kommer fra tre forskere på University of Illinois, University of British Columbia og Cornell University.

Komplet katastrofe

Initialt, i en tre-delers forsknings tilgang, testede forfatterne, om moderne sprogmodeller kunne nudges til at efterligne historisk sprog gennem simple prompts. Ved at bruge rigtige uddrag fra bøger publiceret mellem 1905 og 1914, bad de ChatGPT-4o om at fortsætte disse passager i samme idiom.

Den originale periode-tekst var:

‘I dette sidste tilfælde er der en besparelse på cirka fem eller seks dollars per minut, fordi mere end tyve yards film skal afspoles for at projicere et objekt i hvile eller et landskab under en enkelt minut. Derved opnås en praktisk kombination af faste og bevægelige billeder, som producerer meget kunstneriske effekter.

‘Det tillader os også at arbejde med to kinematografer, der projicerer vekselvis for at undgå scintillation, eller projicerer samtidigt røde og grønne billeder og genskaber naturlige farver, og dermed lettelser det menneskelige øje, der er vant til at modtage de grundlæggende farver samtidigt, fra alle fysiologiske trætheder. Et ord nu om anvendelsen af kold lys til øjeblikkelig fotografering.’

For at evaluere, om den genererede tekst matchede den ønskede historiske stil, og bevidst om, at mennesker ikke er særlig dygtige til at gætte datoen for, hvornår en tekst er skrevet, finjusterede forskerne en RoBERTa model til at estimere publiceringsdatoer, ved hjælp af en undermængde af Corpus of Historical American English, der dækker materiale fra 1810 til 2009.

RoBERTa-klassificatoren blev derefter brugt til at evaluere fortsættelser produceret af ChatGPT-4o, der var blevet promptet med rigtige passager fra bøger publiceret mellem 1905 og 1914.

Systempromten (dvs. kontekstuelle instruktioner til ChatGPT om, hvordan man skal nærme sig opgaven) var:

‘Din opgave er at fuldføre passager fra tidligt 20. århundredes bøger. Du vil få en passage fra en bog publiceret i 1913. Fortsæt denne passage i samme stil, i mindst 200 ord. Kun lever denne fortsættelse; lav ikke nogen rammeremærker, som “her er fortsættelsen”.’

Trods både one-shot og 20-shot prompting, skævede ChatGPT-4o’s output konsekvent mod en 21. århundredes stilistisk register.

Eksemplet i artiklen viser en af ChatGPT-4o’s blog-lignende forsøg på at fuldføre den rigtige periode-tekst om fotografering:

‘Brugen af kold lys i øjeblikkelig fotografering har revolutioneret tilgangen til at fange billeder under varierende lysforhold. Traditionelt kæmpede fotografer med hårdheden og variabiliteten af naturligt lys eller den indtrængende natur af flashfotografering, der kunne forstyrre atmosfæren i en scene eller det naturlige adfærd af subjekter, især i vildt- og menneskefotografering.

‘Kold lys, med sin blødere og mere diffuse natur… tillader en mere naturlig repræsentation af farver og teksturer, som ofte går tabt under hårdt kunstigt lys.’

Som vi let kan se, matcher denne generiske, wiki-lignende tekst ikke den prolixe og udsmykkede stil af den originale periode-tekst. Derudover fortsætter den ikke rigtigt, hvor den originale indhold sluttede, men lancerer i stedet en tangentiel, abstrakt betragtning over et af underemnerne.

Holdet testede også GPT-1914, en mindre GPT-2-klasse model trænet fra scratch på 26,5 milliarder tokens af litteratur dateret mellem 1880 og 1914.

Selv om dens output var mindre koherent end ChatGPT-4o’s, var det mere konsekvent med periodens stil.

Det eneste eksempel, der er givet i artiklen, som en fortsættelse af den rigtige periode-tekst om fotografering, lyder:

‘Princippet i dets handling er allerede blevet forklaret (side 4). Vi skal her kun nævne, at det kan anvendes med fordel, når vi ønsker at opnå meget hurtige fotografier på papir belagt med collodion, samt dem, der tages ved hjælp af gelatineplader.

‘I sådanne tilfælde skal eksponeringen ikke overstige en sekund mindst; men hvis billedet ønskes at udvikles på under en sekund – sagenlig på en halv sekund – skal temperaturen aldrig falde under 20° C., ellers bliver billedet for mørkt efter udvikling; desuden ville pladen miste sin følsomhed under disse betingelser.

‘Til almindelige formål er det dog tilstrækkeligt at udsætte den følsomme overflade for en lav grad af varme uden nogen særlige foranstaltninger, ud over at holde den…’ [sic]

Siden både den rigtige og originale materiale er arkaisk og ret svært at følge, er det svært at forstå, i hvilken udstrækning GPT-1914 har korrekt fanget det originale; men outputtet lyder bestemt mere periode-authentisk.

Men forfatterne konkluderede fra dette eksperiment, at simple prompts gør lidt for at overvinde de samtidige fordomme hos en stor fortrænet model som ChatGPT-4o.

Intrigen tykner

For at måle, hvor tæt modeloutput ligner ægte historisk skrivning, brugte forskerne en statistisk klassifikator til at estimere den sandsynlige publiceringsdato for hver tekstprøve. De visualiserede derefter resultaterne ved hjælp af en kernel density plot, der viser, hvor hver passage falder på en historisk tidsakse.

Estimerede publiceringsdatoer for rigtige og genererede tekst, baseret på en klassifikator trænet til at genkende historisk stil (1905–1914 kilde-tekster sammenlignet med fortsættelser af GPT-4o ved hjælp af one-shot og 20-shot prompts, og af GPT-1914 trænet kun på litteratur fra 1880–1914).

Den finjusterede RoBERTa-model, der blev brugt til denne opgave, er ikke fejlfri, men var alligevel i stand til at fremhæve generelle stilistiske tendenser. Passager skrevet af GPT-1914, den model, der var trænet helt på periode-litteratur, klumpede sammen omkring det tidlige 20. århundrede – lignende den originale kilde-materiale.

Til gengæld tendede ChatGPT-4o’s output, selv når promptet med multiple historiske eksempler, til at ligne 21. århundredes skrivning, og reflekterede de data, det oprindeligt var trænet på.

Forskere kvantificerede denne misligning ved hjælp af Jensen-Shannon divergence, en måling af, hvor forskellige to sandsynlighedsfordelinger er. GPT-1914 scorede en tæt 0,006 i forhold til rigtig historisk tekst, mens ChatGPT-4o’s one-shot og 20-shot output viste meget bredere mellemrum, på 0,310 og 0,350 henholdsvis.

Forfatterne argumenterer for, at disse resultater indikerer, at prompting alene, selv med multiple eksempler, ikke er en pålidelig måde at producere tekst, der overbevisende simulerer en historisk stil.

Fuldførelse af passagen

Artiklen undersøger derefter, om finjustering måske kan producere et bedre resultat, da denne proces indebærer direkte påvirkning af de brugbare vægte i en model ved at “fortsætte” dens træning på brugerdefineret data – en proces, der kan påvirke den oprindelige kernefunktionalitet i modellen, men kan forbedre dens præstation på det domæne, der “skydes” ind i den eller også understrekes under fin-træning.

I den første finjusterings-eksperiment, trænede holdet GPT-4o-mini på omkring to tusinde passage-fortsættelsespar fra bøger publiceret mellem 1905 og 1914, med det formål at se, om en mindre finjustering kunne skubbe modellens output mod en mere historisk korrekt stil.

Ved at bruge den samme RoBERTa-baserede klassifikator, der fungerede som dommer i de tidligere tests til at estimere den stilistiske “dato” af hver output, fandt forskerne i det nye eksperiment, at den finjusterede model producerede tekst, der var tæt aligneret med sandheden.

Dens stilistiske afvigelse fra de originale tekster, målt ved Jensen-Shannon divergence, faldt til 0,002, generelt i linje med GPT-1914:

Estimerede publiceringsdatoer for rigtige og genererede tekst, visende, hvor tæt GPT-1914 og en finjusteret version af GPT-4o-mini matcher stilen i tidligt 20. århundredes skrivning (baseret på bøger publiceret mellem 1905 og 1914).

Men forskerne advarede om, at denne metode kun måske fanger overfladiske træk af historisk stil, og ikke dybere konceptuelle eller faktuelle anakronismer.

‘[Dette] er ikke en meget sensitiv test. RoBERTa-modellen, der blev brugt som dommer her, er kun trænet til at forudsige en dato, ikke til at diskriminere ægte passager fra anakronistiske. Den bruger sandsynligvis grove stilistiske beviser til at gøre denne forudsigelse. Menneskelige læsere eller større modeller kunne stadig være i stand til at detektere anakronistisk indhold i passager, der overfladisk set “lyder” i perioden.

Menneskeligt berør

Til sidst gennemførte forskerne menneskelige evalueringstests ved hjælp af 250 håndvalgte passager fra bøger publiceret mellem 1905 og 1914, og de observerer, at mange af disse tekster sandsynligvis ville blive fortolket meget forskelligt i dag end de var på skrivningstidspunktet:

‘Vores liste indeholdt, for eksempel, en leksikon-indgang om Alsace (der dengang var en del af Tyskland) og en om beri-beri (der dengang ofte blev forklaret som en svampesygdom snarere end en ernæringsmæssig mangelsygdom). Mens disse er forskelle i faktiske oplysninger, valgte vi også passager, der ville vise mere subtile forskelle i holdning, retorik eller forestilling.

‘For eksempel, beskrivelser af ikke-europæiske steder i det tidlige 20. århundrede glider ofte over i racemæssige generaliseringer. En beskrivelse af solopgang på månen skrevet i 1913 forestiller rig chromatiske fænomener, fordi ingen havde set fotografier af en verden uden [atmosfære].’

Forskere skabte korte spørgsmål, som hver historisk passage kunne plausibelt besvare, derefter finjusterede de GPT-4o-mini på disse spørgsmål-svar-par. For at styrke evalueringen trænede de fem separate versioner af modellen, hver gang holdt de en anden del af dataen tilbage til test.

De producerede derefter svar ved hjælp af både standardversionerne af GPT-4o og GPT-4o-mini, samt de finjusterede varianter, hver evaluering på den del, de ikke havde set under træning.

Tabt i tiden

For at evaluere, hvor overbevisende modellerne kunne imitere historisk sprog, bad forskerne tre eksperter til at gennemgå 120 AI-genererede fortsættelser og bedømme, om hver enkelt syntes plausibel for en forfatter i 1914.

Denne direkte evalueringstilgang viste sig mere udfordrende, end forventet: selv om annotatorerne var enige i deres vurderinger næsten 80 procent af tiden, betød ubalancen i deres bedømmelser (med “plausibel” valgt to gange så ofte som “ikke plausibel”), at deres faktiske niveau for enighed kun var moderat, målt efter en Cohen’s kappa score på 0,554.

Annotatorerne selv beskrev opgaven som svær, ofte krævende yderligere forskning for at evaluere, om en udtalelse var i overensstemmelse med, hvad der var kendt eller troet i 1914.

Nogle passager rejste svære spørgsmål om tone og perspektiv – for eksempel, om et svar var passende begrænset i sin verdensanskuelse til at reflektere, hvad der ville have været typisk i 1914. Denne type bedømmelse afhang ofte af niveauet af ethnocentrisme (dvs. tendensen til at se andre kulturer gennem antagelserne eller fordommene i sin egen).

I denne kontekst var udfordringen at afgøre, om en passage udtrykte tilstrækkeligt kulturel fordom til at lyde historisk plausibel uden at lyde for moderne eller for åbenlyst stødende efter nutidens standarder. Forfatterne bemærker, at selv for forskere, der er fortrolige med perioden, var det svært at trække en skarp linje mellem sprog, der føltes historisk korrekt, og sprog, der reflekterede nutidige ideer.

Alligevel viste resultaterne en klar rangordning af modellerne, med den finjusterede version af GPT-4o-mini bedømt som den mest plausibel overall:

Annotatorernes vurderinger af, hvor plausibel hver models output syntes

Om dette niveau af præstation, vurderet plausibel i 80 procent af tilfældene, er pålideligt nok til historisk forskning, er uvist – især da studiet ikke inkluderede en baseline-måling af, hvor ofte ægte periode-tekster måske ville blive misklassificeret.

Indtrængersignal

Herefter fulgte en “indtrængersigt”-test, hvor eksperterne blev præsenteret for fire anonyme passager, der svarede på det samme historiske spørgsmål. Tre af svarene kom fra sprogmodeller, mens det ene var en ægte uddrag fra en rigtig tidligt 20. århundredes kilde.

Opgaven var at identificere, hvilken passage der var den originale, ægte skrevet under perioden.

Denne tilgang bad ikke annotatorerne om at bedømme plausibilitet direkte, men målte i stedet, hvor ofte den ægte passage stod ud fra de AI-genererede svar, i virkeligheden testende, om modellerne kunne narre læsere til at tro, deres output var ægte.

Rangordningen af modellerne svarede til resultaterne fra den tidligere bedømmelsestest: den finjusterede version af GPT-4o-mini var den mest overbevisende af modellerne, men nåede stadig ikke op til den ægte vare.

Hyppigheden, hvormed hver kilde blev korrekt identificeret som den ægte historiske passage.

Dette test fungerede også som en nyttig benchmark, da den ægte passage blev identificeret mere end halvdelen af gangene, og afstanden mellem ægte og syntetisk prosa forblev synlig for menneskelige læsere.

En statistisk analyse kendt som McNemars test bekræftede, at forskellene mellem modellerne var betydningsfulde, bortset fra tilfældet med de to uredte versioner (GPT-4o og GPT-4o-mini), der opførte sig lignende.

Fremtiden for fortiden

Forfatterne fandt, at at prompte moderne sprogmodeller til at antage en historisk stemme producerede ikke pålideligt overbevisende resultater: færre end to tredjedele af outputtet blev bedømt plausibel af menneskelige læsere, og selv dette tal overskygger sandsynligvis præstationen.

I mange tilfælde indeholdt svarene eksplicitte signaler om, at modellen talte fra en nutidig perspektiv – fraser som ‘i 1914 er det endnu ikke kendt, at…’ eller ‘pr. 1914 er jeg ikke bekendt med…’ var almindelige nok til at dukke op i op til en femtedel af fortsættelserne. Disse afvigende bemærkninger gjorde det klart, at modellen simulerede historie fra udenfor, snarere end skrev fra indenfor.

Forfatterne fastslår:

‘Den dårlige præstation af in-context-læring er beklageligt, for disse metoder er de letteste og billigste for AI-baseret historisk forskning. Vi understreger, at vi ikke har udforsket disse tilgange udtømmende.

‘Det kan måske vise sig, at in-context-læring er tilstrækkeligt—nu eller i fremtiden—til en undergruppe af forskningsområder. Men vores første bevis er ikke opmuntrende.’

Forfatterne konkluderer, at selv om finjustering af en kommerciel model på historiske passager kan producere stilistisk overbevisende output til minimal omkostning, eliminerer det ikke fuldstændigt spor af moderne perspektiv. Fortræning af en model helt på periode-materiale undgår anakronismer, men kræver langt større ressourcer og resulterer i mindre flydende output.

Ingen af metoderne tilbyder en komplet løsning, og for nu ser det ud til, at enhver forsøg på at simulere historiske stemmer indebærer en kompromis mellem autenticitet og koherens. Forfatterne konkluderer, at yderligere forskning vil være nødvendig for at klargøre, hvordan man bedst navigerer denne spænding.

Konklusion

Måske er et af de mest interessante spørgsmål, der opstår ud af den nye artikel, det om autenticitet. Mens de ikke er perfekte værktøjer, giver tab-funktioner og målinger som LPIPS og SSIM computer-vision-forskere i hvert fald en lignende metodologi til at evaluere mod grund-sandheden.

Når man genererer ny tekst i stilen fra en svunden æra, er der derimod ingen grund-sandhed – kun et forsøg på at bebo en svunden kulturel perspektiv. At genskabe denne bevidsthed fra litterære spor er i sig selv en akt af kvantificering, da disse spor kun er beviser, mens den kulturelle bevidsthed, de opstår fra, forbliver uden for slutning og sandsynligvis uden for forestilling.

På et praktisk niveau er grundlaget for moderne sprogmodeller, formet af nutidens normer og data, også risiko for at genfortolke eller undertrykke ideer, der ville have været rimelige eller ubemærkede for en edwardiansk læser, men som nu registrerer som (ofte stødende) artefakter af fordom, ulighed eller uretfærdighed.

Man kan derfor undre sig, om vi overhovedet kunne skabe en sådan samtale, og om den så ikke ville frastøde os.

Først publiceret fredag, 2. maj 2025