AI-kampen for å etterligne historisk språk

Et samarbeid mellom forskere i USA og Canada har funnet ut at store språkmodeller (LLM) som ChatGPT har vanskelig for å gjenskape historiske idiom uten omfattende pretraining – en kostbar og arbeidskrevende prosess som ligger utenfor mulighetene for de fleste akademiske eller underholdningsinitiativ, og gjør prosjekter som å fullføre Charles Dickens’ siste, ufullendte roman effektivt gjennom AI en usannsynlig proposisjon.

Forskerne utforsket en rekke metoder for å generere tekst som lød historisk nøyaktig, starting med enkel prompting med tidlig 1900-talls prosa, og gått videre til fine-tuning en kommersiell modell på en liten samling av bøker fra den perioden.

De sammenlignet også resultater med en separat modell som hadde blitt trent fullstendig på bøker publisert mellom 1880 og 1914.

I den første av testene, instruerte ChatGPT-4o til å etterligne fin‑de‑siècle språk produserte ganske forskjellige resultater enn de av den mindre GPT2-baserte modellen som hadde blitt fine-tuned på litteratur fra perioden:

Bedt om å fullføre en ekte historisk tekst (øverst til høyre), kan selv en godt forberedt ChatGPT-4o (nederst til venstre) ikke unngå å falle tilbake i ‘blogg’-modus, og mislykkes i å representere den ønskede idiom. I motsetning til dette, fanger den fine-tunede GPT2-modellen (nederst til høyre) språkstilen godt, men er ikke like nøyaktig på andre måter. Kilde: https://arxiv.org/pdf/2505.00030

Selv om fine-tuning bringer utgangen nærmere den opprinnelige stilen, var menneskelige lesere fortsatt ofte i stand til å oppdage spor av moderne språk eller ideer, noe som tyder på at selv omhyggelig justerte modeller fortsatt reflekterer innflytelsen fra deres samtidige treningsdata.

Forskerne kommer til den frustrerende konklusjonen at det ikke finnes noen økonomiske kortveier for å generere maskinprodusert, idiomatisk korrekt historisk tekst eller dialog. De konkluderer også med at utfordringen i seg selv kan være feilplassert:

‘[Vi] bør også vurdere muligheten for at anakronisme kan være på en måte uunngåelig. Uansett om vi representerer fortiden ved å instruere historiske modeller så de kan holde samtaler, eller ved å lære samtidsmodeller å ventriloquisere en eldre periode, kan noen kompromiss være nødvendig mellom målene om autentisitet og samtaleflyt.

‘Det finnes, etter all, ingen “autentiske” eksempler på en samtale mellom en 21. århundre-spørsmål og en respondent fra 1914. Forskere som prøver å skape en slik samtale må reflektere over [premissen] at tolkning alltid innebærer en forhandling mellom nåtid og [fortid].’

Den nye studien har tittelen Kan språkmodeller representere fortiden uten anakronisme?, og kommer fra tre forskere ved University of Illinois, University of British Columbia og Cornell University.

Komplett katastrofe

Tidligere, i en tre-delers forsknings tilnærming, testet forfatterne om moderne språkmodeller kunne bli overtalt til å etterligne historisk språk gjennom enkel prompting. Ved å bruke ekte utdrag fra bøker publisert mellom 1905 og 1914, ba de ChatGPT-4o om å fortsette disse passasjene i samme idiom.

Den opprinnelige perioden-teksten var:

‘I dette siste tilfelle er noen fem eller seks dollar spart per minutt, fordi mer enn tjue yards av film må rulles av for å projicere under en enkelt minutt et objekt av en person i ro eller et landskap. Dette gir en praktisk kombinasjon av faste og bevegelige bilder, som produserer svært kunstneriske effekter.

‘Det gjør det også mulig for oss å bruke to kinematografer som projiserer vekselvis for å unngå skintillation, eller projiserer samtidig røde og grønne bilder og gjenskaper naturlige farger, og dermed lettet det menneskelige øyet, som er vant til å motta de grunnleggende fargene samtidig, fra all fysiologisk trøtthet. Et ord nå om bruken av kaldt lys i øyeblikkelig fotografering.’

For å vurdere om den genererte teksten matchet den ønskede historiske stilen, og medveten om at mennesker ikke er spesielt dyktige til å gjette datoen da en tekst ble skrevet, fine-tunet forfatterne en RoBERTa modell for å estimere publikasjonsdatoer, ved å bruke en undergruppe av Corpus of Historical American English, som dekket materiale fra 1810 til 2009.

RoBERTa-klassifisatoren ble deretter brukt til å vurdere fortsettelsene produsert av ChatGPT-4o, som hadde blitt promptet med ekte passasjer fra bøker publisert mellom 1905 og 1914.

Systemprompten (dvs. kontekstuelle instruksjoner til ChatGPT om hvordan å gå til verks med oppgaven) var:

‘Din oppgave er å fullføre passasjer fra tidlig 1900-talls bøker. Du vil bli gitt en passasje fra en bok publisert i 1913. Fortsett denne passasjen i samme stil, i minst 200 ord. Bare gi denne fortsettelsen; gjør ingen rammekommentarer, som “her er fortsettelsen”.’

Til tross for både one-shot og 20-shot prompting, skjevde ChatGPT-4o’s utgang mot en 21. århundre-stilistisk register.

Eksempelet gitt i papiret viser en av ChatGPT-4o’s blogg-lignende forsøk på å fullføre den ekte perioden-teksten om fotografering:

‘Bruken av kaldt lys i øyeblikkelig fotografering har revolusjonert tilnærmingen til å fange bilder under varierende lysforhold. Tradisjonelt har fotografer kjempet med hardheten og variasjonen i naturlig lys eller den intrusive naturen til flash-fotografering, som kunne forstyrre atmosfæren i en scene eller det naturlige atferden til subjekter, spesielt i wildlife og ærlig menneskelig fotografering.

‘Kaldt lys, med sin mykere og mer diffuse natur… tillater en mer naturlig representasjon av farger og teksturer, som ofte går tapt under hardt kunstig lys.’

Som vi lett kan se, matcher denne generiske, wiki-lignende teksten ikke den prolixe og omfattende stilen til den opprinnelige perioden-teksten. Den fortsetter heller ikke fra der den opprinnelige innholdet slutter, men lanserer en tangensiel, abstrakt refleksjon over ett av undertemaene.

Laget testet også GPT-1914, en mindre GPT-2-klasse modell trent fra scratch på 26,5 milliarder token av litteratur datert mellom 1880 og 1914.

Til tross for at utgangen var mindre kohærent enn ChatGPT-4o, var den mer konsistent med stilen til kildeperioden. Det eneste eksempelet gitt i papiret, igjen som en fullføring av den ekte perioden-teksten om fotografering, lyder:

‘Prinsippet for dens virkning er allerede forklart (s. 4). Vi skal her bare nevne at det kan brukes med fordel når vi ønsker å få svært rask fotografering på papir belagt med collodion, samt de tatt ved hjelp av gelatineplater.

‘I slike tilfeller må eksponeringen ikke overstige ett sekund; men hvis bildet ønskes å utvikles på mindre tid – sier en halv sekund – så bør temperaturen aldri falle under 20° C., ellers vil bildet bli for mørkt etter utvikling; dessuten ville platene tape sin sensitivitet under disse betingelsene.

‘For vanlige formål er det imidlertid tilstrekkelig å bare eksponere den sensitive overflaten for en lav grad av varme uten noen spesielle forsiktighetsmessige tiltak bortsett fra å holde den’ [sic]

Siden både den ekte og opprinnelige materialet er arkaisk og ganske vanskelig å forstå, er det vanskelig å forstå i hvilken utstrekning GPT-1914 har nøyaktig fanget opp fra den opprinnelige; men utgangen lyder i alle fall mer periodeautentisk.

Likevel konkluderte forfatterne med at denne eksperimentet at enkel prompting gjør lite for å overvinne de samtidige biasene til en stor forhånds-trent modell som ChatGPT-4o.

Plottet tykner

For å måle hvor nært modellutgangene lignet autentisk historisk skriving, brukte forskerne en statistisk klassifisator for å estimere den sannsynlige publikasjonsdatoen for hver tekstprøve. De visualiserte deretter resultater med en kernel-tetthets-plot, som viser hvor modellen tror hver passasje faller på en historisk tidslinje.

Estimert publikasjonsdatoer for ekte og generert tekst, basert på en klassifisator trent for å gjenkjenne historisk stil (1905–1914 kilde-tekster sammenlignet med fortsettelsene av GPT-4o ved å bruke one-shot og 20-shot prompts, og av GPT-1914 trent kun på litteratur fra 1880–1914).

Den fine-tunede RoBERTa-modellen brukt til denne oppgaven, noterte forfatterne, er ikke feilfri, men var likevel i stand til å høyde generelle stilistiske trender. Passasjer skrevet av GPT-1914, modellen trent fullstendig på perioden-litteratur, klumpet seg rundt tidlig 1900-tall – lignende den opprinnelige kilde-materialet.

I motsetning til dette, tenderte ChatGPT-4o’s utgang, selv når promptet med flere historiske eksempler, til å ligne 21. århundre-skriverier, reflekterende data det opprinnelig ble trent på.

Forskerne kvantifiserte denne mismatchen ved å bruke Jensen-Shannon divergens, et mål på hvor forskjellige to sannsynlighetsfordelinger er. GPT-1914 scoret en nær 0,006 sammenlignet med ekte historisk tekst, mens ChatGPT-4o’s one-shot og 20-shot utgang viste mye større gap, på 0,310 og 0,350 henholdsvis.

Forfatterne argumenterer med at disse funnene indikerer at prompting alene, selv med flere eksempler, ikke er en pålitelig måte å produsere tekst som overbevisende simulerer en historisk stil.

Fullføring av passasjen

Papiret undersøker deretter om fine-tuning kan produsere et bedre resultat, ettersom denne prosessen innebærer å direkte påvirke de brukbare vektene til en modell ved å “fortsette” dens trening på bruker-spesifikt data – en prosess som kan påvirke den opprinnelige kjernefunksjonaliteten til modellen, men betydelig forbedre dens ytelse på domenet som blir “pusht” inn i den eller ellers betonet under fine-trening.

I den første fine-tuning-eksperimentet, trente laget GPT-4o-mini på rundt to tusen passasje-fullføringspar fra bøker publisert mellom 1905 og 1914, med målet å se om en mindre skala fine-tuning kunne skifte modellens utgang mot en mer historisk nøyaktig stil.

Ved å bruke samme RoBERTa-baserte klassifisator som fungerte som en dommer i tidligere tester til å estimere den stilistiske “dato” til hver utgang, fant forskerne at i det nye eksperimentet produserte den fine-tunede modellen tekst tett alliert med bakgrunns-sannheten.

Den stilistiske divergensen fra de opprinnelige tekstene, målt med Jensen-Shannon divergens, falt til 0,002, generelt i linje med GPT-1914:

Estimert publikasjonsdatoer for ekte og generert tekst, viser hvor nært GPT-1914 og en fine-tunet versjon av GPT-4o-mini matcher stilen til tidlig 1900-talls skriving (basert på bøker publisert mellom 1905 og 1914).

Likevel advarer forskerne om at denne metoden kan bare fange overflatiske trekk av historisk stil, og ikke dypere konseptuelle eller faktiske anakronismer.

‘[Dette] er ikke en svært sensitiv test. RoBERTa-modellen brukt her er bare trent for å predikere en dato, ikke for å diskriminere ekte passasjer fra anakronistiske. Den bruker sannsynligvis grove stilistiske bevis for å gjøre denne predikasjonen. Menneskelige lesere, eller større modeller, kan likevel være i stand til å oppdage anakronistisk innhold i passasjer som overfladisk høres “i-periode”.’

Menneskelig berøring

Til slutt utførte forskerne menneskelige evalueringstester ved å bruke 250 håndplukkede passasjer fra bøker publisert mellom 1905 og 1914, og de observerer at mange av disse tekstene sannsynligvis ville bli tolket ganske annerledes i dag enn de ble på skrivetid:

‘Vår liste inkluderte, for eksempel, en leksikonartikkel om Alsace (som da var en del av Tyskland) og en om beri-beri (som da ofte ble forklart som en sopp-sykdom snarere enn en næringsmangel). Mens disse er forskjeller i faktum, valgte vi også passasjer som ville vise mer subtile forskjeller i holdning, retorikk eller forestilling.

‘For eksempel, beskrivelser av ikke-europeiske steder på tidlig 1900-tall glir ofte inn i rasistiske generaliseringer. En beskrivelse av soloppgang på månen skrevet i 1913 forestiller rike kromatisk fenomener, fordi ingen hadde ennå sett fotografier av en verden uten [atmosfære].’

Forskerne skapte korte spørsmål som hver historisk passasje kunne plausibelt svare på, deretter fine-tunet GPT-4o-mini på disse spørsmål-svar-parene. For å styrke evalueringen, trente de fem separate versjoner av modellen, hver gang holde ut en annen del av dataene for testing.

De produserte deretter svar ved å bruke både standardversjonene av GPT-4o og GPT-4o-mini, samt de fine-tunede variantene, hver evaluert på den delen det ikke hadde sett under trening.

Tapt i tid

For å vurdere hvor overbevisende modellene kunne imitere historisk språk, ba forskerne tre ekspert-annotatorer om å se på 120 AI-genererte fullføringer, og dømme om hver enkelt virket plausibel for en skriver i 1914.

Dette direkte evalueringstilnærmingen viste seg å være mer utfordrende enn forventet: selv om annotatorene var enige på sine vurderinger nesten åtti prosent av tiden, betød ubalansen i deres vurderinger (med ‘plausibel’ valgt to ganger så ofte som ‘ikke plausibel’) at deres faktiske nivå av enighet bare var moderat, målt med en Cohen’s kappa-score på 0,554.

annotatorene selv beskrev oppgaven som svær, ofte krever ekstra forskning for å vurdere om en uttalelse stemte overens med hva som var kjent eller trodd i 1914.

Noen passasjer reiste vanskelige spørsmål om tone og perspektiv – for eksempel om et svar var passende begrenset i sin verdensanskuelse for å reflektere hva som ville ha vært typisk i 1914. Denne typen vurdering ofte avhengig av nivået av etnosentrisme (dvs. tendensen til å se andre kulturer gjennom antagelsene eller fordommene til en egen).

I denne konteksten var utfordringen å bestemme om en passasje uttrykte nok kulturell fordom til å virke historisk plausibel uten å høres for moderne eller åpenbart støtende etter dagens standarder. Forfatterne noterer at selv for forskere som er kjent med perioden, var det vanskelig å trekke en skarp linje mellom språk som føltes historisk nøyaktig og språk som reflekterte nåtids-ideer.

Likevel viste resultater en tydelig rangering av modellene, med den fine-tunede versjonen av GPT-4o-mini som ble dømt mest plausibel totalt:

annotatorenes vurderinger av hvor plausibel hver modells utgang virket

Om dette nivået av ytelse, rangert plausibel i åtti prosent av tilfellene, er pålitelig nok for historisk forskning, er uklart – spesielt siden studien ikke inkluderte en baseline-måling av hvor ofte ekte periode-tekster kunne bli feil klassifisert.

Intruder-advarsel

Neste kom en ‘intruder-test’, hvor ekspert-annotatorer ble vist fire anonyme passasjer som svarte på samme historiske spørsmål. Tre av svarene kom fra språkmodeller, mens ett var en ekte og genuin utdrag fra en tidlig 1900-talls kilde.

Oppgaven var å identifisere hvilken passasje som var den opprinnelige, skrevet under perioden.

Dette tilnærmingen ba ikke annotatorene om å vurdere plausibilitet direkte, men målte heller hvor ofte den ekte passasjen sto ut fra AI-genererte svarene, i virkeligheten testet om modellene kunne lure lesere til å tro at deres utgang var ekte.

Rangeringen av modellene matchet resultater fra den tidligere vurderingstesten: den fine-tunede versjonen av GPT-4o-mini var den mest overbevisende blant modellene, men fortsatt falt kort av å være den ekte.

Frekvensen med hvilken hver kilde ble korrekt identifisert som den ekte historiske passasjen.

Dette testet tjente også som et nyttig benchmark, siden, med den ekte passasjen identifisert mer enn halvparten av gangene, gapet mellom ekte og syntetisk prosa fortsatt var merkbart for menneskelige lesere.

En statistisk analyse kjent som McNemar’s test bekreftet at forskjellene mellom modellene var meningsfulle, bortsett fra i tilfelle av de to ujusterte versjonene (GPT-4o og GPT-4o-mini), som performerte likt.

Fremtiden til fortiden

Forfatterne fant at å promotere moderne språkmodeller til å anta en historisk stemme ikke produserte overbevisende resultater: færre enn to tredeler av utgangene ble dømt plausibel av menneskelige lesere, og selv dette tallet overdriver sannsynligvis ytelsen.

I mange tilfeller inkluderte svarene eksplisitte signaler om at modellen snakket fra en nåtids-perspektiv – fraser som ‘i 1914 er det ikke ennå kjent at…’ eller ‘per 1914 er jeg ikke kjent med…’ var vanlige nok til å dukke opp i så mange som en femdel av fullføringer. Slike disklaimere gjorde det klart at modellen simulerte historie fra utsiden, snarere enn å skrive fra innen.

Forfatterne påstår:

‘Den dårlige ytelsen til in-context-læring er uheldig, fordi disse metodene er de enkleste og billigste for AI-basert historisk forskning. Vi understreker at vi ikke har utforsket disse tilnærmingene uttømmende.

‘Det kan hende at in-context-læring er tilstrekkelig—nå eller i fremtiden—for en undergruppe av forskningsområder. Men vårt første bevis er ikke oppmuntrende.’

Forfatterne konkluderer med at mens fine-tuning en kommersiell modell på historiske passasjer kan produsere stilistisk overbevisende utgang ved minimal kostnad, eliminerer det ikke fullstendig spor av moderne perspektiv. Forhånds-trening en modell fullstendig på periode-materiale unngår anakronisme, men krever langt større ressurser, og resulterer i mindre flytende utgang.

Ingen metode tilbyr en fullstendig løsning, og for nå ser det ut til at enhver forsøk på å simulere historiske stemmer innebærer en avveining mellom autentisitet og kohærens. Forfatterne konkluderer med at videre forskning vil være nødvendig for å klargjøre hvordan man best kan navigere denne spenningen.

Konklusjon

Kanskje ett av de mest interessante spørsmålene som oppstår fra det nye papiret er det om autentisitet. Mens de ikke er perfekte verktøy, gir tap-funksjoner og målinger som LPIPS og SSIM datavisningsforskere i alle fall en lignende-til-lignende metode for å evaluere mot bakgrunns-sannhet.

Når man genererer ny tekst i stilen til en svunnen epoke, derimot, finnes det ingen bakgrunns-sannhet – bare et forsøk på å bosette seg i en forsvunnet kulturell perspektiv. Å prøve å rekonstruere denne mentaliteten fra litterære spor er i seg selv en handling av kvantisering, ettersom slike spor bare er bevis, mens den kulturelle bevisstheten som de oppstår fra forblir utenfor inferens, og sannsynligvis utenfor forestilling.

På en praktisk måte også, risikerer grunnlaget for moderne språkmodeller, formet av nåtids-normer og data, å reinterpret eller undertrykke ideer som ville ha virket rimelige eller uanselige for en edwardiansk lesere, men som nå registrerer som (ofte støtende) spor av fordom, ulikhet eller urettferdighet.

Man undrer seg, derfor, selv om vi kunne skape en slik samtale, om den ikke ville frastøte oss.

Først publisert fredag, 2. mai 2025