AI worstelt om historische taal na te bootsen

Een samenwerking tussen onderzoekers in de Verenigde Staten en Canada heeft aangetoond dat grote taalmodellen (LLM’s) zoals ChatGPT moeite hebben om historische uitdrukkingen na te bootsen zonder uitgebreide pretraining – een kostbare en arbeidsintensieve procedure die verder gaat dan de middelen van de meeste academische of entertainmentinitiatieven, waardoor projecten zoals het voltooien van Charles Dickens’ laatste, onvoltooide roman effectief door AI een onwaarschijnlijke voorstelling is.

De onderzoekers onderzochten een reeks methoden voor het genereren van tekst die klinkt historisch accuraat, beginnend met eenvoudige prompting met vroeg-twintigste-eeuwse proza en overgaand op fine-tuning van een commercieel model op een kleine collectie boeken uit die periode.

Zij vergeleken de resultaten ook met een afzonderlijk model dat volledig was getraind op boeken die tussen 1880 en 1914 waren gepubliceerd.

In de eerste van de tests produceerde het opdragen van ChatGPT-4o om fin‑de‑siècle taal heel andere resultaten dan die van het kleinere GPT2-gebaseerde model dat was gefinetuned op literatuur uit die periode:

Vraag om een echte historische tekst te voltooien (boven-centrum), zelfs een goed voorbereide ChatGPT-4o (onder links) kan niet helpen om terug te vallen in ‘blog’-modus, waardoor het verzoek om idioom niet wordt weergegeven. In tegenstelling tot het gefinetune GPT2-model (onder rechts) vangt het de taalstijl goed op, maar is het niet zo nauwkeurig op andere manieren. Bron: https://arxiv.org/pdf/2505.00030

Hoewel fine-tuning de output dichter bij de oorspronkelijke stijl brengt, konden menselijke lezers nog vaak sporen van moderne taal of ideeën detecteren, wat suggereert dat zelfs zorgvuldig aangepaste modellen de invloed van hun hedendaagse trainingsgegevens blijven weerspiegelen.

De onderzoekers komen tot de frustrerende conclusie dat er geen economische shortcuts zijn naar de generatie van machine-geproduceerde idiomatisch-correcte historische tekst of dialoog. Zij vermoeden ook dat de uitdaging zelf mogelijk verkeerd geformuleerd is:

‘[We] moeten ook de mogelijkheid overwegen dat anachronisme in zekere zin onvermijdelijk is. Of we het verleden representeren door het trainen van historische modellen zodat ze gesprekken kunnen voeren, of door het leren van hedendaagse modellen om een ouder tijdperk te imiteren, enige compromis kan nodig zijn tussen de doelen van authenticiteit en conversational fluency.

‘Er zijn, na alles, geen “authentieke” voorbeelden van een gesprek tussen een eenentwintigste-eeuwse vraagsteller en een antwoorder uit 1914. Onderzoekers die proberen om een dergelijk gesprek te creëren, zullen moeten nadenken over de [premisse] dat interpretatie altijd een onderhandeling tussen heden en [verleden] betreft.’

Het nieuwe onderzoek heeft als titel Kunnen taalmodellen het verleden weergeven zonder anachronisme? en komt van drie onderzoekers van de University of Illinois, de University of British Columbia en Cornell University.

Complete Ramp

Aanvankelijk, in een drieledige onderzoeksbenadering, testten de auteurs of moderne taalmodellen konden worden aangemoedigd om historische taal te imiteren door middel van eenvoudige prompting. Met behulp van echte citaten uit boeken die tussen 1905 en 1914 waren gepubliceerd, vroegen zij ChatGPT-4o om deze passages in dezelfde idioom voort te zetten.

De oorspronkelijke periode-tekst was:

‘In dit laatste geval wordt ongeveer vijf of zes dollar per minuut bespaard, omdat meer dan twintig meter film moeten worden afgedraaid om gedurende één minuut een voorwerp in rust of een landschap te projecteren. Zo wordt een praktische combinatie van vaste en bewegende beelden verkregen, die het meest artistieke effect oplevert.

‘Het stelt ons ook in staat om twee cinematografen afwisselend te projecteren om schittering te voorkomen, of om tegelijkertijd rode en groene beelden te projecteren en natuurlijke kleuren te reproduceren, waardoor het menselijk oog, dat gewend is om de fundamentele kleuren tegelijkertijd te ontvangen, wordt verlost van alle fysiologische vermoeidheid. Een woord nu over de toepassing van koud licht op instantane fotografie.’

Om te beoordelen of de gegenereerde tekst overeenkwam met de beoogde historische stijl, en zich bewust van het feit dat mensen niet bijzonder goed zijn in het raden van de datum waarop een tekst is geschreven, finetuneden de onderzoekers een RoBERTa model om publicatiedata te schatten, met behulp van een subset van de Corpus of Historical American English, dat materiaal uit de periode 1810-2009 omvat.

Het RoBERTa-classificatiemodel werd vervolgens gebruikt om de voortzettingen te beoordelen die door ChatGPT-4o waren gegenereerd, die waren aangemoedigd met echte passages uit boeken die tussen 1905 en 1914 waren gepubliceerd.

Het systeemprompt (d.w.z. contextuele instructies voor ChatGPT over hoe de taak aan te pakken) was:

‘Uw taak is om passages uit vroeg-twintigste-eeuwse boeken te voltooien. U krijgt een passage uit een boek dat in 1913 is gepubliceerd. Voltooien deze passage in dezelfde stijl, voor minstens 200 woorden. Geef alleen deze voortzetting; maak geen kaderopmerkingen, zoals “hier is de voortzetting:”.

Ondanks zowel one-shot als 20-shot prompting, bleken de outputs van ChatGPT-4o consistent naar een 21e-eeuwse stylistische register te neigen.

Het voorbeeld dat in het artikel wordt genoemd, is een van ChatGPT-4o’s blog-achtige pogingen om de echte periode-tekst over fotografie voort te zetten:

‘Het gebruik van koud licht in instantane fotografie heeft de aanpak van het vastleggen van beelden onder verschillende lichtomstandigheden gerevolutionariseerd. Traditioneel worstelden fotografen met de hardheid en variabiliteit van natuurlijk licht of de indringende aard van flitsfotografie, die de sfeer van een scène of het natuurlijke gedrag van onderwerpen, vooral in wildlife- en candid-fotografie, kon verstoren.

‘Koud licht, met zijn zachtere en meer diffuse aard… stelt ons in staat om een meer natuurlijke weergave van kleuren en texturen te verkrijgen, die vaak verloren gaat onder harde kunstmatige verlichting.’

Zoals we gemakkelijk kunnen zien, komt deze generieke, wiki-achtige tekst niet overeen met de prolixe en geornamenteerde stijl van de oorspronkelijke periode-tekst. Bovendien zet het niet echt voort waar de oorspronkelijke inhoud ophoudt, maar lanceert het een tangentiële, abstracte overpeinzing over een van de subonderwerpen.

Het team testte ook GPT-1914, een kleinere GPT-2-klasse model getraind van scratch op 26,5 miljard tokens van literatuur uit de periode 1880-1914.

Hoewel zijn output minder coherent was dan die van ChatGPT-4o, was het meer in overeenstemming met de stijl van de bronperiode. Het enige voorbeeld dat in het artikel wordt genoemd, opnieuw als een voortzetting van de echte periode-tekst over fotografie, luidt:

‘Het principe van zijn werking is reeds uitgelegd (p. 4). We zullen hier alleen vermelden dat het met voordeel kan worden toegepast wanneer we zeer snelle foto’s op papier willen maken dat met collodion is bedekt, evenals die welke zijn gemaakt met behulp van gelatineplaten.

‘In dergelijke gevallen mag de belichtingstijd niet langer zijn dan één seconde; maar als de foto in minder tijd moet worden ontwikkeld – zeg halve seconde – dan mag de temperatuur nooit onder de 20° C komen; anders wordt het beeld te donker na ontwikkeling; bovendien verliest de plaat zijn gevoeligheid onder deze omstandigheden.

‘Voor gewone doeleinden is het echter voldoende om het gevoelige oppervlak bloot te stellen aan een lage mate van warmte zonder speciale voorzorgsmaatregelen te nemen, behalve het oppervlak te houden…’ [sic]

Omdat zowel de echte als de oorspronkelijke materiaal arcana en moeilijk te volgen is, is het moeilijk om de mate te begrijpen waarin GPT-1914 de oorspronkelijke periode-tekst heeft opgepikt; maar de output klinkt zeker meer periode-authentiek.

Echter, de auteurs concludeerden uit dit experiment dat eenvoudige prompting weinig doet om de hedendaagse vooroordelen van een groot voorgefinetuned model zoals ChatGPT-4o te overwinnen.

Het Complot Verdikt

Om te meten hoe nauwkeurig de modeloutputs overeenkwamen met authentieke historische schrijfstijl, gebruikten de onderzoekers een statistische classificator om de waarschijnlijke publicatiedatum van elke tekstsample te schatten. Zij visualiseerden de resultaten vervolgens met behulp van een kernel density plot, die aangeeft waar het model denkt dat elke passage op een historische tijdschaal valt.

Geschatte publicatiedata voor echte en gegenereerde tekst, gebaseerd op een classificator getraind om historische stijl te herkennen (1905-1914 bronnen vergeleken met voortzettingen door GPT-4o met one-shot en 20-shot prompts, en door GPT-1914 getraind op literatuur uit 1880-1914).

De gefinetune RoBERTa-model dat voor deze taak werd gebruikt, is niet onfeilbaar, maar kon toch algemene stylistische trends benadrukken. Passages geschreven door GPT-1914, het model getraind op literatuur uit de periode, clusterden rond de vroege twintigste eeuw – vergelijkbaar met de oorspronkelijke bronmateriaal.

Daarentegen neigden de outputs van ChatGPT-4o, zelfs met meerdere historische voorbeelden, naar eenentwintigste-eeuwse schrijfstijl, weerspiegelend de gegevens waarop het oorspronkelijk was getraind.

De onderzoekers kwantificeerden deze mismatch met behulp van Jensen-Shannon divergentie, een maat voor de mate waarin twee kansverdelingen verschillen. GPT-1914 scoorde een nauwe 0,006 in vergelijking met echte historische tekst, terwijl de one-shot en 20-shot outputs van ChatGPT-4o veel grotere verschillen vertoonden, respectievelijk 0,310 en 0,350.

De auteurs betogen dat deze bevindingen aantonen dat prompting alleen, zelfs met meerdere voorbeelden, geen betrouwbare manier is om tekst te produceren die historische stijl overtuigend simuleert.

De Passage Voltooien

Het artikel onderzoekt vervolgens of fine-tuning een beter resultaat kan opleveren, aangezien dit proces het direct beïnvloeden van de bruikbare gewichten van een model door ‘vervolgen’ van zijn training op gebruikersspecifieke gegevens omvat – een proces dat de oorspronkelijke kernfunctionaliteit van het model kan beïnvloeden, maar zijn prestaties op het domein dat wordt ‘geduwd’ of benadrukt tijdens fine-tuning aanzienlijk kan verbeteren.

In het eerste fine-tuning-experiment trainden het team GPT-4o-mini op ongeveer tweeduizend passage-completieparen uit boeken die tussen 1905 en 1914 waren gepubliceerd, met als doel om te zien of een kleinere fine-tuning het modeloutput naar een meer historisch accurate stijl kon verschuiven.

Met behulp van dezelfde RoBERTa-gebaseerde classificator die als rechter optrad in de eerdere tests om de stylistische ‘datum’ van elke output te schatten, vonden de onderzoekers in het nieuwe experiment dat het gefinetune model tekst produceerde die nauwkeurig overeenkwam met de grondwaarheid.

De stylistische divergentie van de output van de oorspronkelijke teksten, gemeten met Jensen-Shannon divergentie, daalde tot 0,002, over het algemeen in overeenstemming met GPT-1914:

Geschatte publicatiedata voor echte en gegenereerde tekst, waaruit blijkt hoe nauw GPT-1914 en een gefinetune versie van GPT-4o-mini de stijl van vroeg-twintigste-eeuwse schrijfstijl benaderen (gebaseerd op boeken gepubliceerd tussen 1905 en 1914).

Echter, de onderzoekers waarschuwen dat deze maatstaf mogelijk alleen oppervlakkige kenmerken van historische stijl meet, en niet diepere conceptuele of feitelijke anachronismen.

‘[Dit] is niet een zeer gevoelige test. Het RoBERTa-model dat hier als rechter wordt gebruikt, is alleen getraind om een datum te voorspellen, niet om authentieke passages van anachronistische te onderscheiden. Het gebruikt waarschijnlijk grove stylistische bewijsmateriaal om die voorspelling te doen. Menselijke lezers, of grotere modellen, kunnen nog steeds anachronistische inhoud in passages detecteren die oppervlakkig “in-periode” klinken.’

Menselijke Aanraking

Tenslotte voerden de onderzoekers menselijke evaluatietests uit met 250 handgeselecteerde passages uit boeken die tussen 1905 en 1914 waren gepubliceerd, en zij observeren dat veel van deze teksten waarschijnlijk heel anders zouden worden geïnterpreteerd vandaag dan op het moment van schrijven:

‘Onze lijst omvatte, bijvoorbeeld, een encyclopedie-intrag over Elzas (dat toen deel uitmaakte van Duitsland) en een over beriberi (dat toen vaak werd verklaard als een schimmelinfectie in plaats van een voedingsstoornis). Terwijl dat feitelijke verschillen zijn, selecteerden wij ook passages die subtielere verschillen in houding, retoriek of verbeelding zouden vertonen.

‘Bijvoorbeeld, beschrijvingen van niet-Europese plaatsen in het vroege twintigste-eeuwse tijdperk glijden vaak af naar raciale generalisaties. Een beschrijving van zonsopgang op de maan geschreven in 1913 stelt een rijke chromatische fenomenen voor, omdat niemand nog foto’s van een wereld zonder atmosfeer had gezien.’

De onderzoekers creëerden korte vragen die elke historische passage plausibel kon beantwoorden, en finetuneden vervolgens GPT-4o-mini op deze vraag-antwoordparen. Om de evaluatie te versterken, trainden zij vijf afzonderlijke versies van het model, waarbij elke keer een andere deel van de gegevens werd uitgesloten voor testen.

Zij produceerden vervolgens antwoorden met behulp van zowel de standaardversies van GPT-4o en GPT-4o-mini als de gefinetune varianten, elk geëvalueerd op het deel dat het niet had gezien tijdens de training.

Verloren in de Tijd

Om te beoordelen hoe overtuigend de modellen historische taal konden imiteren, vroegen de onderzoekers drie expert-annotators om 120 AI-gegenereerde voortzettingen te beoordelen en te bepalen of elke voortzetting plausibel leek voor een schrijver in 1914.

Deze directe evaluatiebenadering bleek moeilijker dan verwacht: hoewel de annotators ongeveer tachtig procent van de tijd overeenstemden in hun beoordelingen, betekende de onbalans in hun oordelen (met ‘plausibel’ tweemaal zo vaak gekozen als ‘niet plausibel’) dat hun werkelijke niveau van overeenstemming slechts matig was, gemeten met een Cohen’s kappa-score van 0,554.

De beoordelaars zelf beschreven de taak als moeilijk, vaak vereiste het aanvullend onderzoek om te bepalen of een uitspraak in overeenstemming was met wat in 1914 bekend of geloofd was.

Sommige passages stelden moeilijke vragen over toon en perspectief – bijvoorbeeld, of een antwoord adequaat beperkt was tot een wereldbeeld dat typerend zou zijn voor 1914. Deze soort oordeel hing vaak af van het niveau van ethnocentrisme (d.w.z. de neiging om andere culturen te bekijken door de aannamen of vooroordelen van de eigen cultuur).

In deze context was de uitdaging om te bepalen of een passage voldoende cultureel vooroordeel vertoonde om historisch plausibel te lijken zonder te modern of te overtly offensief te klinken naar hedendaagse maatstaven. De auteurs merken op dat zelfs voor onderzoekers die vertrouwd zijn met de periode, het moeilijk was om een scherpe lijn te trekken tussen taal die historisch accuraat leek en taal die hedendaagse ideeën weerspiegelde.

Nonetheless, de resultaten toonden een duidelijke rangorde van de modellen, met de gefinetune versie van GPT-4o-mini als meest plausibel beoordeeld:

Beoordelaarsbeoordelingen van hoe plausibel elke modeloutput leek

Of dit niveau van prestatie, beoordeeld als plausibel in tachtig procent van de gevallen, betrouwbaar genoeg is voor historisch onderzoek, blijft onduidelijk – vooral omdat de studie geen baseline-maatstaf bevatte voor hoe vaak echte periode-teksten mogelijk verkeerd zouden worden geclassificeerd.

Indringer Waarschuwing

Vervolgens kwam een ‘indringer-test’, waarbij expert-annotators vier anonieme passages zagen die hetzelfde historische vraag beantwoordden. Drie van de antwoorden kwamen van taalmodellen, terwijl één een echte en authentieke passage uit een vroeg-twintigste-eeuwse bron was.

De taak was om te bepalen welke passage de oorspronkelijke was, echt geschreven tijdens de periode.

Deze benadering vroeg de annotators niet om de geloofwaardigheid rechtstreeks te beoordelen, maar mat in plaats daarvan hoe vaak de echte passage opviel tussen de AI-gegenereerde antwoorden, in feite testend of de modellen menselijke lezers konden misleiden om te denken dat hun output authentiek was.

De rangorde van de modellen kwam overeen met de resultaten van de eerdere beoordelingstaak: de gefinetune versie van GPT-4o-mini was het meest overtuigend onder de modellen, maar kwam nog steeds niet in de buurt van het echte artikel.

De frequentie waarmee elke bron correct werd geïdentificeerd als de authentieke historische passage.

Deze test diende ook als een nuttige benchmark, aangezien de echte passage meer dan de helft van de tijd werd geïdentificeerd, de kloof tussen authentieke en synthetische proza nog steeds opviel voor menselijke lezers.

Een statistische analyse genaamd McNemar’s test bevestigde dat de verschillen tussen de modellen significant waren, behalve in het geval van de twee ongetrainde versies (GPT-4o en GPT-4o-mini), die vergelijkbaar presteerden.

De Toekomst van het Verleden

De auteurs vonden dat het aanzetten van moderne taalmodellen om een historische stem aan te nemen niet betrouwbare resultaten opleverde: minder dan twee derde van de outputs werden door menselijke lezers als plausibel beoordeeld, en zelfs dit cijfer overschat waarschijnlijk de prestaties.

In veel gevallen bevatten de antwoorden expliciete signalen dat het model vanuit een hedendaags perspectief sprak – zinnen als ‘in 1914 is het nog niet bekend dat…’ of ‘tot 1914 ben ik niet vertrouwd met…’ waren vaak genoeg om in tot twintig procent van de voortzettingen te verschijnen. Dergelijke kanttekeningen maakten het duidelijk dat het model geschiedenis simuleerde van buitenaf, in plaats van van binnenuit te schrijven.

De auteurs stellen:

‘De slechte prestatie van in-context leren is ongelukkig, omdat deze methoden de eenvoudigste en goedkoopste zijn voor AI-gebaseerd historisch onderzoek. Wij benadrukken dat wij deze benaderingen niet uitputtend hebben onderzocht.

‘Het kan zijn dat in-context leren toereikend is – nu of in de toekomst – voor een subset van onderzoeksgebieden. Maar ons eerste bewijs is niet bemoedigend.’

De auteurs concluderen dat fine-tuning een commercieel model op historische passages een stylistisch overtuigend resultaat kan opleveren tegen minimale kosten, maar dat het niet volledig sporen van hedendaagse perspectieven elimineert. Het vooraf trainen van een model op periode-materiaal voorkomt anachronisme, maar vereist veel meer middelen en resulteert in minder vloeiende output.

Geen van beide methoden biedt een complete oplossing, en voorlopig lijkt elke poging om historische stemmen te simuleren een compromis tussen authenticiteit en coherentie te vereisen. De auteurs concluderen dat verdere onderzoek nodig is om te verduidelijken hoe deze spanning het beste kan worden genavigeerd.

Conclusie

Misschien een van de meest interessante vragen die uit het nieuwe artikel naar voren komen, is die van authenticiteit. Terwijl zij niet perfecte instrumenten zijn, geven verliesfuncties en metrics zoals LPIPS en SSIM computer vision-onderzoekers tenminste een like-on-like methodologie voor het evalueren van grondwaarheid.

Wanneer nieuwe tekst in de stijl van een vervlogen tijdperk wordt gegenereerd, is er daarentegen geen grondwaarheid – alleen een poging om een verdwenen cultureel perspectief te bewonen. Pogingen om deze geestestoestand te reconstrueren uit literaire sporen zijn zelf een vorm van quantization, aangezien dergelijke sporen slechts bewijs zijn, terwijl het culturele bewustzijn waaruit zij voortkomen buiten inferentie en waarschijnlijk buiten verbeelding ligt.

Op een praktisch niveau ook, riskeren de fundamenten van moderne taalmodellen, gevormd door hedendaagse normen en gegevens, om ideeën die redelijk of onopvallend zouden hebben geleken voor een Edwardiaanse lezer, maar die nu als (vaak offensieve) artefacten van vooroordeel, ongelijkheid of onrecht geregistreerd worden, te interpreteren of te onderdrukken.

Men vraagt zich dus af of wij zo’n colloquy zouden kunnen creëren, of het ons niet zou afstoten.

Eerst gepubliceerd op vrijdag 2 mei 2025