Tekoäly kamppailee historiallisen kielen jäljittelemisessä

Yhdysvalloissa ja Kanadassa tehty tutkimus on osoittanut, että suuret kielen mallit (LLM), kuten ChatGPT, kamppailevat historiallisten idiomeiden jäljittelemisessä ilman laajaa esikoulutusta – prosessi, joka on kallis ja työläs, ja joka ylittää useimpien akateemisten tai viihteen aloitteiden resurssit, mikä tekee hankkeista, kuten Charles Dickensin viimeisen, keskeneräisen romaanin täydentämisen tekoälyllä, epätodennäköiseksi.

Tutkijat tutkivat useita menetelmiä tekstien luomiseksi, jotka kuulostavat historiallisesti oikein, aloittaen yksinkertaisella ohjauksella, jossa käytettiin varhaisen 1900-luvun proosaa, ja siirtyen hienosäätöön kaupallista mallia, joka perustui pienen kirjojen kokoelmaan kyseiseltä ajalta.

He myös vertasivat tuloksia toiseen malliin, joka oli koulutettu kokonaan kirjoja, jotka oli julkaistu vuosina 1880-1914.

Ensimmäisessä testissä, jossa ChatGPT-4o:lle annettiin tehtäväksi jäljitellä fin‑de‑siècle -kieltä, tulokset erosivat merkittävästi GPT2-pohjaisen mallin tuloksista, joka oli hienosäätöity kirjallisuudesta kyseiseltä ajalta.

Kun pyydettiin täydentämään historiallinen teksti (keskellä ylhäällä), jopa hyvin valmisteltu ChatGPT-4o (alhaalla vasemmalla) ei voinut estää palaamasta ‘blogi’-tilaan, epäonnistuen pyrkimyksessään edustaa pyydettyä idiomeja. Sen sijaan hienosäätöity GPT2-malli (alhaalla oikealla) sai kielen tyylit oikein, mutta ei ollut yhtä tarkka muissa suhteissa.

Vaikka hienosäätö paransi tulosta, ihmislukijat pystyivät usein havaitsemaan modernin kielen tai ideoiden jälkiä, mikä viittaa siihen, että jopa huolellisesti säätöidyistä malleista säilyy aineistojen aikakauden vaikutus.

Tutkijat saapuivat turhauttavaan johtopäätökseen, että ei ole taloudellisia ratkaisuja historiallisesti oikein idioomien tai dialogien luomiseksi koneella. He myös epäilivät, että haaste itsessään saattaa olla väärin asetettu:

‘Meidän tulisi myös harkita mahdollisuutta, että anakronismit saattavat olla jossain mielessä välttämättömiä. Riippumatta siitä, pyrkimmekö me edustamaan menneisyyttä kouluttamalla historiallisia malleja niin, että ne voivat käydä keskustelua, tai opettamalla nykymalleja puhumaan vanhemman aikakauden äänellä, jokin kompromissi on välttämätön autenttisuuden ja keskustelun sujuvuuden välillä.

‘Onhan esimerkiksi olemassa “aitoja” esimerkkejä keskusteluista, joissa vuoden 2023 kysyjä ja vuoden 1914 vastaaja osallistuvat. Tutkijoiden on pohdittava sitä olettamusta, että tulkinta aina edellyttää neuvottelua nykyisyyden ja menneisyyden välillä.’

Uusi tutkimus on julkaistu ja sen nimi on Voivatko kielimallit edustaa menneisyyttä ilman anakronismeja?, ja se on tehty kolmen tutkijan yhteistyönä Illinoisin yliopistosta, Brittiläisen Kolumbian yliopistosta ja Cornellin yliopistosta.

Täydellinen epäonnistuminen

Aluksi tutkijat testasivat kolmiosaisessa tutkimuksessa, voivatko modernit kielimallit jäljitellä historiallista kieltä yksinkertaisella ohjauksella. He käyttivät aidoista kirjoista vuosilta 1905-1914 otettuja katkelmia ja pyysivät ChatGPT-4o:ia jatkamaan näitä katkelmia samalla tyylillä.

Alkuperäinen aikakauden teksti oli:

‘Tässä viimeisessä tapauksessa noin viisi tai kuusi dollaria säästyy minuutissa, koska yli 20 jaardia elokuvaa on kelaudettava, jotta voidaan projisoida yhden minuutin aikana henkilön tai maiseman kuva. Täten saadaan käytännöllinen yhdistelmä kiinteistä ja liikkuvista kuvista, mikä tuottaa erittäin taiteellisia vaikutuksia.

‘Se myös mahdollistaa kahden elokuvakoneen käytön, jotka projisoivat vuorotellen, jotta voidaan välttää vilkkuvuutta, tai projisoivat samanaikaisesti punaisia ja vihreitä kuvia ja jäljittelevät luonnollisia värejä, mikä helpottaa silmän fysiologista rasitusta. Sanoisin nyt jotain kylmän valon soveltamisesta välittömään valokuvaamiseen.’

Arvioidakseen, vastasivatko luodut tekstit aikakauden tyyliin, ja tiedostavat, että ihmiset eivät ole erityisen taitavia arvioimaan, milloin teksti on kirjoitettu, tutkijat hienosäätöivät RoBERTa -mallia arvioimaan julkaisupäivämääriä Historiallisen amerikkalaisen englannin korpuksen avulla, joka kattoi aineistoa vuosilta 1810-2009.

RoBERTa-luokittelija käytettiin arvioimaan ChatGPT-4o:n tuottamia jatkoja, jotka oli ohjattu aidoilla katkelmilla kirjoista vuosilta 1905-1914.

Järjestelmän ohje (eli kontekstuaalinen ohje ChatGPT:lle tehtävän suorittamiseksi) oli:

‘Tehtävänne on täydentää 1900-luvun alun kirjojen katkelmia. Teille annetaan katkelma kirjasta, joka on julkaistu vuonna 1913. Jatka tätä katkelmaa samalla tyylillä vähintään 200 sanalla. Anna vain täydennys; älä tee kehyksellisiä huomautuksia, kuten “tässä on jatko”.’

Vaikka sekä yksittäinen että 20-kertaisella ohjauksella, ChatGPT-4o:n tulokset viittasivat jatkuvasti 2000-luvun tyyliin.

Esimerkki paperissa esitetyistä ChatGPT-4o:n yrityksistä jatkaa aidoissa katkelmissa valokuvauksesta:

‘Kylmän valon käyttäminen välittömässä valokuvaamisessa on vallankumouksellista lähestymistapaa valokuvien ottamiseen erilaisissa valaistusolosuhteissa. Perinteisesti valokuvaajat kamppailivat luonnonvalon karkeuden ja muutosten tai salamavalokuvauksen häiritsevän luonteen kanssa, mikä voi häiritä kohtauksen ilmapiiriä tai aiheiden luonnollista käyttäytymistä, erityisesti villieläinten ja ihmisten valokuvauksessa.

‘Kylmä valo, jolla on pehmeämpi ja hajonneempi luonne… sallii enemmän luonnollisen edustamisen väreistä ja tekstuureista, jotka usein häviävät kovassa valaistuksessa.’

Kuten voimme helposti nähdä, tämä yleinen, wiki-tyylinen teksti ei vastaa alkuperäisen aikakauden tekstin pitkäveteistä ja koristeltua tyyliä. Lisäksi se ei jatka siitä, mihin alkuperäinen sisältö päättyy, vaan siirtyy sivuun ja abstraktiin mietintään yhdestä alateemasta.

Tutkijat testasivat myös GPT-1914:ää, joka on pienempi GPT-2-luokan malli, joka on koulutettu alusta alkaen 26,5 miljardilla tokenilla kirjallisuudesta vuosilta 1880-1914.

Vaikka sen tulokset eivät olleet yhtä koherentteja kuin ChatGPT-4o:n, se oli lähempänä aikakauden tyyliä. Ainoa esimerkki, joka esitettiin paperissa, valokuvauksesta, kuului:

‘Toimintaperiaatetta on jo selitetty (s. 4). Mainitsen tässä vain, että sitä voidaan soveltaa hyödyllisesti, kun haluamme saada hyvin nopeita valokuvia paperille, joka on pinnoitettu kollodiumilla, sekä niistä, jotka on otettu geeliokuvalevyillä.

‘Näissä tapauksissa altistusaika ei saa ylittää yhtä sekuntia; mutta jos halutaan kehittää kuva lyhyemmässä ajassa – esimerkiksi puolessa sekunnissa – lämpötilan ei saa laskea alle 20 °C, muuten kuva tulee liian tummaksi kehittämisen jälkeen; lisäksi levy menettää herkkyytensä näissä olosuhteissa.

‘Tavallisissa tapauksissa kuitenkin riittää, että herkkä pinta altistetaan matalalle lämpötilalle ilman erityisiä varotoimia, paitsi sitä, että pinnan on säilyttävä…

Koska alkuperäinen materiaali on jo itsessään outo ja vaikea seurata, on vaikea ymmärtää, kuinka hyvin GPT-1914 on onnistunut omaksumaan alkuperäisen tyylin; mutta tulokset kuulostavat selvästi aikakauden mukaisemmilta.

Kuitenkin tutkijat tulivat siihen johtopäätökseen, että yksinkertainen ohjaus ei auta voittamaan suuren esikoulutetun mallin, kuten ChatGPT-4o:n, nykyaikaisia harhoja.

Juoni tiivistyy

Tutkijat mittasivat, kuinka lähellä mallien tulokset olivat aitoja historiallisia tekstejä, käyttäen tilastollista luokittelijaa arvioidakseen kunkin tekstikatkelman todennäköisen julkaisupäivämäärän. He visualisoivat tulokset ydin tiheys -kaavion avulla, joka näyttää, mihin kullekin katkelmalle malli uskoo sen kuuluvan historiallisella aikajanalta.

Arvioidut julkaisupäivämäärät aidoille ja luoduille teksteille, perustuen luokittelijaan, joka on koulutettu tunnistamaan historiallinen tyyli (1905-1914 aikaiset lähdetekstit verrattuna GPT-4o:n jatkoihin, jotka on luotu yksittäisellä ja 20-kertaisella ohjauksella, sekä GPT-1914:ään, joka on koulutettu vain kirjallisuudesta vuosilta 1880-1914).

Hienosäätöity RoBERTa-malli, jota tutkijat käyttivät tässä tehtävässä, ei ollut virheetön, mutta se pystyi silti korostamaan yleisiä tyyliin liittyviä suuntauksia. GPT-1914:n, joka oli koulutettu aikakauden kirjallisuudesta, tulokset ryhmittyivät 1900-luvun alkuun – samoin kuin alkuperäinen lähdemateriaali.

Toisaalta ChatGPT-4o:n tulokset, jopa useiden historiallisten esimerkkien ohjauksella, muistuttivat enemmän 2000-luvun kirjoitustyyliä, heijastaen sitä dataa, jolla se oli alun perin koulutettu.

Tutkijat kvantifioiden tämän eroon Jensen-Shannon divergenssin avulla, joka on mittari siitä, kuinka erilaisia kaksi todennäköisyysjakaumaa ovat. GPT-1914 sai tuloksen 0,006 verrattuna aidoihin historiallisiin teksteihin, kun taas ChatGPT-4o:n yksittäinen ja 20-kertainen ohjaus osoittivat paljon suurempia eroja, 0,310 ja 0,350.

Tutkijat väittävät, että nämä tulokset osoittavat, että ohjaus yksin, jopa useiden esimerkkien kanssa, ei ole luotettava tapa tuottaa tekstiä, joka vakuuttavasti simuloisi historiallista tyyliä.

Katkelman täydentäminen

Paperi tutkii sitten, voisiiko hienosäätö tuottaa paremman tuloksen, koska tämä prosessi vaikuttaa suoraan mallin painoihin “jatkamalla” sen koulutusta käyttäjän määrittelemällä datasta – prosessi, joka voi vaikuttaa alkuperäiseen ydinominaisuuksiin, mutta parantaa merkittävästi suorituskykyä alueella, jota se “työnnetään” tai korostetaan hienosäätössä.

Ensimmäisessä hienosäätö-kokeessa tiimi koulutti GPT-4o-mini:ää noin kahdella tuhannella katkelman täydentämisen parilla, jotka oli poimittu kirjoista vuosilta 1905-1914, tavoitteena nähdä, voisiuko pienempi hienosäätö siirtää mallin tulokset lähemmäs historiallisesti oikein tyyliä.

Käyttäen samaa RoBERTa-pohjaista luokittelijaa, joka toimi tuomarina aiemmissa testeissä, arvioimaan kunkin tuloksen tyylin “päivämäärää”, tutkijat totesivat, että uudessa kokeessa hienosäätöity malli tuotti tekstiä, joka oli lähellä todellista.

Sen tyylin ero alkuperäisistä teksteistä, mitattuna Jensen-Shannon divergenssin avulla, laski 0,002:een, joka on yleensä samaa luokkaa kuin GPT-1914:

Arvioidut julkaisupäivämäärät aidoille ja luoduille teksteille, osoittaa, kuinka lähellä GPT-1914 ja hienosäätöity GPT-4o-mini ovat 1900-luvun alun kirjoitustyylistä (perustuu kirjoihin vuosilta 1905-1914).

Kuitenkin tutkijat varoittavat, että tämä mittari saattaa vain havaita historiallisen tyylisuunnan pinnallisia piirteitä, eikä välttämättä syvempiä käsitteellisiä tai faktuaalisia anakronismeja.

‘Tämä ei ole erittäin herkkä testi. RoBERTa-malli, jota käytetään tässä tuomarina, on koulutettu vain arvioimaan päivämäärää, eikä erottamaan aitoja katkelmia anakronistisista. Se käyttää luultavasti karkeita tyyliin liittyviä todisteita tämän ennusteen tekemiseen. Ihmislukijat tai suuremmat mallit saattavat silti havaita anakronistista sisältöä katkelmissa, jotka pinnallisesti “kuulostavat aikakauden mukaisilta”.’

Ihmisyyden kosketus

Lopulta tutkijat suorittivat ihmisten arviointitestejä, joissa he valitsivat 250 käsinkirjoitettua katkelmaa kirjoista vuosilta 1905-1914, ja he huomauttavat, että monet näistä teksteistä tulkitettaisiin todennäköisesti eri tavoin nykyään kuin ne kirjoitettiin:

‘Listamme sisälsi esimerkiksi tietosanakirja-artikkelin Elsasista (joka oli silloin osa Saksaa) ja toisen beriberistä (jota selitettiin usein sienitautina eikä ravitsemuspuutteena). Vaikka nämä ovat tosiasiallisia eroja, valitsimme myös katkelmia, jotka olisivat todennäköisesti erilaisia asenteissa, retoriikassa tai mielikuvituksessa.

‘Esimerkiksi varhaisen 1900-luvun kuvaukset ei-eurooppalaisista paikoista usein liukuvat rodullistamiseen. Kuvaus auringon noususta kuussa vuonna 1913 kuvittelee rikkaan kromaattisen ilmiön, koska kukaan ei ollut vielä nähnyt valokuvaa maailmasta ilman ilmakehää.’

Tutkijat loivat lyhyitä kysymyksiä, joita kunkin historiallinen katkelma voisi järkevästi vastata, ja sitten hienosäätöivät GPT-4o-miniä näillä kysymys-vastaus -pareilla. Vahvistaakseen arvioinnin he kouluttivat viisi erillistä mallin versiota, ja kussakin koulutuksessa he pitivät eri osan dataa testaamiseen.

He sitten tuottivat vastauksia sekä oletusarvoisilla GPT-4o:lla ja GPT-4o-mini:llä että hienosäätöidyillä versioilla, ja arvioivat kunkin niiden osalla, jota se ei ollut nähnyt koulutuksen aikana.

Hävikki aikojen hämärään

Arvioidakseen, kuinka vakuuttavasti mallit voivat jäljitellä historiallista kieltä, tutkijat pyysivät kolmea asiantuntija-annotaattoria arvioimaan 120 tekoälyllä luotua katkelmaa ja määrittämään, näyttääkö kunkin niistä uskottavalta kirjoittajalle vuonna 1914.

Tämä suora arviointitapa osoittautui haasteellisemmaksi kuin odotettiin: vaikka annotaattorit olivat samaa mieltä arvioissaan lähes 80 prosenttisesti, heidän arvioidensa epätasapuolisuus (jossa “uskottava” valittiin kaksi kertaa useammin kuin “epäuskottava”) tarkoitti, että heidän todellinen yhtenäisyytensä oli vain kohtalainen, mitattuna Cohenin kappa -arvolla 0,554.

Annotaattorit itse kuvasivat tehtävän vaikeaksi, usein vaativan lisätutkimusta arvioidakseen, sopiiko lause aikakauteen 1914.

Joitain katkelmia herätti hankalia kysymyksiä sävystä ja näkökulmasta – esimerkiksi, oliko vastaus sopivan rajoitettu maailmankuvaan, joka oli tyypillinen vuonna 1914. Tämäntyyppinen arviointi usein riippui etnosentrismistä (eli taipumuksesta tarkastella muita kulttuureja omasta kulttuuristaan käsin).

Tässä kontekstissa haasteena oli päättää, osoittaaanko katkelma tarpeeksi kulttuurista harhaa tullakseen historiallisesti uskottavaksi ilman liian modernin tai liian jyrkkään loukkaavan äänen käyttämistä. Tutkijat huomauttavat, että jopa tutkijoille, jotka ovat tuttuja aikakaudesta, oli vaikea piirtää selkeä raja historiallisesti oikein kielen ja nykyaikaisen ajattelun välillä.

Tulokset osoittivat kuitenkin selvän mallien arviointijärjestyksen, jossa hienosäätöity GPT-4o-mini todettiin kaikkein uskottavimmaksi:

Annotaattorien arviot siitä, kuinka uskottavilta kunkin mallin tulokset näyttävät

On epäselvää, onko tämä tasoinen suoritus, joka on arvioitu 80 prosenttisesti “uskottavaksi”, riittävä historialliselle tutkimukselle – erityisesti, koska tutkimus ei sisältänyt vertailukohdetta siitä, kuinka usein aitoja aikakauden tekstejä voisi väärin luokitella.

Viidakon hälytys

Seuraavaksi tuli “viidakon hälytys” -testi, jossa asiantuntija-annotaattorit näyttivät neljä nimettömiä katkelmaa, jotka vastasivat samaa historiallista kysymystä. Kolme vastauksista tuli kielimalleista, ja yksi oli aito katkelma varhaisen 1900-luvun lähteestä.

Tehtävänä oli tunnistaa, kumpi katkelma oli alkuperäinen, aitoa aikakautta edustava.

Tämä lähestymistapa ei pyytänyt annotaattoreita arvioimaan uskottavuutta suoraan, vaan mitatti, kuinka usein aito katkelma erottui tekoälytuotoksista, käytännössä testaten, voivatko mallit hämätä lukijoita uskomaan, että niiden tuottama teksti on aito.

Mallien arviointijärjestys vastasi aiemman arvioinnin tuloksia: hienosäätöity GPT-4o-mini oli vakuuttavin malleista, mutta ei yltänyt aitoon asiaan.

Alkuperäisen historiallisen katkelman oikein tunnistettujen määrä.

Tämä testi toimi myös hyvänä vertailukohtana, koska aito katkelma tunnistettiin yli puolella osalla tapauksista, jolloin ero aidoissa ja tekoälyllisissä proosateksteissä säilyi merkittävänä lukijoiden silmissä.

Tilastollinen analyysi, McNemarin testi, vahvisti, että mallien väliset erot olivat merkittäviä, lukuun ottamatta kahta säätämätöntä versiota (GPT-4o ja GPT-4o-mini), jotka suorittivat samalla tasolla.

Menneisyyden tulevaisuus

Tutkijat totesivat, että modernien kielimallien ohjaaminen historialliseen ääneen ei tuottanut vakuuttavia tuloksia: vähemmän kuin kaksi kolmasosaa tuloksista arvioitiin uskottaviksi ihmislukijoille, ja jopa tämä lukema liioittelee suorituskykyä.

Monissa tapauksissa vastauksissa oli selviä merkkejä siitä, että malli puhuu nykyisyydestä: lauseet, kuten ‘vuonna 1914 ei tiedetä, että…’ tai ‘vuonna 1914 en ole tuttu…’, olivat tarpeeksi yleisiä, jotta ne esiintyivät jopa viidennessä osassa jatkoista. Tällaiset varoitukset osoittivat selvästi, että malli simuloiti historiallisuutta ulkoa, eikä kirjoittanut sisäpuolelta.

Tutkijat toteavat:

‘Huono suoritus kontekstissä on valitettavaa, koska nämä menetelmät ovat helpoimmat ja halvimmat tekoälypohjaisessa historiallisessa tutkimuksessa. Korostamme, että emme ole tutkineet näitä lähestymistapoja täydellisesti.

‘On mahdollista, että kontekstissä oppiminen on riittävä – nykyisin tai tulevaisuudessa – tietyille tutkimusalueille. Mutta alkuvaiheen näyttö ei ole lupaavaa.’

Tutkijat johtavat, että vaikka hienosäätö kaupallista mallia historiallisilla katkelmilla voi tuottaa tyylistä vakuuttavaa tulosta vähällä kustannuksella, se ei poista nykyaikaisen näkökulman jälkiä täysin. Kokonaan aikakauden materiaalilla koulutettu malli välttää anakronismin, mutta vaatii paljon enemmän resursseja ja johtaa vähemmän sulavaan tulokseen.

Kumpikaan menetelmä ei tarjoa täydellistä ratkaisua, ja näyttää siltä, että historiallisten äänien simuloiminen vaatii kompromissin autenttisuuden ja koherenttisuuden välillä. Tutkijat johtavat, että lisätutkimus on tarpeen, jotta voidaan selventää, miten parhaiten navigoida tässä jännitteessä.

Johtopäätös

Tutkimuksessa nousee esiin yksi mielenkiintoinen kysymys: autenttisuus. Vaikka ne eivät ole täydellisiä työkaluja, tappioluvut ja mittarit, kuten LPIPS ja SSIM, antavat tietokoneen näön tutkijoille vähintään samanlaisen metodin arvioida alkuperäistä totuutta vastaan.

Kun luodaan uutta tekstiä menneisyyden tyylissä, toisaalta, ei ole alkuperäistä totuutta – vain yritys asettua kadonneeseen kulttuuriseen näkökulmaan. Yritys rekonstruoida tämä mielentila kirjallisten jälkien kautta on itsessään kvantifiointi, koska nämä jäljet ovat vain todisteita, kun taas kulttuurinen tietoisuus, josta ne nousevat, on tuolla puolen johtopäätöksen ja luultavasti mielikuvituksen ulottumattomissa.

Praktisella tasolla modernien kielimallien perusta, joka on muotoiltu nykyisten normien ja aineistojen mukaan, altistaa uudelleen tulkitsemiseen tai tukahduttamiseen ideoita, jotka olisivat vaikuttaneet järkeviltä tai merkityksettömiltä edvardiaaniselle lukijalle, mutta jotka nykyään näyttävät usein loukkaavilta esineistä, joissa on enemmistön, epätasa-arvon tai epäoikeudenmukaisuuden jäänteitä.

Ihmettelen, jos voisimme luoda tällaisen keskustelun, voisi se kuitenkin toruttaa meidät.

Julkaistu ensimmäisen kerran perjantaina 2. toukokuuta 2025