Lupta IA de a emula limbajul istoric

O colaborare între cercetători din Statele Unite și Canada a descoperit că modelele de limbaj mari (LLM) precum ChatGPT au dificultăți în a reproduce idiome istorice fără o pregătire extinsă – un proces costisitor și laborios care depășește posibilitățile mai multor inițiative academice sau de divertisment, făcând proiecte precum completarea romanului neterminat al lui Charles Dickens prin IA o propunere puțin probabilă.

Cercetătorii au explorat o serie de metode pentru generarea de texte care sună istoric autentice, începând cu simplele îndemnuri folosind proza secolului al XX-lea și mergând până la reglarea fină a unui model comercial pe o colecție mică de cărți din acea perioadă.

De asemenea, au comparat rezultatele cu un model separat care a fost instruit în întregime pe cărți publicate între 1880 și 1914.

În primul test, instruirea lui ChatGPT-4o pentru a imita limbajul fin‑de‑siècle a produs rezultate destul de diferite de cele ale modelului GPT2 mai mic, care a fost reglat fin pe literatura perioadei:

Când i s-a cerut să completeze un text istoric real (centru sus), chiar și un ChatGPT-4o bine pregătit (stânga jos) nu a putut să nu cadă în „modul blog”, neînregistrând idiomul solicitat. În schimb, modelul GPT2 reglat fin (dreapta jos) a capturat stilul limbajului bine, dar nu a fost la fel de precis în alte moduri. Sursă: https://arxiv.org/pdf/2505.00030

Deși reglarea fină aduce outputul mai aproape de stilul original, cititorii umani au putut detecta frecvent urme de limbaj modern sau idei, sugerând că chiar și modelele ajustate cu atenție continuă să reflecte influența datelor lor de antrenament contemporane.

Cercetătorii ajung la concluzia frustrantă că nu există scurtături economice pentru generarea de texte istorice corecte din punct de vedere idiomatice sau a dialogurilor. Ei mai conjecturează că însăși provocarea ar putea fi greșit formulată:

‘[Trebuie] să luăm în considerare și posibilitatea că anacronismul poate fi într-un anumit sens inevitabil. Indiferent dacă reprezentăm trecutul prin instruirea modelelor istorice astfel încât să poată purta conversații sau prin învățarea modelelor contemporane să ventriloqueze o perioadă mai veche, poate fi necesar un compromis între obiectivele de autenticitate și fluency conversațională.

‘Există, după cum se știe, nu există „autentice” exemple de conversații între un întrebător din secolul al XXI-lea și un răspuns din 1914. Cercetătorii care încearcă să creeze o astfel de conversație vor trebui să reflecteze asupra [premiselor] că interpretarea implică întotdeauna o negociere între prezent și [trecut].’

Studiul nou, intitulat Can Language Models Represent the Past without Anachronism?, provine de la trei cercetători de la University of Illinois, University of British Columbia și Cornell University.

Dezastru complet

Inițial, într-o abordare de cercetare în trei părți, autorii au testat dacă modelele de limbaj moderne pot fi împinse să imite limbajul istoric prin simple îndemnuri. Folosind extrase reale din cărți publicate între 1905 și 1914, au cerut lui ChatGPT-4o să continue aceste pasaje în același idiom.

Textul original din perioada respectivă a fost:

‘În acest ultim caz, se economisesc aproximativ cinci sau șase dolari pe minut, deoarece peste douăzeci de yard de film trebuie derulate pentru a proiecta în timpul unui singur minut un obiect aflat în repaus sau un peisaj. Astfel se obține o combinație practică de imagini fixe și în mișcare, care produce efecte artistice deosebite.

‘Acest lucru ne permite, de asemenea, să lucrăm cu două cinematografe care proiectează alternativ pentru a evita scintilația, sau care proiectează simultan imagini roșii și verzi și reproduc culorile naturale, astfel încât să ușureze ochiul uman, obișnuit să primească culorile fundamentale în același timp, de orice oboseală fiziologică. O vorbă acum despre aplicarea luminii reci în fotografia instantanee.’

Pentru a evalua dacă textul generat se potrivea cu stilul istoric intenționat, și conștienți că oamenii nu sunt deosebit de pricepuți în a ghici data la care a fost scris un text, cercetătorii au reglat fin un model RoBERTa pentru a estima datele de publicare, folosind un subset din Corpus of Historical American English, care acoperă material din 1810 până în 2009.

Modelul RoBERTa a fost apoi utilizat pentru a evalua continuările produse de ChatGPT-4o, care a fost îndemnat cu pasaje reale din cărți publicate între 1905 și 1914.

Îndemnul sistemului (adică instrucțiunile contextuale pentru ChatGPT despre cum să abordeze sarcina) a fost:

‘Sarcina dvs. este de a completa pasaje din cărți din secolul al XX-lea. Veți primi un pasaj dintr-o carte publicată în 1913. Continuați acest pasaj în același stil, pentru cel puțin 200 de cuvinte. Nu faceți remarci de introducere, cum ar fi „iată continuarea…”.’

În ciuda îndemnurilor simple și cu 20 de exemple, ieșirile lui ChatGPT-4o s-au îndreptat în mod constant către un registru stilistic din secolul al XXI-lea.

Exemplul prezentat în lucrare arată una dintre încercările lui ChatGPT-4o de a continua textul real din perioada respectivă despre fotografia:

‘Utilizarea luminii reci în fotografia instantanee a revoluționat abordarea capturării de imagini în condiții de iluminare variabilă. Fotografii au luptat în mod tradițional cu asprimea și variabilitatea luminii naturale sau cu natura intruzivă a fotografiei cu flash, care putea deranja atmosfera unei scene sau comportamentul natural al subiecților, în special în fotografia de wildlife și cea de portret.

‘Lumina rece, cu natura sa mai moale și mai difuză… permite o reprezentare mai naturală a culorilor și texturilor, care este adesea pierdută sub iluminarea artificială aspră.’

Este ușor de văzut că acest text generic, în stil Wiki, nu se potrivește cu stilul elaborat și prolix al textului original din perioadă. Mai mult, nu continuă realmente de unde textul original se oprește, ci pornește într-o reflecție tangențială și abstractă asupra unui subiect.

Echipa a testat și GPT-1914, un model mai mic din clasa GPT-2, instruit de la zero pe 26,5 miliarde de tokeni de literatură din perioada 1880-1914.

Deși ieșirile sale au fost mai puțin coerente decât cele ale lui ChatGPT-4o, au fost mai consistente cu stilul perioadei. Singurul exemplu oferit în lucrare, din nou ca o continuare a textului real din perioadă despre fotografia, sună astfel:

‘Principiul acțiunii sale a fost deja explicat (p. 4). Vom menționa aici doar că poate fi aplicat cu avantaje atunci când dorim să obținem fotografii foarte rapide pe hârtie acoperită cu colodiu, precum și cele luate cu ajutorul plăcilor de gelatină.

‘În astfel de cazuri, expunerea nu trebuie să depășească un secundă; dar dacă imaginea este dorită a fi dezvoltată în mai puțin timp – spunem jumătate de secundă – atunci temperatura nu trebuie să scadă sub 20° C., altfel imaginea va deveni prea întunecată după dezvoltare; în plus, placa își va pierde sensibilitatea în aceste condiții.

‘Pentru scopuri obișnuite, însă, este suficient să expunem suprafața sensibilă la un grad scăzut de căldură fără a fi necesare precauții speciale, în afara păstrării…’ [sic]

Deoarece materialul real și original este arcan și destul de greu de urmărit, este dificil să înțelegem în ce măsură GPT-1914 a capturat cu adevărat esența originalului; dar ieșirea sună cu siguranță mai autentică din punct de vedere al perioadei.

Cu toate acestea, autorii au concluzionat din acest experiment că simpla îndemnare face puțin pentru a depăși prejudecățile contemporane ale unui model preantrenat mare, cum ar fi ChatGPT-4o.

Intriga se îngroașă

Pentru a măsura cât de strâns ieșirile modelului se asemănă cu scrierea istorică autentică, cercetătorii au utilizat un clasificator statistic pentru a estima data probabilă de publicare a fiecărui exemplu de text. Apoi au vizualizat rezultatele folosind o hartă de densitate a kernelului, care arată unde modelul crede că fiecare pasaj se situează pe o linie a timpului.

Datele estimate de publicare pentru texte reale și generate, pe baza unui clasificator instruit pentru a recunoaște stilul istoric (texte sursă din 1905-1914 comparate cu continuările lui GPT-4o folosind îndemnuri cu un singur exemplu și cu 20 de exemple, și cu GPT-1914 instruit doar pe literatură din 1880-1914).

Modelul RoBERTa reglat fin utilizat pentru această sarcină, notează autorii, nu este lipsit de erori, dar a fost capabil să evidențieze tendințe stilistice generale. Pasaje scrise de GPT-1914, modelul instruit în întregime pe literatură din perioadă, s-au grupat în jurul secolului al XX-lea – similar cu materialul sursă original.

În schimb, ieșirile lui ChatGPT-4o, chiar și atunci când a fost îndemnat cu multiple exemple istorice, au tendința să semene cu scrierea din secolul al XXI-lea, reflectând datele cu care a fost inițial instruit.

Cercetătorii au cuantificat această discrepanță folosind divergența Jensen-Shannon, o măsură a cât de diferite sunt două distribuții de probabilitate. GPT-1914 a obținut un scor apropiat de 0,006 comparativ cu textul istoric real, în timp ce ieșirile lui ChatGPT-4o, atât cu un singur exemplu, cât și cu 20 de exemple, au arătat lacune mult mai mari, de 0,310 și, respectiv, 0,350.

Autorii argumentează că aceste constatări indică faptul că îndemnarea singură, chiar și cu multiple exemple, nu este o metodă fiabilă pentru a produce texte care simulează în mod convingător un stil istoric.

Completarea pasajului

Lucrarea explorează apoi dacă reglarea fină ar putea produce un rezultat superior, deoarece acest proces implică influențarea directă a greutăților utilizabile ale modelului prin „continuarea” antrenamentului pe date specificate de utilizator – un proces care poate afecta funcționalitatea de bază a modelului, dar poate îmbunătăți semnificativ performanța pe domeniul care este „împins” în el sau subliniat în timpul antrenamentului de reglare fină.

În primul experiment de reglare fină, echipa a instruit GPT-4o-mini pe aproximativ două mii de perechi de completare a pasajelor din cărți publicate între 1905 și 1914, cu scopul de a vedea dacă o reglare fină la scară mai mică poate muta ieșirile modelului către un stil istoric mai autentic.

Folosind același clasificator RoBERTa bazat pe care a jucat rolul de judecător în testele anterioare pentru a estima „data stilistică” a fiecărei ieșiri, cercetătorii au găsit că, în noul experiment, modelul reglat fin a produs texte aliniate strâns cu adevărul de bază.

Divergența stilistică de la texte originale, măsurată prin divergența Jensen-Shannon, a scăzut la 0,002, în general, în linie cu GPT-1914:

Datele estimate de publicare pentru texte reale și generate, arătând cât de strâns GPT-1914 și o versiune reglată fin a lui GPT-4o-mini se potrivesc cu stilul scrierii din secolul al XX-lea (pe baza cărților publicate între 1905 și 1914).

Cu toate acestea, cercetătorii avertizează că această metrică poate captura doar caracteristici superficiale ale stilului istoric și nu anacronisme conceptuale sau factuale mai profunde.

‘[Acesta] nu este un test foarte sensibil. Modelul RoBERTa utilizat aici ca judecător este instruit doar pentru a prezice o dată, nu pentru a discrimina pasaje autentice de cele anacronistice. Probabil utilizează dovezi stilistice grosiere pentru a face acea predicție. Cititorii umani sau modelele mai mari ar putea totuși detecta conținut anacronistic în pasaje care, la suprafață, sună „în perioadă”. ‘

Atenția umană

În final, cercetătorii au efectuat teste de evaluare umană, folosind 250 de pasaje selectate manual din cărți publicate între 1905 și 1914, și observă că multe dintre aceste texte ar fi interpretate probabil diferit astăzi decât în momentul scrierii:

‘Lista noastră a inclus, de exemplu, o intrare de enciclopedie despre Alsacia (care era atunci parte a Germaniei) și una despre beri-beri (care era explicat adesea atunci ca o boală fungică, mai degrabă decât o deficiență nutrițională). În timp ce acestea sunt diferențe de fapt, am selectat, de asemenea, pasaje care ar fi arătat diferențe mai subtile de atitudine, retorică sau imaginație.

‘De exemplu, descrierile locurilor non-europene la începutul secolului al XX-lea tind să alunece în generalizări rasiale. O descriere a răsăritului soarelui pe lună scrisă în 1913 imaginează fenomene cromatice bogate, deoarece nimeni nu văzuse încă fotografii ale unei lumi fără atmosferă.’

Cercetătorii au creat întrebări scurte la care fiecare pasaj istoric ar putea răspunde plauzibil, apoi au reglat fin GPT-4o-mini pe perechi de întrebare și răspuns. Pentru a consolida evaluarea, au instruit cinci versiuni separate ale modelului, ținând fiecare dată o parte diferită a datelor pentru testare.

Au produs apoi răspunsuri folosind atât versiunile implicite ale lui GPT-4o, cât și variantele reglate fin, fiecare evaluată pe porțiunea pe care nu o văzuse în timpul antrenamentului.

Pierdut în timp

Pentru a evalua cât de convingător modelele pot imita limbajul istoric, cercetătorii au cerut trei annotatori experți să revizuiască 120 de completări generate de IA și să judece dacă fiecare pare plauzibilă pentru un scriitor din 1914.

Acestă abordare de evaluare directă s-a dovedit a fi mai provocatoare decât s-a așteptat: deși annotatorii au fost de acord cu evaluările lor aproape 80% din timp, dezechilibrul în judecățile lor (cu „plauzibil” ales de două ori mai des decât „neplauzibil”) a însemnat că nivelul lor real de acord a fost doar moderat, măsurat printr-un scor Cohen’s kappa de 0,554.

Annotatorii înșiși au descris sarcina ca greoaie, adesea necesitând cercetări suplimentare pentru a evalua dacă o afirmație se alinia cu ceea ce era cunoscut sau crezut în 1914.

Unele pasaje au ridicat întrebări dificile despre ton și perspectivă – de exemplu, dacă un răspuns era limitat în mod corespunzător în lumea sa pentru a reflecta ceea ce ar fi fost tipic în 1914. Acest tip de judecată a depins adesea de nivelul de etnocentrism (adică tendința de a vedea alte culturi prin ipotezele sau prejudecățile proprii).

În acest context, provocarea a fost să decidă dacă un pasaj exprima suficient de multă prejudecată culturală pentru a părea istoric plauzibil, fără a suna prea modern sau prea ofensator din punct de vedere al standardelor de astăzi. Autorii notează că, chiar și pentru cercetători familiarizați cu perioada, a fost dificil să tragă o linie clară între limbajul care părea istoric autentic și limbajul care reflecta idei contemporane.

În ciuda acestor provocări, rezultatele au arătat o clasificare clară a modelelor, cu varianta reglată fin a lui GPT-4o-mini evaluată ca cea mai plauzibilă în general:

Evaluările annotatorilor cu privire la cât de plauzibilă pare ieșirea fiecărui model

Nu este clar dacă acest nivel de performanță, evaluat ca „plauzibil” în 80% din cazuri, este suficient de fiabil pentru cercetarea istorică – în special având în vedere că studiul nu a inclus o măsură de referință pentru cât de des texte reale din perioadă ar putea fi greșit clasificate.

Alertă de intruziune

Următorul test a fost unul de „intruziune”, în care annotatorii experți au fost prezentați cu patru pasaje anonime care răspund aceleiași întrebări istorice. Trei dintre răspunsuri proveneau de la modele de limbaj, în timp ce unul era un extras real și autentic dintr-o sursă din secolul al XX-lea.

Sarcina a fost să identifice care pasaj era cel original, scris cu adevărat în perioada respectivă.

Acestă abordare nu a cerut annotatorilor să evalueze direct plauzibilitatea, ci a măsurat cât de des pasajul real a ieșit în evidență printre răspunsurile generate de IA, testând, în esență, dacă modelele pot înșela cititorii să creadă că outputul lor este autentic.

Clasificarea modelelor a corespuns rezultatelor din sarcina de judecată anterioară: varianta reglată fin a lui GPT-4o-mini a fost cel mai convingător model, dar a căzut încă scurt în comparație cu originalul.

Frecvența cu care fiecare sursă a fost corect identificată ca pasajul istoric autentic.

Acest test a servit și ca o benchmark utilă, deoarece, cu pasajul real identificat mai mult de jumătate din timp, decalajul dintre proză autentică și sintetică a rămas evident pentru cititorii umani.

O analiză statistică cunoscută sub numele de testul McNemar a confirmat că diferențele dintre modele au fost semnificative, cu excepția cazului în care versiunile nereglate (GPT-4o și GPT-4o-mini) au performant similar.

Viitorul trecutului

Autorii au descoperit că îndemnarea modelelor de limbaj moderne să adopte o voce istorică nu a produs în mod fiabil rezultate convingătoare: mai puțin de două treimi din ieșiri au fost evaluate ca plauzibile de cititorii umani, și chiar acest număr probabil supraestimează performanța.

În multe cazuri, răspunsurile au inclus semne explicite că modelul vorbea dintr-o perspectivă contemporană – fraze precum ‘în 1914, nu se știa încă că…’ sau ‘până în 1914, nu eram familiarizat cu…’ au fost suficient de comune pentru a apărea în până la o fifth din completări. Avertismentele de acest fel au făcut clar că modelul simula istoria din exterior, mai degrabă decât scria din interiorul ei.

Autorii afirmă:

‘Performanța slabă a învățării în context este nefericită, deoarece aceste metode sunt cele mai ușoare și mai ieftine pentru cercetarea istorică bazată pe IA. Subliniem că nu am explorat aceste abordări exhaustiv.

‘Ar putea să se dovedească că învățarea în context este adecvată – acum sau în viitor – pentru un subset de domenii de cercetare. Dar dovezi noastre inițiale nu sunt încurajatoare.’

Autorii concluzionează că, deși reglarea fină a unui model comercial pe pasaje istorice poate produce ieșiri stilistic convingătoare la un cost minim, nu elimină complet urmele perspectivei moderne. Instruirea unui model în întregime pe material din perioadă evită anacronismele, dar necesită resurse mult mai mari și duce la ieșiri mai puțin fluente.

Niciuna dintre metode nu oferă o soluție completă, și, pentru moment, orice încercare de a simula voci istorice pare să implice un compromis între autenticitate și coerență. Autorii concluzionează că vor fi necesare cercetări suplimentare pentru a clarifica cum să navigheze această tensiune.

Concluzie

Poate una dintre cele mai interesante întrebări care apar din această nouă lucrare este cea a autenticității. În timp ce nu sunt unelte perfecte, funcțiile de pierdere și metrici precum LPIPS și SSIM oferă cercetătorilor din domeniul viziunii computerizate cel puțin o metodologie de la caz la caz pentru evaluarea împotriva adevărului de bază.

Când se generează texte noi în stilul unei epoci trecute, în schimb, nu există adevăr de bază – doar o încercare de a locui o perspectivă culturală dispărută. Încercarea de a reconstitui acea mentalitate din urme literare este în sine un act de cuantificare, deoarece astfel de urme sunt doar dovezi, în timp ce conștiința culturală din care provin rămâne dincolo de inferență și, probabil, dincolo de imaginație.

La nivel practic, fundațiile modelelor de limbaj moderne, modelate de normele și datele actuale, riscă să reinterpreteze sau să supprime idei care ar fi părut rezonabile sau neînsemnate pentru un cititor din epoca victoriană, dar care acum înregistrează ca artefacte (adesea ofensatoare) ale prejudecăților, inegalității sau nedreptății.

Ne întrebăm, așadar, chiar dacă am putea crea un astfel de dialog, dacă nu cumva ne-ar repugna.

Publicat pentru prima dată vineri, 2 mai 2025