Trudności AI w naśladownictwie historycznego języka

Współpraca między badaczami z Stanów Zjednoczonych i Kanady wykazała, że duże modele językowe (LLM), takie jak ChatGPT, mają trudności z odtwarzaniem historycznych idiomów bez rozległego przeszkolenia – procesu, który jest kosztowny i wymaga dużo pracy, co sprawia, że projekty takie jak ukończenie nieukończonej powieści Charlesa Dickensa za pomocą AI są mało prawdopodobne.

Badacze zbadali szereg metod generowania tekstu, który brzmi historycznie dokładnie, zaczynając od prostego wprowadzania przykładów prozy z początku XX wieku, a następnie dokształcając komercyjny model na małej kolekcji książek z tego okresu.

Porównali również wyniki z oddzielnym modelem, który został przeszkolony wyłącznie na książkach opublikowanych między 1880 a 1914 rokiem.

W pierwszym z testów, polecenie ChatGPT-4o, aby naśladował fin‑de‑siècle język, dało wyniki znacznie różniące się od wyników mniejszego modelu GPT2, który został przeszkolony na literaturze z tego okresu:

Poproszony o uzupełnienie prawdziwego historycznego tekstu (środkowy), nawet dobrze przygotowany ChatGPT-4o (lewy dolny) nie może powstrzymać się od powrotu do trybu „bloga”, nie potrafiąc oddać żądanego idiomu. W przeciwieństwie do tego, przeszkolony model GPT2 (prawy dolny) dobrze oddaje styl językowy, ale nie jest tak dokładny w innych aspektach. Źródło: https://arxiv.org/pdf/2505.00030

Chociaż przeszkolenie sprawia, że wynik jest bliższy oryginalnemu stylowi, czytelnicy ludzcy często byli w stanie wykryć ślady współczesnego języka lub pomysłów, co sugeruje, że nawet starannie dostosowane modele nadal odbijają wpływ ich współczesnych danych szkoleniowych.

Badacze doszli do frustrującego wniosku, że nie ma ekonomicznych skrótów w celu wygenerowania maszynowo wytwarzanego historycznie poprawnego tekstu lub dialogu. Przypuszczają również, że samo wyzwanie może być źle postawione:

‘[Powinniśmy] również rozważyć możliwość, że anachronizm może być w jakimś sensie nieunikniony. Niezależnie od tego, czy reprezentujemy przeszłość poprzez instrukcje szkoleniowe historycznych modeli, aby mogły prowadzić rozmowy, czy uczymy współczesne modele, aby naśladowały starszy okres, jakiś kompromis może być konieczny między celami autentyczności a płynności rozmowy.

‘Nie ma bowiem „autentycznych” przykładów rozmowy między pytającym z XXI wieku a odpowiedzią z 1914 roku. Badacze próbujący stworzyć taką rozmowę będą musieli rozważyć [założenie], że interpretacja zawsze wiąże się z negocjacją między teraźniejszością a [przeszłością].’

Nowe badanie opublikowane nosi tytuł Czy modele językowe mogą reprezentować przeszłość bez anachronizmu? i pochodzi od trzech badaczy z University of Illinois, University of British Columbia i Cornell University.

Katastrofa kompletna

Początkowo, w trzech częściach podejścia badawczego, autorzy przetestowali, czy współczesne modele językowe mogą być nakierowane na naśladownictwo historycznego języka za pomocą prostego wprowadzania. Używając prawdziwych fragmentów książek opublikowanych między 1905 a 1914 rokiem, poprosili ChatGPT-4o, aby kontynuował te fragmenty w tym samym idiomie.

Oryginalny tekst z tego okresu brzmiał:

‘W tym ostatnim przypadku oszczędzamy około pięciu lub sześciu dolarów na minutę, ponieważ więcej niż dwadzieścia jardów taśmy musi być przewinięte, aby wyświetlić podczas jednej minuty obiekt w spoczynku lub krajobraz. W ten sposób uzyskujemy praktyczne połączenie stałych i ruchomych obrazów, co daje najbardziej artystyczne efekty.

‘Pozwala to również na pracę dwóch kinematografów, które projektują na przemian, aby uniknąć migotania, lub projektują jednocześnie czerwone i zielone obrazy i odtwarzają naturalne kolory, co uwalnia ludzkie oko, przyzwyczajone do odbierania podstawowych kolorów jednocześnie, od wszelkiej fizjologicznej zmęczenia. Słowo teraz o zastosowaniu zimnego światła w fotografii natychmiastowej.’

Aby ocenić, czy wygenerowany tekst odpowiadał zamierzonemu historycznemu stylowi, badacze przeszkolili model RoBERTa, aby oszacować daty publikacji, używając podzbioru Corpus of Historical American English, obejmującego materiały z lat 1810-2009.

Następnie model RoBERTa został użyty do oceny kontynuacji wygenerowanych przez ChatGPT-4o, które zostały wprowadzone z prawdziwymi fragmentami książek opublikowanych między 1905 a 1914 rokiem.

Sygnalizacja systemu (tj. kontekstowe instrukcje dla ChatGPT dotyczące sposobu podejścia do zadania) brzmiała:

‘Twoim zadaniem jest uzupełnienie fragmentów książek z początku XX wieku. Otrzymasz fragment książki opublikowanej w 1913 roku. Kontynuuj ten fragment w tym samym stylu, przez co najmniej 200 słów. Podaj tylko to kontynuowanie; nie dodawaj żadnych ramkowych uwag, takich jak „oto kontynuacja”. ‘

Pomimo jednorazowego i 20-krotnego wprowadzania, dane wyjściowe ChatGPT-4o stale odchylały się w stronę stylistycznego rejestru XXI wieku.

Przykład podany w artykule przedstawia jeden z blogopodobnych prób ChatGPT-4o kontynuowania prawdziwego tekstu z okresu o fotografii:

‘Użycie zimnego światła w fotografii natychmiastowej rewolucjonizowało podejście do uchwycenia obrazów w różnych warunkach oświetlenia. Tradycyjnie fotografowie mieli trudności z surowością i zmiennością naturalnego światła lub inwazyjnym charakterem fotografii z lampą błyskową, co mogło zakłócić atmosferę sceny lub naturalne zachowanie obiektów, szczególnie w przypadku fotografii dzikiej przyrody i kandydowej fotografii ludzi.

‘Zimne światło, ze swoją miękką i bardziej rozproszoną naturą… pozwala na bardziej naturalne przedstawienie kolorów i tekstur, które często ginie pod surowym sztucznym oświetleniem.’

Jak możemy łatwo zauważyć, ten generyczny, styl Wiki nie odpowiada prolikszemu i ozdobnemu stylowi oryginalnego tekstu z okresu. Ponadto nie kontynuuje tam, gdzie oryginalny tekst się kończy, ale wyprowadza w bok, abstrakcyjne rozważania na temat jednego z podtematów.

Zespół również przetestował GPT-1914, mniejszy model GPT-2, przeszkolony od podstaw na 26,5 miliardach tokenów literatury z lat 1880-1914.

Chociaż jego dane wyjściowe były mniej spójne niż te z ChatGPT-4o, były bardziej zgodne ze stylem okresu źródłowego. Jedyny przykład podany w artykule, ponownie jako kontynuacja prawdziwego tekstu z okresu o fotografii, brzmi:

‘Zasada jego działania została już wyjaśniona (str. 4). Tutaj tylko wspomnimy, że można go zastosować z korzyścią, gdy chcemy uzyskać bardzo szybkie zdjęcia na papierze pokrytym kolodionem, a także te wykonane za pomocą płyt żelatynowych.

‘W takich przypadkach czas ekspozycji nie powinien przekraczać jednej sekundy; ale jeśli zdjęcie ma być rozwinięte w krótszym czasie – powiedzmy pół sekundy – wtedy temperatura nie powinna spaść poniżej 20°C, w przeciwnym razie obraz stanie się zbyt ciemny po rozwinięciu; ponadto płyta straci swoją wrażliwość w tych warunkach.

‘Dla zwykłych celów wystarczy jednak tylko narażenie wrażliwej powierzchni na niski stopień ciepła bez specjalnych środków ostrożności poza zachowaniem’

Ponieważ nawet oryginalny materiał jest arcany i dość trudny do zrozumienia, trudno zrozumieć, w jakim stopniu GPT-1914 dokładnie odtworzył oryginał; jednakże dane wyjściowe na pewno brzmią bardziej okresowo.

Jednak autorzy wnioskują z tego eksperymentu, że proste wprowadzanie robi niewiele, aby pokonać współczesne uprzedzenia dużego przeszkolonego modelu, takiego jak ChatGPT-4o.

Sytuacja się komplikuje

Aby zmierzyć, jak ściśle dane wyjściowe modelu przypominały autentyczne pisanie historyczne, badacze użyli statystycznego klasyfikatora, aby oszacować prawdopodobną datę publikacji każdej próbki tekstu. Następnie wizualizowali wyniki za pomocą wykresu gęstości jądra, który pokazuje, gdzie model uważa, że każdy fragment pasuje do historycznej linii czasu.

Przewidywane daty publikacji dla rzeczywistych i wygenerowanych tekstów, na podstawie klasyfikatora przeszkolonego do rozpoznawania stylu historycznego (teksty źródłowe z lat 1905-1914 w porównaniu z kontynuacjami ChatGPT-4o przy użyciu jednorazowego i 20-krotnego wprowadzania oraz GPT-1914 przeszkolonego tylko na literaturze z lat 1880-1914).

Przeszkolony model RoBERTa użyty do tego zadania, jak zauważają autorzy, nie jest bezbłędny, ale był w stanie podkreślić ogólne trendy stylistyczne. Fragmenty napisane przez GPT-1914, model przeszkolony wyłącznie na literaturze z tego okresu, grupowały się wokół początku XX wieku – podobnie jak oryginalny materiał źródłowy.

Z drugiej strony, dane wyjściowe ChatGPT-4o, nawet przy wprowadzaniu wielu historycznych przykładów, tendencję miały do przypominania pisanie XXI-wieczne, odzwierciedlając dane, na których został on pierwotnie przeszkolony.

Badacze ilościowo zmierzyli tę różnicę za pomocą rozbieżności Jensen-Shannon, miary różnicy między dwoma rozkładami prawdopodobieństwa. GPT-1914 uzyskał wynik 0,006 w porównaniu z rzeczywistym tekstem historycznym, podczas gdy dane wyjściowe ChatGPT-4o, zarówno jednorazowe, jak i 20-krotnego wprowadzania, wykazały znacznie szersze luki, odpowiednio 0,310 i 0,350.

Autorzy twierdzą, że te wyniki wskazują, iż samo wprowadzanie, nawet z wieloma przykładami, nie jest godnym zaufania sposobem na wytworzenie tekstu, który przekonywająco symuluje styl historyczny.

Uzupełnienie fragmentu

Następnie w artykule badano, czy dokształcenie może dać lepszy wynik, ponieważ ten proces obejmuje bezpośredni wpływ na użyteczne wagi modelu poprzez „kontynuowanie” jego szkolenia na danych określonych przez użytkownika – proces, który może wpłynąć na oryginalną funkcjonalność modelu, ale znacznie poprawić jego wydajność w dziedzinie, która jest „wpychana” w niego lub podkreślana podczas dokształcenia.

W pierwszym eksperymencie z dokształceniem, zespół przeszkolił GPT-4o-mini na około dwóch tysiącach par uzupełnień fragmentów z książek opublikowanych między 1905 a 1914 rokiem, z celem zobaczenia, czy mniejsze dokształcenie może przesunąć dane wyjściowe modelu w stronę bardziej historycznie dokładnego stylu.

Używając tego samego klasyfikatora RoBERTa, który działał jako sędzia w poprzednich testach, aby oszacować stylistyczny „wiekiem” każdego wyniku, badacze stwierdzili, że w nowym eksperymencie przeszkolony model wytworzył tekst ściśle związany z prawdą.

Jego rozbieżność stylistyczna od oryginalnych tekstów, zmierzona za pomocą rozbieżności Jensen-Shannon, spadła do 0,002, ogólnie zgodnie z GPT-1914:

Przewidywane daty publikacji dla rzeczywistych i wygenerowanych tekstów, pokazujące, jak ściśle GPT-1914 i przeszkolona wersja GPT-4o-mini odpowiadają stylowi pisma z początku XX wieku (na podstawie książek opublikowanych między 1905 a 1914 rokiem).

Jednak badacze ostrzegają, że ta miara może tylko uchwycić powierzchowne cechy stylu historycznego, a nie głębsze konceptualne lub faktograficzne anachronizmy.

‘[To] nie jest bardzo czuły test. Model RoBERTa użyty jako sędzia tutaj jest przeszkolony tylko do przewidywania daty, a nie do rozróżniania autentycznych fragmentów od anachronistycznych. Prawdopodobnie używa on grubych dowodów stylistycznych do tego przewidywania. Czytelnicy ludzcy lub większe modele mogliby nadal wykryć anachronistyczny zawartość w fragmentach, które na powierzchni brzmią „w okresie”. ‘

Ludzki dotyk

W końcu badacze przeprowadzili testy oceny ludzkiej, używając 250 ręcznie wybranych fragmentów z książek opublikowanych między 1905 a 1914 rokiem, i zauważyli, że wiele z tych tekstów byłoby prawdopodobnie interpretowanych inaczej dzisiaj niż w momencie ich napisania:

‘Nasza lista obejmowała, na przykład, hasło encyklopedyczne o Alzacji (która wówczas była częścią Niemiec) i jedno o beri-beri (które wówczas często wyjaśniano jako chorobę grzybiczą, a nie jako niedobór pokarmowy). Chociaż są to różnice faktograficzne, wybraliśmy również fragmenty, które wykazywałyby subtelniejsze różnice w postawie, retoryce lub wyobraźni.

‘Na przykład, opisy miejsc pozaeuropejskich na początku XX wieku często przechodzą w rasowe uogólnienia. Opis wschodu słońca na księżycu napisany w 1913 roku wyobraża bogate zjawiska chromatyczne, ponieważ nikt jeszcze nie widział fotografii świata bez atmosfery.’

Badacze stworzyli krótkie pytania, na które każdy historyczny fragment mógłby odpowiedzieć, a następnie przeszkolili GPT-4o-mini na tych parach pytań i odpowiedzi. Aby wzmocnić ocenę, przeszkolili pięć oddzielnych wersji modelu, każdy raz wykluczając inną część danych do testowania.

Następnie wygenerowali odpowiedzi, używając zarówno wersji domyślnych GPT-4o i GPT-4o-mini, jak i przeszkolonych wersji, każdy oceniany na części, której nie widział podczas szkolenia.

Zagubiony w czasie

Aby ocenić, jak przekonywająco modele mogą naśladować język historyczny, badacze poprosili trzech ekspertów, aby ocenili 120 wygenerowanych kontynuacji i ocenili, czy każdy z nich wydaje się prawdopodobny dla pisarza z 1914 roku.

Bezpośrednie podejście oceny okazało się trudniejsze, niż się spodziewano: chociaż anotatorzy zgadzali się w swoich ocenach prawie osiemdziesiąt procent czasu, niezrównoważona ich ocena (z „prawdopodobnym” wybranym dwa razy częściej niż „nieprawdopodobnym”) oznaczała, że ich rzeczywisty poziom zgodności był tylko umiarkowany, zmierzony za pomocą współczynnika kohenskiego 0,554.

Oceniający sami opisali zadanie jako trudne, często wymagające dodatkowych badań, aby ocenić, czy stwierdzenie było zgodne z tym, co było znane lub wierzone w 1914 roku.

Niektóre fragmenty podnosiły trudne pytania dotyczące tonu i perspektywy – na przykład, czy odpowiedź była odpowiednio ograniczona w swoim światopoglądzie, aby odzwierciedlić to, co byłoby typowe w 1914 roku. Ten rodzaj oceny często zależał od poziomu etnocentryzmu (tj. tendencji do postrzegania innych kultur przez pryzmat własnych założeń lub uprzedzeń).

W tym kontekście wyzwaniem było zdecydowanie, czy fragment wyraża wystarczająco kulturowe uprzedzenia, aby brzmieć historycznie prawdopodobnie, bez brzmienia zbyt nowocześnie lub zbyt jawnie obraźliwie według dzisiejszych standardów. Autorzy zauważają, że nawet dla uczonych znających ten okres było trudno wytyczyć wyraźną granicę między językiem, który brzmi historycznie dokładnie, a językiem, który odzwierciedla współczesne idee.

Niemniej jednak wyniki wykazały wyraźną klasyfikację modeli, z przeszkolonym GPT-4o-mini ocenionym jako najbardziej prawdopodobny ogółem:

Oceny anotatorów dotyczące tego, jak prawdopodobny wydaje się każdy model

Czy ten poziom wydajności, oceniony jako „prawdopodobny” w osiemdziesięciu procentach przypadków, jest wystarczająco niezawodny do badań historycznych, pozostaje niejasne – szczególnie, że badanie nie obejmowało miary odniesienia, jak często prawdziwe teksty z okresu mogłyby być błędnie sklasyfikowane.

Alarm obcy

Następnie przeprowadzono test „obcego”, w którym anotatorzy ekspertów przedstawiono cztery anonimowe fragmenty odpowiadające na to samo historyczne pytanie. Trzy odpowiedzi pochodziły z modeli językowych, a jedna była prawdziwym, autentycznym fragmentem z wczesnego XX-wiecznego źródła.

Zadaniem było zidentyfikowanie, który fragment jest oryginalny, naprawdę napisany w tym okresie.

Podejście to nie prosiło anotatorów o ocenę bezpośrednią, ale raczej mierzyło, jak często prawdziwy fragment wyróżniał się spośród odpowiedzi wygenerowanych przez AI, skutecznie testując, czy modele mogą oszukać czytelników, sprawiając, że ich dane wyjściowe będą wyglądać autentycznie.

Klasyfikacja modeli odpowiadała wynikom z poprzedniego zadania oceny: przeszkolona wersja GPT-4o-mini była najbardziej przekonywająca wśród modeli, ale nadal nie dorównywała prawdziwemu.

Częstotliwość, z jaką każde źródło zostało poprawnie zidentyfikowane jako autentyczny historyczny fragment.

Test ten służył również jako przydatna miara odniesienia, ponieważ z prawdziwym fragmentem identyfikowanym więcej niż połowę czasu, przepaść między autentycznym a syntetycznym prozą pozostała zauważalna dla czytelników ludzkich.

Statystyczna analiza znana jako test McNemara potwierdziła, że różnice między modelami były znaczące, z wyjątkiem przypadku dwóch nieprzeszkolonych wersji (GPT-4o i GPT-4o-mini), które osiągnęły podobne wyniki.

Przyszłość przeszłości

Autorzy stwierdzili, że polecenie współczesnym modelom językowym, aby przyjęły historyczny głos, nie dawało niezawodnych wyników: mniej niż dwie trzecie danych wyjściowych zostało ocenionych jako prawdopodobne przez czytelników ludzkich, a nawet ta liczba prawdopodobnie przecenia wyniki.

W wielu przypadkach odpowiedzi zawierały jawne sygnały, że model mówi z perspektywy współczesnej – frazy takie jak ‘w 1914 roku nie jest jeszcze znane, że…’ lub ‘do 1914 roku nie jestem zaznajomiony z…’ były wystarczająco powszechne, aby pojawiać się w co piątym kontynuacji; tego rodzaju zastrzeżenia czyniły jasne, że model symuluje historię z zewnątrz, a nie z wnętrza.

Autorzy stwierdzają:

‘Niewielka wydajność uczenia się w kontekście jest niefortunna, ponieważ te metody są najłatwiejsze i najtańsze dla badań historycznych opartych na AI. Podkreślamy, że nie zbadaliśmy tych podejść wyczerpująco.

‘Może się okazać, że uczenie się w kontekście jest wystarczające – teraz lub w przyszłości – dla podzbioru obszarów badawczych. Ale nasze początkowe dowody nie są zachęcające.’

Autorzy kończą, że chociaż przeszkolenie komercyjnego modelu na historycznych fragmentach może dać stylistycznie przekonywujące dane wyjściowe przy minimalnych kosztach, nie eliminuje to całkowicie śladów współczesnej perspektywy. Przeszkolenie modelu wyłącznie na materiałach z okresu unika anachronizmu, ale wymaga znacznie większych zasobów i skutkuje mniej płynnymi danymi wyjściowymi.

Żadna z tych metod nie oferuje pełnego rozwiązania, a na razie każda próba symulowania historycznych głosów wydaje się wiązać się z kompromisem między autentycznością a spójnością. Autorzy kończą, że dalsze badania będą potrzebne, aby wyjaśnić, jak najlepiej nawigować ten konflikt.

Wnioski

Być może jednym z najbardziej interesujących pytań, które wynikają z nowego artykułu, jest to dotyczące autentyczności. Chociaż nie są one idealnymi narzędziami, funkcje straty i metryki takie jak LPIPS i SSIM dają badaczom z dziedziny widzenia komputerowego co najmniej metodologię podobieństwa do porównania z prawdą.

Gdy generujemy nowy tekst w stylu minionych epok, nie ma prawdy – tylko próba zajmowania znikającej perspektywy kulturowej. Próba odtworzenia tego umysłu z literackich śladów jest sama w sobie aktem kwantyzacji, ponieważ takie ślady są tylko dowodami, podczas gdy świadomość kulturowa, z której wynikają, pozostaje poza inferencją i prawdopodobnie poza wyobraźnią.

Na praktycznym poziomie również, podstawy współczesnych modeli językowych, ukształtowane przez współczesne normy i dane, narażone są na reinterpretację lub tłumienie pomysłów, które wydawałyby się rozsądne lub niewyróżniające się dla czytelnika z epoki edwardiańskiej, ale które teraz rejestrują się jako (często obraźliwe) artefakty uprzedzeń, nierówności lub niesprawiedliwości.

Czy się więc zastanawiamy, czy nawet gdybyśmy mogli stworzyć taki dialog, czy nie mógłby on nas odpychać.

Pierwotnie opublikowane w piątek, 2 maja 2025