Штучні мови борються з імітацією історичної мови

Колаборація між дослідниками у США та Канаді показала, що великі мовні моделі (LLM) такі як ChatGPT борються з відтворенням історичних ідіом без ретельної передтренування – коштовного та трудомісткого процесу, який лежить за межами можливостей більшості академічних чи розважальних ініціатив, роблячи проекти, такі як завершення останнього, незакінченого роману Чарльза Діккенса через штучний інтелект, малоймовірним.

Дослідники дослідили ряд методів для генерації тексту, який звучав історично точно, починаючи з простого промптингу за допомогою ранньої двадцятирічної прозової літератури та закінчуючи файн-тюнінгом комерційної моделі на невеликій колекції книг з того періоду.

Вони також порівняли результати з окремою моделлю, яка була навчена цілком на книгах, опублікованих між 1880 та 1914 роками.

У першому з тестів, інструктування ChatGPT-4o щодо імітації fin‑de‑siècle мови виробило досить різні результати порівняно з меншою GPT2-основаною моделлю, яка була файн-тюнінгована на літературі того періоду:

Запит на завершення реального історичного тексту (центр зверху), навіть добре підготовлений ChatGPT-4o (ліворуч внизу) не може допомогти, повернувшись до ‘блогового’ режиму, не змогли відтворити запрошений ідіом. Натомість файн-тюнінгована GPT2-модель (праворуч внизу) добре захоплює мовний стиль, але не є настільки точною в інших аспектах. Джерело: https://arxiv.org/pdf/2505.00030

Хоча файн-тюнінг приносить вивід ближче до оригінального стилю, люди-читачі все ще часто могли виявити сліди сучасної мови чи ідей, що свідчить про те, що навіть ретельно налаштовані моделі продовжують відображати вплив їх сучасних тренувальних даних.

Дослідники прийшли до розчаровуючого висновку, що немає економічних коротких шляхів до генерації машинної мови, ідійоматично правильної історичної мови чи діалогу. Вони також припускають, що сам виклик міг бути неправильно поставлений:

‘[Ми] також повинні розглянути можливість того, що анахронізм може бути в якійсь мірі невідворотним. Чи представимо ми минуле інструкціями щодо історичної моделі, щоб вона могла вести розмови, чи вчимо сучасні моделі імітувати старший період, деякі компроміси можуть бути необхідними між цілями автентичності та розмовної плавності.

‘Є, після всього, немає “автентичних” прикладів розмови між двадцять першого століття запитувачем та респондентом з 1914 року. Дослідники, які намагаються створити таку розмову, повинні подумати про [передумову] того, що інтерпретація завжди включає в себе перемовини між присутнім і [минулим].’

Нове дослідження опубліковане під назвою Чи можуть мовні моделі представляти минуле без анахронізму?, і походять від трьох дослідників з Університету Іллінойсу, Університету Британської Колумбії та Корнелльського університету.

Повний провал

Спочатку, у тричастинному дослідному підході, автори протестували, чи можуть сучасні мовні моделі бути підштовхнуті до імітації історичної мови за допомогою простого промптингу. Використовуючи справжні витяги з книг, опублікованих між 1905 та 1914 роками, вони просили ChatGPT‑4o продовжити ці пасажі в тому ж ідійомі.

Оригінальний період текст був:

‘У цьому останньому випадку близько п’яти чи шести доларів економиться за хвилину, оскільки більш ніж двадцять ярдів плівки повинні бути перемотані, щоб проєктувати під час однієї хвилини об’єкт людини в спокої або ландшафту. Таким чином отримується практичне поєднання нерухомих та рухомих зображень, яке створює найбільш художні ефекти.

‘Воно також дозволяє нам працювати з двома кінематографами, проєктуючи по черзі, щоб уникнути мерцання, або проєктуючи одночасно червоні та зелені зображення та відтворюючи природні кольори, тим самим звільняючи людське око, звикле до прийому фундаментальних кольорів одночасно, від усіх фізіологічних втом. Слово тепер про застосування холодного світла до миттєвої фотографії.’

Щоб оцінити, чи відповідає згенерований текст наміченому історичному стилю, і свідомі того, що люди не особливо кваліфіковані в гаданні дати, коли текст був написаний, дослідники файн-тюнінговали RoBERTa модель для оцінки дати публікації, використовуючи підмножину Корпусу історичної американської англійської, що охоплює матеріал з 1810 по 2009 рік.

RoBERTa класифікатор потім був використаний для оцінки продовжень, згенерованих ChatGPT‑4o, який був промптований справжніми пасажами з книг, опублікованих між 1905 та 1914 роками.

Системний промпт (тобто контекстні інструкції для ChatGPT щодо того, як підходити до завдання) був:

‘Ваше завдання – продовжити пасажі з книг початку двадцяти століття. Вам буде дано пасаж з книги, опублікованої в 1913 році. Продовжуйте цей пасаж в тому ж стилі, не менше 200 слів. Тільки надайте це продовження; не робіть жодних рамкових зауважень, типу “от тут продовження”.’

Незважаючи на один промпт та 20 промптів, вивід ChatGPT-4o постійно нахилився до стилю двадцять першого століття.

Приклад, наведений у статті, показує одну з блогоподібних спроб ChatGPT-4o продовжити справжній період текст про фотографію:

‘Використання холодного світла в миттєвій фотографії революціонізувало підхід до захоплення зображень під різними умовами освітлення. Традиційно фотографи боролися з жорсткістю та мінливістю природного світла чи вторинним характером фотовспышки, яка могла порушити атмосферу сцени чи природну поведінку об’єктів, особливо у дикій природі та в фотографії людей.

‘Холодне світло, з його м’яким та більш розсіяним характером… дозволяє зробити більш природне представлення кольорів та текстур, яке часто втрачається під жорстким штучним освітленням.’

Як ми легко бачимо, цей загальний, вікіпедійний текст не відповідає проліксому та складному стилю оригінального періоду. Крім того, він не продовжує текст від того місця, де закінчується оригінальний вміст, а запускає в бікова, абстрактна роздум про одну з підсуб’єктів.

Команда також протестувала GPT‑1914, меншу GPT‑2–клас модель, навчену з нуля на 26,5 мільярдах токенів літератури між 1880 та 1914 роками.

Хоча її вивід був менш спроможний, ніж у ChatGPT‑4o, він був більш узгоджений зі стилем джерельного періоду. Єдиний приклад, наведений у статті, знову як продовження реального періоду тексту про фотографію, звучить так:

‘Принцип його дії вже був пояснений (с. 4). Тут ми тільки згадаємо, що його можна застосувати з вигодою, коли ми хочемо отримати дуже швидкі фотографії на папері, покритому колодієм, а також ті, що зроблені за допомогою желатинових пластин.

‘У таких випадках експозиція не повинна перевищувати одну секунду; але якщо зображення потрібно розвинути за менший час – наприклад, половину секунди – тоді температура не повинна падати нижче 20° C, інакше зображення стане занадто темним після розвитку; крім того, пластина втратить свою чутливість під цією умовою.

‘Для звичайних цілей, проте, достатньо просто піддати чутливу поверхню низькому ступеню тепла без будь-яких особливих заходів, крім утримання його в…’ [sic]

Оскільки справжній і оригінальний матеріал є архаїчним і досить складним для розуміння, складно зрозуміти, якою мірою GPT-1914 точно підхопив оригінал; проте вивід точно звучить більш періодично.

Однак автори дійшли висновку з цього експерименту, що простий промптинг робить мало для подолання сучасних упереджень великої попередньо натренованої моделі, chẳng hạn як ChatGPT-4o.

Сюжет загустає

Щоб виміряти, наскільки близько вивід моделі нагадував автентичну історичну писемність, дослідники використали статистичний класифікатор для оцінки ймовірної дати публікації кожного текстового зразка. Потім вони візуалізували результати за допомогою графіка густини ядра, який показує, де модель вважає кожен пасаж належить до історичної хронології.

Оцінка дати публікації для справжніх та згенерованих текстів, заснована на класифікаторі, навченому розпізнавати історичний стиль (джерельні тексти 1905–1914 років порівняно з продовженнями GPT‑4o за допомогою одного промпту та 20 промптів, а також GPT‑1914, навченої тільки на літературі 1880–1914 років).

Файн-тюнінгована RoBERTa модель, використана для цього завдання, автори відзначають, не є бездоганною, проте все ж таки змогла підкреслити загальні стилістичні тенденції. Пасажі, написані GPT‑1914, моделлю, навченою цілком на періодичній літературі, згруповувалися навколо початку двадцяти століття – подібно до оригінального джерельного матеріалу.

Натомість вивід ChatGPT-4o, навіть при промптингу з кількома історичними прикладами, мав тенденцію нагадувати писемність двадцять першого століття, відображаючи дані, на яких він був спочатку навчений.

Дослідники кількісно оцінили цю розбіжність за допомогою Jensen-Shannon розбіжності, міри того, наскільки різні дві ймовірнісні розподіли. GPT‑1914 набрала близьку до 0,006 порівняно з справжнім історичним текстом, тоді як вивід ChatGPT-4o за одного промпту та 20 промптів показав значно більші розбіжності, на рівні 0,310 та 0,350 відповідно.

Автори стверджують, що ці висновки свідчать про те, що промптинг сам по собі, навіть з кількома прикладами, не є надійним способом отримання тексту, який переконливо імітує історичний стиль.

Завершення пасажу

Стаття потім досліджує, чи може файн-тюнінг привести до кращого результату, оскільки цей процес включає в себе безпосереднє вплив на використовувані ваги моделі шляхом “продовження” її навчання на користувальницьких даних – процес, який може вплинути на оригінальну основну функціональність моделі, проте значно покращити її виконання на домені, який “штовхується” у неї під час файн-тюнінгу.

У першому експерименті з файн-тюнінгу команда навчала GPT‑4o‑mini на близько двох тисячах пар пасажів, взятих з книг, опублікованих між 1905 та 1914 роками, з метою побачити, чи може менший масштаб файн-тюнінгу моделі змісти вивід до більш історично точного стилю.

Використовуючи ту ж RoBERTa-основану класифікаторну модель, яка діяла як суддя у попередніх тестах для оцінки стилістичної “дати” кожного виводу, дослідники виявили, що у новому експерименті файн-тюнінгована модель виробила текст, тісно пов’язаний з основним матеріалом.

Його стилістична розбіжність від оригінальних текстів, виміряна за допомогою Jensen-Shannon розбіжності, впала до 0,002, загалом узгоджуючись з GPT‑1914:

Оцінка дати публікації для справжніх та згенерованих текстів, показуючи, наскільки близько GPT‑1914 та файн-тюнінгована версія GPT‑4o‑mini відповідають стилю початку двадцяти століття (на основі книг, опублікованих між 1905 та 1914 роками).

Однак дослідники застерігають, що ця метрика може захоплювати лише поверхневі особливості історичного стилю, а не глибші концептуальні чи фактичні анахронізми.

‘[Це] не дуже чутливий тест. RoBERTa модель, використана тут як суддя, навчена тільки передбачати дату, а не розрізняти автентичні пасажі від анахроністичних. Вона, ймовірно, використовує грубі стилістичні докази для цього передбачення. Люди-читачі чи більші моделі все ще можуть виявити анахроністичний вміст у пасажах, які поверхнево звучать “в період”. ‘

Людський дотик

Нарешті, дослідники провели оцінку людини за допомогою 250 вибраних пасажів з книг, опублікованих між 1905 та 1914 роками, і вони спостерігають, що багато з цих текстів, ймовірно, будуть інтерпретовані досить по-іншому сьогодні, ніж вони були під час написання:

‘Наш список включав, наприклад, енциклопедичний запис про Ельзас (який тоді був частиною Німеччини) та один про берібері (який тоді часто пояснювався як грибкова хвороба, а не харчовий дефект). Хоча це різниці фактів, ми також вибрали пасажі, які б показали тонкіші різниці в ставленні, риториці чи уяві.

‘Наприклад, описи неєвропейських місць на початку двадцяти століття схильні ковзнути у расові узагальнення. Опис сходу сонця на місяці, написаний у 1913 році, уявляє багаті хроматичні явища, оскільки ніхто ще не бачив фотографій світу без атмосфери.’

Дослідники створили короткі питання, на які кожен історичний пасаж міг би відповісти, потім файн-тюнінговали GPT‑4o‑mini на цих питання-відповідь парах. Щоб зміцнити оцінку, вони навчали п’ять окремих версій моделі, кожен раз виділяючи різну частину даних для тестування.

Потім вони виробили відповіді за допомогою як стандартних версій GPT-4o, так і GPT-4o‑mini, а також файн-тюнінгованих варіантів, кожна з яких оцінювалася на частині даних, якої вона не бачила під час навчання.

Загублені в часі

Щоб оцінити, наскільки переконливо моделі могли імітувати історичну мову, дослідники попросили трьох експертних анотаторів переглянути 120 згенерованих продовжень та визначити, чи здається кожне з них правдоподібним для письменника 1914 року.

Цей прямий оціночний підхід виявився більш складним, ніж очікувалося: хоча анотатори погодилися у своїх оцінках майже вісімдесят відсотків часу, дисбаланс у їхніх судженнях (із “правдоподібним” вибраним удвічі частіше, ніж “не правдоподібним”) означав, що їх фактичний рівень згоди був лише помірним, виміряним за допомогою коефіцієнта Кохена у 0,554.

Оцінювачі самі описали завдання як складне, часто вимагаючи додаткових досліджень для оцінки, чи відповідає твердження тому, що було відомо чи вірялося у 1914 році.

Деякі пасажі піднімали складні питання щодо тона та перспективи – наприклад, чи була відповідь відповідним чином обмежена у своєму світогляді, щоб відображати те, що було б типовим для 1914 року. Це судження часто залежало від рівня етноцентризму (тобто тенденції сприймати інші культури через припущення чи упередження своєї власної).

У цьому контексті виклик полягав у тому, щоб визначити, чи виражає пасаж достатньо культурного упередження, щоб здатися історично правдоподібним, не звучачи надто сучасним чи занадто явно образливим за сучасними стандартами. Автори відзначають, що навіть для вчених, знайомих з періодом, було складно провести чітку межу між мовою, яка відчувалася історично точною, та мовою, яка відображала сучасні ідеї.

Однак результати показали чітку рейтингову моделей, із файн-тюнінгованою версією GPT‑4o‑mini, визнаною найбільш правдоподібною в цілому:

Оцінки анотаторів щодо того, наскільки правдоподібним здається вивід кожної моделі

Чи є цей рівень виконання, оцінений як “правдоподібний” у вісімдесят відсотків випадків, достатнім для історичних досліджень, залишається неясним – особливо оскільки дослідження не включало базовий вимір того, як часто справжні періодичні тексти могли бути неправильно класифіковані.

Нападник

Далі йшов “тест-нападник”, у якому експертним анотаторам показали чотири анонімні пасажі, що відповідають на одне й те саме історичне питання. Три з відповідей походили від мовних моделей, тоді як одна була справжнім витягом з раннього двадцяти століття джерела.

Завдання полягало в тому, щоб ідентифікувати, який пасаж був оригінальним, написаним під час періоду.

Цей підхід не просив оцінювачів оцінювати правдоподібність безпосередньо, а радше вимірював, як часто справжній пасаж виділявся з AI-генерованих відповідей, по суті, тестируючи, чи можуть моделі обманути читачів, щоб вони думали, що їхній вивід є автентичним.

Рейтинг моделей відповідав результатам попереднього судового завдання: файн-тюнінгована версія GPT‑4o‑mini була найбільш переконливою серед моделей, проте все ж таки не дотягувала до справжнього.

Частота, з якою кожне джерело було правильно ідентифіковано як автентичний історичний пасаж.

Цей тест також послужив корисним еталоном, оскільки, із справжнім пасажем, ідентифікованим більш ніж у половині випадків, розрив між автентичною та синтетичною прозою залишався помітним для людей-читачів.

Статистичний аналіз, відомий як тест МакНемара, підтвердив, що розбіжності між моделями були значимими, крім випадку двох не налаштованих версій (GPT‑4o та GPT‑4o‑mini), які показали схожу продуктивність.

Майбутнє минулого

Автори виявили, що промптинг сучасних мовних моделей для прийняття історичної мови не дав надійних результатів: менше двох третин виводу було оцінено як правдоподібне людьми-читачами, і навіть цей показник, ймовірно, завищує продуктивність.

У багатьох випадках відповіді включали явні сигнали того, що модель говорила з сучасної точки зору – фрази типу ‘у 1914 році ще не відомо, що…’ або ‘на 1914 рік я не знайомий з…’ були досить поширені, щоб з’являтися у до однієї п’ятої частини продовжень. Такі застереження робили ясним, що модель імітувала історію ззовні, а не писала з неї.

Автори стверджують:

‘Погана продуктивність контекстного навчання є нещасливою, оскільки ці методи є найлегшими та найдешевшими для досліджень, заснованих на штучному інтелекті. Ми підкреслюємо, що ми не дослідили ці підходи вичерпно.

‘Можливо, що контекстне навчання виявиться достатнім – зараз або в майбутньому – для підмножини галузей досліджень. Але наші перші дані не є заохочувальними.’

Автори висновують, що хоча файн-тюнінг комерційної моделі на історичних пасажах може виробити стилістично переконливий вивід при мінімальних витратах, це не повністю усуває сліди сучасної перспективи. Передтренування моделі цілком на періодичному матеріалі уникне анахронізму, проте вимагатиме значно більших ресурсів і приведе до менш плавного виводу.

Жоден з цих підходів не пропонує повного рішення, і, наразі, будь-яка спроба імітувати історичні голоси, здається, включає компроміс між автентичністю та спроможністю. Автори висновують, що подальші дослідження будуть потрібні для виясування того, як найкраще пройти цей розрив.

Висновок

Можливо, одним з найцікавіших питань, які виникають з нової статті, є питання автентичності. Хоча вони не є ідеальними інструментами, втрати та метрики, такі як LPIPS і SSIM, дають дослідникам комп’ютерного зору принаймні методологію типу на тип для оцінки проти основної істини.

Натомість, коли генерується новий текст у стилі минулого періоду, немає основної істини – тільки спроба зайняти зниклу культурну перспективу. Спроба реконструювати цей погляд з літературних слідів є самим актом квантизації, оскільки такі сліди є лише доказами, тоді як культурна свідомість, з якої вони походять, залишається поза висновком, і, ймовірно, поза уяви.

На практичному рівні також основи сучасних мовних моделей, сформовані сучасними нормами та даними, ризикують переінтерпретувати або придушити ідеї, які здавалися б розумними чи незначними для читача Едуардіанської епохи, проте зараз реєструються як (часто образливі) артефакти упередження, нерівності чи несправедливості.

Відтак, питання виникає, чи створили б ми такий діалог, чи він не відштовхував би нас.

Перше опубліковано у п’ятницю, 2 травня 2025