Погляд Anderson
Чому штучний інтелект любить писати про доглядачів маяків?

Ключові моментиМовні моделі сходяться на постаті доглядача маяка Еліаса, тому що фільтри авторського…
Показати більше
- Мовні моделі сходяться на постаті доглядача маяка Еліаса, тому що фільтри авторського права, ймовірно, вирізали багатший вигаданий матеріал.
- Ці повторювані слова майже не зустрічаються в опублікованій художній літературі чи навчальних корпусах, тож поширеність даних не може пояснити цю одержимість.
- Крихітна частка історій, створених після навчання, не може статистично домінувати у виводі моделі так, як це робить троп маяка.
Коли їх просять «написати історію», ChatGPT та інші провідні мовні моделі, схоже, уникають порушення авторських прав, нав’язливо повертаючись до того самого невеликого й дивного набору персонажів: доглядачів маяків, рибалок і годинникарів.
Нове дослідження Корнельського університету показало, що провідні мовні моделі, схоже, дивно зациклені на дуже вузькому наборі оповідних елементів, коли їх просять просто «написати історію». Дослідники запропонували чотирьом великим мовним моделям написати 20 000 історій і виявили, що 88% містять принаймні один з 11 дуже конкретних токенів із категорій «місце», «ім’я» або «професія»:

Частота несподіваних ключових слів на мільйон слів за результатами аналізу 20 000 історій, створених мовними моделями. Джерело
У понад 12 мільйонах слів, створених мовними моделями для дослідження, найчастіше повторювалися 11 слів: імена elias, mara, elara; професії keeper, baker, mayor, clockmaker, fisherman, librarian і conductor; і місце lighthouse:
Тестувалися моделі Claude Haiku 4.5, Gemini 3.1 Flash-Lite, GPT-5.4-Mini і OLMo 7b Thinking. Усі вони отримали один із п’яти запитів: Write a story; Please write a story; Write me a story; Tell me a story; або Please tell a story.
Щоб з’ясувати, чи проявляється виявлений у дослідженні синдром у моделях, доступних на момент написання статті, я повторив експеримент сам. Спершу — у своєму звичайному обліковому записі ChatGPT середнього тарифного рівня (розмова доступна тут). Відбирати вдалі результати не довелося: ChatGPT-5.5 з першої спроби видав саме той матеріал, який передбачали дослідники:

ChatGPT-5.5 одразу ж підтвердив початкові висновки статті. Джерело
Я замислився, чи не пояснюється таке швидке підтвердження історією розмов або навіть можливим витоком інформації між різними сервісами. Відкривши приватне вікно Firefox, я увійшов у безплатний обліковий запис ChatGPT, яким не користувався щонайменше рік, і спробував знову (розмова доступна тут). І знову ChatGPT влучив точно в ціль — якщо припустити, що OpenAI не переносить інформацію між обліковими записами зі спільною IP-адресою:

Другий обліковий запис ChatGPT відтворює ті самі нав’язливі мотиви й обмежений репертуар імен і тем, описаний у новому дослідженні. «Mira» входить до двадцятки найчастіших імен, виявлених авторами. Джерело
Ці версії GPT були на рівень вищими за 5.4, яку перевіряли в дослідженні.
Хоча дослідники перевіряли Claude Haiku, я спробував стандартний Sonnet 4.6 від Anthropic і не розчарувався. Знайомі ключові слова з’явилися вже з першої спроби (розмова доступна тут):

Цього разу «Mara», ще одна постійна учасниця першої одинадцятки, стає героїнею історії з першої спроби в Claude Sonnet 4.6. Джерело
Той самий запит до Claude Haiku 4.5 дав майже той самий результат.
Спершу відтворити висновки авторів у Google Gemini не вдалося. Проте щойно я вибрав саме модель із дослідження, Gemini 3.1 Flash-Lite, закономірність проявилася відразу: це була третя спроба загалом, але перша з цією моделлю (посилання тут):

Google Gemini 3.1 Flash-Lite. Джерело
Подальші експерименти з різними моделями Gemini незмінно приводили до теми маяка, хоча й з варіантами поза першою одинадцяткою: наприклад, з героєм на ім’я «Thomas», а в іншій версії — з моїм власним ім’ям.
Утім, на момент написання статті висновки дослідження було надзвичайно легко відтворити.
Маяки поза чатом
Великі уми мислять однаково: за тиждень до виходу нового дослідження автор матеріалів про програмне забезпечення Деніел Мей вказав на поєднання мотивів Elias і lighthouse keeper, виявлене дослідниками*, очевидно, помітивши його випадково. Потім він перевірив вісім варіантів Gemini, DeepSeek, Qwen і Gemma та з’ясував, що вони відтворюють мотив lighthouse із героєм на ім’я «Elias Thorne»*. Однак початкова знахідка не охоплювала ширшого кола повторюваних тем, описаних у новому дослідженні.
Щоб з’ясувати, чи виходили ці повторювані теми, імена та місця за межі чатів, я пошукав деякі з 11 ключових слів і відповідних тем у Google. Знайшлося напрочуд багато публікацій, які, схоже, відтворювали ці мотиви:

Три приклади повторюваного мотиву в публічно доступних матеріалах. Посилання на джерела наведено далі в тексті.
Мей визначив повне ім’я Elias Thorne, а не лише «Elias», як стійкий мотив LLM. Він опублікував кілька знімків екрана з Amazon, де це ім’я, вочевидь, використовувалося як ім’я автора різних книжок, зокрема медичних.
Я ж шукав і знайшов матеріали, які, схоже, запозичили повторювані теми в LLM: публікацію у X з історією (архівна версія тут); художню роботу (архівна версія тут); і озвучену історію на YouTube (архівна версія тут). Матеріалів для перегляду було значно більше, але часу не вистачило.
Потяг до минулого
Ось що дали випадкові спостереження й несподівані знахідки. Хоча в навчальних даних немає єдиного «магічного документа» з усіма або більшістю повторюваних елементів, автори нового дослідження (під назвою Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories), двоє дослідників із Корнельського університету, припускають, що фільтри авторських прав під час розроблення ШІ можуть обмежувати художню прозу LLM матеріалами, строк охорони авторських прав на які вже минув.
Автори зазначають:
«Ми виявили, що домінування історій про “Elias у маяку” не пояснюється їхньою поширеністю в даних попереднього чи подальшого навчання. Ми припускаємо, що під час узгодження поведінки моделі навчають уникати згадок про захищених авторським правом персонажів і контент для дорослих, але залишаємо це питання для майбутніх досліджень».
| Категорія | Токен | Наше дослідження | Література | Переднавчання: нехудожні тексти | Переднавчання: художні тексти | Післянавчання: нехудожні тексти | Післянавчання: художні тексти |
|---|---|---|---|---|---|---|---|
| Ім’я | elias | 2,428 | 2.7 | 2.2 | 4.0 | 0.4 | 52.7 |
| Ім’я | mara | 5,200 | 3.9 | 2.5 | 8.7 | 0.4 | 21.7 |
| Ім’я | elara | 1,221 | 0.0 | 0.4 | 1.2 | 0.9 | 108 |
| Професія | keeper | 1,495 | 7.2 | 6.3 | 14.7 | 3.5 | 10.0 |
| Професія | baker | 161 | 20 | 11.8 | 10.56 | 1.7 | 11.9 |
| Професія | mayor | 198 | 28 | 11.5 | 16.1 | 1.4 | 27.4 |
| Професія | clockmaker | 108 | 0.1 | 0.18 | 0.0 | 0.3 | 1.4 |
| Професія | fisherman | 62 | 4.2 | 3.0 | 7.6 | 0.0 | 9.3 |
| Професія | librarian | 68 | 5.3 | 7.6 | 5.9 | 2.3 | 11.5 |
| Професія | conductor | 96 | 5.0 | 5.9 | 5.7 | 4.7 | 7.5 |
| Місце | lighthouse | 3,005 | 5.5 | 3.5 | 4.6 | 4.6 | 10.1 |
Порівняння частоти повторюваних слів з історій ШІ в опублікованій літературі, мережевій прозі та даних подальшого навчання. Такі слова, як «Elias» і «lighthouse», значно частіші в історіях чатботів.
Дослідники виявили 11 виділених слів у 88% із 20 000 історій, за «незначних відмінностей між моделями». Вони підкреслюють, що ці слова рідкісні в опублікованій англомовній літературі й що причиною цілком можуть бути дані подальшого навчання, призначені для формування та узгодження поведінки моделей із «прийнятним» використанням.
У дослідженні зазначено:
«Типовий приклад [нижче] демонструє три елементи, спільні майже для всіх 20 000 історій: місце (19 864 історії), ім’я персонажа (19 864 історії) і професію (15 807 історій).
Конкретне місце (“lighthouse”), ім’я (“Elias”) і професія (“keeper”) з цієї історії трапляються в певному поєднанні в 66,6% усіх згенерованих історій. Світло також є частою темою: 56% історій Claude мають назву “The Lighthouse Keeper’s Secret”, а слово “light” з’являється в 16 784 історіях у середньому 3,2 раза на історію».

За даними дослідження, Google Gemini 3.1 Flash-Lite написав цей приклад у відповідь на запит «Write a story».
Автори дослідження відзначають ностальгічну або атавістичну тенденцію в усіх виявлених ключових словах та іменах.
У пошуках джерела характерних рис
Щоб перевірити, чи пояснюються повторювані історії про маяки звичайним знайомством із художньою літературою, дослідники порівняли улюблені повторювані слова моделей із кількома великими англомовними корпусами. Сучасну прозу досліджували за допомогою CONLIT— набору даних із 2 700 англомовних романів, виданих у 2007–2021 роках: 12 жанрів, близько 287 мільйонів слів.
«Elias» трапляється в згенерованих історіях приблизно в 900 разів частіше, ніж в опублікованій прозі. Аматорська проза спільноти /r/writingprompts на Reddit мала подібні частоти. Це вказує на те, що закономірність не відбиває й загальніших людських звичок оповіді.
Та сама картина спостерігалася в даних попереднього навчання. У відкритому корпусі OLMo 3, який містить близько 3,89 мільярда документів, написаних переважно людьми й частково отриманих із Common Crawl, дослідники з’ясували, що повторювані слова групи «Core» майже не трапляються.
Оскільки значна частина корпусу OLMo 3 складається з нехудожніх текстів, дослідники створили класифікатор художньої прози за допомогою анотацій GPT-OSS 20b і моделі FastText, навченої на 200 000 збалансованих прикладах. Навіть після відбору лише художніх матеріалів слова на кшталт «Elara» траплялися вкрай рідко порівняно з історіями ШІ. Чому ж вони домінують у відповідях на найпростішу команду написати художній твір?
Автори заявляють:
«Якщо слова Core нечасті в мережевих даних, одним із решти джерел могли б бути дані подальшого навчання. Однак у даних подальшого навчання OLMo наші токени трапляються рідше, ніж у CONLIT».
У 78 958 історіях із даних подальшого навчання OLMo 3 ім’я «Elias» трапляється 52,7 раза на мільйон слів проти 2,7 у CONLIT. Але в згенерованих історіях дослідження частота сягає 2 428 випадків на мільйон слів.
Щоб встановити походження повторюваних історій Core, кожну історію в даних подальшого навчання OLMo 3 оцінили за наявністю одного або кількох токенів Core (як-от Elara, Mara тощо). Більшість очікували в наборах даних для керованого донавчання (SFT), оскільки WildChat і пов’язані джерела надали для OLMo 3 59 266 історій.
Однак терміни Core містилися лише в 1 803 історіях, а вищі концентрації спостерігалися в даних для DPO і навчання з підкріпленням.
Загалом повторювану лексику Core вдалося простежити лише в 3 053 історіях — 3,8% усіх досліджених історій подальшого навчання. Статистично неможливо, щоб така мала підмножина корпусу домінувала в результатах спостережуваним чином.
Дослідження робить висновок:
«За мінімуму вказівок сучасні передові моделі пишуть історії з вузьким репертуаром імен, місць і професій. Серед повторюваних персонажів — доглядач маяка Elias. Elias незвичайний: це ім’я рідкісне в літературі, мережевих даних і навіть даних подальшого навчання».
Висновок
Оскільки немає окремого літературного твору чи навіть серії, що містили б усі 11 визначених авторами слів, зовсім незрозуміло, як саме цей набір накопичився й утворив внутрішні зв’язки на найнижчих рівнях кількох великих мовних моделей, попри відмінності в їхніх навчальних даних і підходах.
Навіть якщо дослідники мають рацію щодо обмежувального впливу фільтрів авторських прав, справжній океан класичної літератури в навчальних даних мав би завадити цьому дивному набору старомодних слів домінувати у відповідях на запит «напишіть» без додаткових уточнень.
Однак ця теорія припускає, що величезні обсяги класичної літератури взагалі входили до навчання. Це малоймовірно: потрібні моделі, які працюють із сучасною лексикою й відповідають нинішнім бізнес-потребам, а не створюють наслідування Діккенса. Сам колосальний обсяг навіть доіндустріальної літератури виключав би її включення.
У будь-якому разі, якби існував окремий твір із певним поєднанням відзначених авторами «нав’язливих» елементів, його, ймовірно, було б легше знайти. Самі автори його не знайшли, і побіжні пошуки в матеріалах до епохи ШІ теж не виявили кандидатів. Можливо, якщо «синдром маяка» стане настільки ж відомим, як довге тире в текстах ШІ, хтось із науковців запропонує відповідь.
* Я не можу докладніше розглянути статтю Мея з причин, які можуть стати очевидними після її прочитання.
Уперше опубліковано в середу, 27 травня 2026 року. Змінено в перші 30 хвилин, щоб виправити посилання на Anthropic.












