Взгляд Anderson

Почему ИИ любит писать о смотрителях маяков?

Martin Anderson
Добавьте Unite.AI в избранные источники в Google
AI-generated image (GPT-2): Infinite identical lighthouse keepers stand screaming along a rain-soaked stone causeway above a violent sea, while matching lighthouses repeat into the distance beneath dark storm clouds, creating a photoreal recursive landscape.
Ключевые моментыЯзыковые модели сходятся на образе смотрителя маяка Элиаса, потому что фильтры…
Показать больше
  • Языковые модели сходятся на образе смотрителя маяка Элиаса, потому что фильтры авторских прав, возможно, удалили более богатый вымышленный материал.
  • Повторяющиеся слова почти не встречаются в опубликованной художественной литературе или обучающих корпусах, поэтому распространённость данных не может объяснить эту одержимость.
  • Крошечная доля историй, созданных после обучения, не может статистически доминировать в выводе модели так, как это делает троп маяка.

Когда их просят ‘написать историю’, ChatGPT и другие ведущие языковые модели, кажется, избегают нарушения авторских прав, постоянно обращаясь к одному и тому же небольшому и странному набору элементов повествования, таких как смотрители маяков, рыбаки и часовщики.

 

Новое исследование Корнеллского университета показало, что ведущие языковые модели, по-видимому, странно зациклены на очень узком наборе повествовательных элементов, когда их просят просто «написать историю». Исследователи предложили четырем LLM написать 20 000 историй и обнаружили, что 88% результатов содержат хотя бы один из 11 очень конкретных токенов из категорий ‘место’, ‘имя’ или ‘профессия’:

Частота неожиданных ключевых слов на миллион слов в 20 000 историях LLM.

Частота появления неожиданных ключевых слов на миллион слов, полученная исследователями при анализе 20 000 историй, созданных LLM. Источник

В более чем 12 миллионах слов, созданных LLM для исследования, чаще всего повторялись следующие 11 слов: имена elias, mara, elara; профессии keeper, baker, mayor, clockmaker, fisherman, librarian и conductor; и место lighthouse:

Исследователи проверили модели Claude Haiku 4.5, Gemini 3.1 Flash-Lite, GPT-5.4-Mini и OLMo 7b Thinking. Каждой давали один из пяти запросов: Write a story; Please write a story; Write me a story; Tell me a story; или Please tell a story.

Чтобы выяснить, проявляется ли обнаруженный в исследовании синдром в моделях, доступных на момент написания статьи, я повторил эксперимент сам. Сначала — в своем обычном аккаунте ChatGPT среднего тарифного уровня (разговор доступен здесь). Отбирать удачные результаты не пришлось: ChatGPT-5.5 с первой попытки выдал именно тот материал, который предсказывали исследователи:

ChatGPT-5.5 с первой попытки подтверждает первоначальные выводы исследования.

ChatGPT-5.5 сразу подтверждает первоначальные выводы статьи. Источник

Я задумался, не объясняется ли столь быстрое подтверждение историей разговоров или даже возможной утечкой информации между разными сервисами. Открыв приватное окно Firefox, я вошел в бесплатный аккаунт ChatGPT, которым не пользовался как минимум год, и повторил попытку (разговор доступен здесь). И снова ChatGPT с первой попытки попал в точку — если предположить, что OpenAI не переносит информацию между аккаунтами с общим IP-адресом:

Второй аккаунт ChatGPT следует тому же узкому репертуару имен и тем.

Второй аккаунт ChatGPT следует тем же навязчивым мотивам и ограниченному репертуару имен и тем, описанному в новом исследовании. «Mira» входит в первую двадцатку имен, выявленных авторами.  Источник

Стоит отметить, что эти версии GPT были на ступень выше 5.4, протестированной в статье.

Хотя исследователи проверяли Claude Haiku, я попробовал стандартный Sonnet 4.6 от Anthropic и не разочаровался. Знакомые ключевые слова появились уже с первой попытки (разговор доступен здесь):

Mara становится героиней с первой попытки в Claude Sonnet 4.6.

На этот раз «Mara», еще одно постоянное имя из первой одиннадцатки, становится героиней истории с первой попытки в Claude Sonnet 4.6. Источник

Тот же запрос к Claude Haiku 4.5 дал практически то же самое.

Сначала воспроизвести выводы авторов в Google Gemini не удалось. Но стоило мне выбрать именно модель из исследования, Gemini 3.1 Flash-Lite, как закономерность проявилась сразу: это была третья попытка в целом, но первая с этой моделью (разговор доступен здесь):

Ответ Google Gemini 3.1 Flash-Lite.

Google Gemini 3.1 Flash-Lite. Источник

Дальнейшие эксперименты с разными моделями Gemini неизменно приводили к теме маяка, хотя и с вариантами вне первой одиннадцатки: например, с героем по имени «Thomas», а в другой версии — с моим собственным именем.

Тем не менее на момент написания статьи выводы исследования было чрезвычайно легко подтвердить.

Маяки за пределами чата

Великие умы мыслят одинаково: неделей ранее, еще до выхода нового исследования, автор материалов о программном обеспечении Дэниел Мэй указал на сочетание мотивов Elias и lighthouse keeper, выделенное исследователями*, по-видимому, случайно заметив его сам. Затем он проверил восемь вариантов Gemini, DeepSeek, Qwen и Gemma и обнаружил, что они воспроизводят мотив lighthouse с героем по имени «Elias Thorne»*. Однако эта первоначальная находка не охватывала более широкий круг повторяющихся тем, описанных в новом исследовании.

Чтобы выяснить, выходили ли эти повторяющиеся темы, имена и места за пределы чатов, я поискал некоторые из 11 ключевых слов и соответствующих тем в Google. Нашлось удивительно много публикаций, которые, по-видимому, воспроизводили эти мотивы:

Три примера повторяющегося мотива в публичных материалах. Источники указаны в тексте.

Три примера повторяющегося мотива в публичных материалах. Ссылки на источники приведены ниже.

Мэй выделил полное имя «Elias Thorne», а не только «Elias», как устойчивый мотив LLM. Он опубликовал несколько снимков экрана с Amazon, где это имя, по-видимому, использовалось как имя автора различных книг, в том числе медицинских.

Я же искал и нашел материалы, которые, по-видимому, воспроизводили устойчивые темы LLM: публикацию истории в X (ее архивную версию); художественное произведение (его архивную версию); а также рассказ с озвучкой на YouTube (его архив). Материалов было гораздо больше, но времени на их изучение не хватило.

Тяга к прошлому

Таковы результаты случайных наблюдений и неожиданных находок. Хотя в обучающих данных нет единого «волшебного документа», содержащего все или большинство повторяющихся элементов, авторы нового исследования под названием Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories— двое исследователей из Корнеллского университета — предполагают, что фильтры авторских прав при разработке ИИ могут ограничивать создаваемую LLM художественную прозу материалами с истекшим сроком охраны авторских прав.

Авторы утверждают:

«Мы обнаружили, что преобладание историй об “Elias в маяке” нельзя объяснить частотой их появления в данных предобучения или постобучения. Мы предполагаем, что при согласовании поведения модели обучают избегать упоминаний защищенных авторским правом персонажей и контента для взрослых, но оставляем этот вопрос для будущих исследований».

Категория Токен Наше исследование Литература Предобучение: нехудожественные тексты Предобучение: художественные тексты Постобучение: нехудожественные тексты Постобучение: художественные тексты
Имя elias 2,428 2.7 2.2 4.0 0.4 52.7
Имя mara 5,200 3.9 2.5 8.7 0.4 21.7
Имя elara 1,221 0.0 0.4 1.2 0.9 108
Профессия keeper 1,495 7.2 6.3 14.7 3.5 10.0
Профессия baker 161 20 11.8 10.56 1.7 11.9
Профессия mayor 198 28 11.5 16.1 1.4 27.4
Профессия clockmaker 108 0.1 0.18 0.0 0.3 1.4
Профессия fisherman 62 4.2 3.0 7.6 0.0 9.3
Профессия librarian 68 5.3 7.6 5.9 2.3 11.5
Профессия conductor 96 5.0 5.9 5.7 4.7 7.5
Место lighthouse 3,005 5.5 3.5 4.6 4.6 10.1

Сравнение частоты повторяющихся слов из историй ИИ в опубликованной литературе, сетевой прозе и данных постобучения. Такие слова, как «Elias» и «lighthouse», гораздо чаще встречаются в историях чат-ботов.

Исследователи обнаружили 11 выделенных слов в 88% из 20 000 историй LLM при «небольших различиях между моделями». Они подчеркивают, что эти слова редки в опубликованной англоязычной литературе и что причиной вполне могут быть данные постобучения, которые формируют и согласуют поведение моделей с «допустимыми» способами использования.

В исследовании говорится:

«Типичный пример [ниже] демонстрирует три элемента, общих почти для всех 20 000 историй: место (19 864 истории), имя персонажа (19 864 истории) и профессию (15 807 историй).

Конкретное место (“lighthouse”), имя (“Elias”) и профессия (“keeper”) из этой истории встречаются в той или иной комбинации в 66,6% всех сгенерированных историй. Свет тоже является частой темой: 56% историй Claude озаглавлены “The Lighthouse Keeper’s Secret”, а слово “light” появляется в 16 784 историях в среднем 3,2 раза на историю».

Согласно исследованию, Google Gemini 3.1 Flash-Lite написал этот пример по запросу Write a story.

По данным исследования, Google Gemini 3.1 Flash-Lite написал этот пример в ответ на запрос «Write a story».

Авторы исследования отмечают ностальгическую или атавистическую тенденцию во всех выявленных ключевых словах и именах.

В поисках источника характерных черт

Чтобы проверить, объясняются ли повторяющиеся истории о маяках обычным знакомством с художественной литературой, исследователи сравнили любимые повторяющиеся слова моделей с несколькими крупными англоязычными корпусами. Современную прозу изучали с помощью CONLIT— набора данных из 2 700 англоязычных романов, вышедших в 2007–2021 годах: 12 жанров, около 287 миллионов слов.

«Elias» встречается в сгенерированных историях примерно в 900 раз чаще, чем в опубликованной прозе. Любительская проза сообщества /r/writingprompts на Reddit демонстрировала сходные частоты. Это указывает на то, что закономерность не отражает и более общие человеческие привычки повествования.

Та же картина наблюдалась в данных предобучения. В открытом корпусе OLMo 3, содержащем около 3,89 миллиарда документов, написанных преимущественно людьми и частично полученных из Common Crawl, исследователи обнаружили, что повторяющиеся слова группы «Core» почти не встречаются.

Поскольку значительная часть корпуса OLMo 3 состоит из нехудожественных текстов, исследователи создали классификатор художественной прозы, используя разметку GPT-OSS 20b и модель FastText, обученную на 200 000 сбалансированных примеров. Даже после отбора только художественных текстов слова вроде «Elara» встречались ничтожно редко по сравнению с историями ИИ. Почему же они доминируют при самой простой команде написать художественный текст?

Авторы утверждают:

«Если слова Core редки в сетевых данных, одним из оставшихся источников могли бы быть данные постобучения. Однако в данных постобучения OLMo наши токены встречаются реже, чем в CONLIT».

В 78 958 историях из данных постобучения OLMo 3 имя «Elias» встречается 52,7 раза на миллион слов против 2,7 в CONLIT. Но в сгенерированных историях исследования частота достигает 2 428 появлений на миллион слов.

Чтобы установить происхождение повторяющихся историй Core, каждую историю в данных постобучения OLMo 3 оценивали по наличию одного или нескольких токенов Core, например Elara, Mara и т. д. Большинство ожидалось в данных контролируемого дообучения (SFT), поскольку WildChat и связанные источники предоставили для OLMo 3 59 266 историй.

Однако термины Core содержались лишь в 1 803 историях, а более высокие концентрации наблюдались в данных для DPO и обучения с подкреплением.

В целом повторяющийся словарь Core удалось проследить лишь в 3 053 историях — 3,8% всех изученных историй постобучения. Статистически невозможно, чтобы столь малое подмножество корпуса доминировало в результатах наблюдаемым образом.

Исследование заключает:

«При минимуме указаний современные передовые модели пишут истории с узким репертуаром имен, мест и профессий. Среди повторяющихся персонажей — смотритель маяка Elias. Elias необычен: это имя редко в литературе, сетевых данных и даже данных постобучения».

Заключение

Поскольку нет единого литературного произведения или даже серии, включающей все 11 выявленных авторами слов, совершенно неясно, как именно этот набор накопился и приобрел внутренние связи на нижних уровнях нескольких больших языковых моделей, несмотря на различия их обучающих данных и подходов.

Даже если исследователи правы насчет ограничивающего действия фильтров авторских прав, настоящий океан классической литературы в обучающих данных должен был помешать этому странному набору старомодных слов доминировать в ответах на запрос «напишите» без дополнительных уточнений.

Однако эта теория предполагает, что огромные объемы классической литературы вообще входили в обучение. Это маловероятно: нужны модели, которые работают с современной лексикой и отвечают нынешним деловым потребностям, а не производят подражания Диккенсу. Сам колоссальный объем даже доиндустриальной литературы исключил бы ее включение.

В любом случае, если бы существовало отдельное произведение с каким-либо сочетанием отмеченных авторами «навязчивых» элементов, его, вероятно, было бы легче найти. Сами авторы его не нашли, а беглые поиски в материалах до эпохи ИИ тоже не выявили кандидатов. Возможно, если «синдром маяка» станет столь же известен, как длинное тире в текстах ИИ, кто-нибудь из ученых предложит ответ.

 

* Я не могу подробнее рассмотреть статью Мэя, по причинам, которые могут стать очевидными, когда вы прочитаете ее.

Опубликовано в среду, 27 мая 2026 года. Изменено в течение первых 30 минут, чтобы исправить ссылку на Anthropic.

Martin Anderson

Автор в области машинного обучения, специалист по синтезу человеческих изображений. Бывший руководитель отдела исследовательского контента в Metaphysic.ai, до его объединения с Brahma.ai от DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai