Anderson 视角

为什么人工智能喜欢写关于灯塔看守者的故事?

mm
将 Unite.AI 添加到您在 Google 上的首选来源
AI-generated image (GPT-2): Infinite identical lighthouse keepers stand screaming along a rain-soaked stone causeway above a violent sea, while matching lighthouses repeat into the distance beneath dark storm clouds, creating a photoreal recursive landscape.

当被要求“写一个故事”时,ChatGPT和其他领先语言模型似乎会反复求助于同一小群奇怪的灯塔守护人、渔夫和钟表匠,以此规避版权侵权。

 

康奈尔大学的一项新研究发现,当你只要求模型“写一个故事”时,领先语言模型似乎会异常执着于一组极其有限的叙事元素。研究人员让四个LLM写了20,000个故事,发现其中88%的故事至少包含11个非常具体的词元之一,分别属于“地点”“姓名”“职业”类别:

研究人员分析20,000个LLM生成故事后得到的不寻常关键词出现频率,以百万分率表示。

研究人员分析20,000个LLM生成故事后得到的不寻常关键词出现频率,以百万分率表示。 来源

在该研究由LLM生成的1,200多万词中,最常重复出现的11个词是姓名eliasmaraelara;职业守护人面包师市长钟表匠渔夫图书管理员指挥;以及地点灯塔

接受测试的模型包括Claude Haiku 4.5Gemini 3.1 Flash-LiteGPT-5.4-MiniOLMo 7b Thinking。它们分别收到以下五种指令之一:“写一个故事”“请写一个故事”“给我写一个故事”“给我讲一个故事”;或“请讲一个故事”

为了看看论文所说的症状是否也存在于写作时可用的模型中,我亲自进行了实验,首先使用自己常用的中档ChatGPT账户(对话链接在这里)。完全不需要挑选结果,ChatGPT-5.5第一次就直接采用了研究人员预测的素材:

ChatGPT-5.5立即印证了论文的初步发现。

ChatGPT-5.5立即印证了论文的初步发现。 来源

我怀疑历史上下文甚至可能的跨域泄漏是否造成了这种“一击即中”,于是通过Firefox隐私浏览窗口登录了一个一年多未使用的免费ChatGPT账户,再试了一次(对话链接在这里)。假设OpenAI不会用共同IP地址在不同账户之间填充信息,ChatGPT还是再次准确命中:

第二个ChatGPT账户沿用了新论文所述的相同执念和狭小的姓名、主题套路。

第二个ChatGPT账户沿用了新论文所述的相同执念和狭小的姓名、主题套路。“Mira”位列作者统计的前20名。 来源

值得注意的是,这些GPT版本比论文测试的5.4高一个级别。

论文测试的是Claude Haiku,我则尝试了Anthropic默认的Sonnet 4.6,结果没有失望。熟悉的关键词又在第一次尝试时出现了(对话链接在这里):

这一次,前11名中的另一常客Mara在Claude Sonnet 4.6的第一次尝试中成为故事主角。

这一次,“前11名”中的另一常客“Mara”在Claude Sonnet 4.6的第一次尝试中成为故事主角。 来源

在Claude Haiku 4.5上使用相同提示也得到了几乎一样的结果

起初我无法在Google Gemini中重现作者的发现,直到我特意改用论文中的Gemini 3.1 Flash-Lite。随后在第三次尝试——但也是使用该模型的第一次——这一模式立即出现(链接在这里):

Google Gemini 3.1 Flash-Lite。

Google Gemini 3.1 Flash-Lite。 来源

对不同Gemini模型的进一步实验总会出现灯塔主题,不过也有不在“前11名”中的变体,例如“Thomas”这个名字;另一个版本甚至以我自己的名字作为主角。

尽管如此,在本文写作之时,要验证论文的发现极其容易。

现实世界中的灯塔

英雄所见略同:就在新论文发表前一周,软件作者Daniel May曾指出研究人员提取出的Elias灯塔守护人套路之间的巧合*,显然是偶然注意到了它。他接着测试了Gemini、DeepSeek、Qwen和Gemma的八个变体,发现它们会产生灯塔模因,并让“Elias Thorne”成为主角*。不过,这次初步发现并未涵盖新论文所列更广泛的持续性内容主题。

为了看看这些反复出现的主题、姓名和地点是否曾逃出聊天对话的范围,我在Google上搜索了前11个关键词和主题中的一部分,发现数量惊人的帖子似乎也受到了它们的影响:

输出中这种模因的三个例子,来源链接见下文。

输出中这种模因的三个例子,来源链接见下文。

May认为较长的“Elias Thorne”(而不只是“Elias”)是一个长期存在的LLM模因,并发布了来自Amazon的多张截图;这个名字显然被用作包括医学书籍在内的多种书籍的作者名。

我则寻找并找到了似乎调用了LLM持续性主题的内容,包括一个故事的X帖子(存档版本在这里);一部虚构作品(存档版本在这里);以及YouTube上一个带旁白的故事(存档在这里)。还有许多内容可供查找,但时间不允许。

对过去的偏爱

以上只是偶然观察和巧合。目前还没有在训练数据中发现包含全部或大多数持续性元素的单一“神奇文档”。不过,两位康奈尔大学研究人员在新论文Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories》中推测,人工智能开发中的版权过滤器可能正在把LLM的虚构输出限制在版权已经失效的素材上。

作者写道:

“我们发现,‘Elias在灯塔里’故事占主导地位,无法用其在训练前或训练后数据中的普遍程度解释。我们推测,模型在对齐过程中被训练为避免提及受版权保护的角色和成人内容,但将这个问题留待未来研究。”

类别 词元 本研究 文学 训练前非虚构 训练前虚构 训练后非虚构 训练后虚构
姓名 elias 2,428 2.7 2.2 4.0 0.4 52.7
姓名 mara 5,200 3.9 2.5 8.7 0.4 21.7
姓名 elara 1,221 0.0 0.4 1.2 0.9 108
职业 keeper 1,495 7.2 6.3 14.7 3.5 10.0
职业 baker 161 20 11.8 10.56 1.7 11.9
职业 mayor 198 28 11.5 16.1 1.4 27.4
职业 clockmaker 108 0.1 0.18 0.0 0.3 1.4
职业 fisherman 62 4.2 3.0 7.6 0.0 9.3
职业 librarian 68 5.3 7.6 5.9 2.3 11.5
职业 conductor 96 5.0 5.9 5.7 4.7 7.5
地点 lighthouse 3,005 5.5 3.5 4.6 4.6 10.1

对比表展示了AI生成故事中的重复词汇在出版文学、网络小说和训练后数据集中的出现频率,“Elias”和“灯塔”等词在聊天机器人创作的小说中出现得远为频繁。

研究作者发现,这11个重点词出现在20,000个生成故事的88%中,而且“模型之间差异很小”。他们强调,这些词在已出版的英语文学中并不常见,而训练后数据——用于调节模型并使其对齐“可接受”用途的数据——很可能是原因。

论文写道:

“下方展示的典型例子突出了几乎所有20,000个故事共有的三种元素:一个地点(19,864个故事)、一个角色名(19,864个故事)和一种职业(15,807个故事)。”

“事实上,这个故事中的特定地点(‘灯塔’)、姓名(‘Elias’)和职业(‘守护人’)以某种组合出现在全部生成故事的66.6%中。光也是一个常见主题:Claude生成的故事有56%以《灯塔守护人的秘密》为题,‘光’字出现在16,784个故事中,平均每个故事出现3.2次。”

论文称,这个例子由Google Gemini 3.1 Flash-Lite响应‘写一个故事’提示而生成。

论文称,这个例子由Google Gemini 3.1 Flash-Lite响应“写一个故事”提示而生成。

值得注意的是,研究作者在所有提取出的关键词和姓名中都发现了一种怀旧或返祖趋势。

追查这些特征

为了检验反复出现的“灯塔”故事是否能用普通的虚构作品接触经历来解释,研究人员把模型偏爱的重复词汇与多个大型英语语料库进行了比较。当代小说通过CONLIT进行检验;该数据集包含2007年至2021年间出版的2,700部英语小说,覆盖12种类型,总计约2.87亿词。

“Elias”在生成故事中的出现频率约为出版小说的900倍。Reddit的/r/writingprompts社区中的业余小说给出了相似频率,表明这种模式同样不能反映更广泛的人类叙事习惯。

检查训练前数据时仍然出现了相同模式。研究人员使用公开的OLMo 3语料库——其中约有38.9亿份主要由人类撰写的文档,一部分来自Common Crawl——发现反复出现的“核心”词汇几乎完全没有出现

由于OLMo 3语料大多是非虚构内容,研究人员使用GPT-OSS 20b标注和一个在200,000个平衡样本上训练的FastText模型构建了小说分类器。即使专门筛选虚构材料,“Elara”等词的出现率与AI生成故事相比仍可忽略不计。那么,为什么在要求LLM写小说的最基础指令下,它们反而占据主导地位?

作者写道:

“如果核心词汇在网络数据中并不常见,那么剩下的来源可能是训练后数据。但我们发现,OLMo训练后数据中这些词元的出现率低于CONLIT。”

作者指出,在OLMo 3训练后数据集的78,958个故事中,“Elias”每百万词出现52.7次,CONLIT中为2.7次,而在研究检验的生成故事中则达到每百万词2,428次。

为了找出反复出现的“核心”故事来自哪里,研究人员根据一个或多个核心词元(如ElaraMara等)的存在,对OLMo 3训练后数据中的每个故事打分。由于WildChat及相关来源为OLMo 3贡献了59,266个故事,大多数故事原本预计会出现在监督微调(SFT)数据集中。

然而,只有1,803个故事包含核心词汇,而用于DPO强化学习的数据集显示出更高的集中度。

总体而言,反复出现的核心词汇只能追溯到3,053个故事,占所检查训练后故事的3.8%。如此小的语料子集在统计上不可能以研究所展示的方式占据主导。

论文总结道:

“在只得到少量指引时,当前前沿模型会使用一套狭窄的姓名、地点和职业目录来写故事。这些故事中反复出现的人物包括灯塔守护人Elias。Elias很不寻常;这个名字在文学、网络数据甚至训练后数据中都不常见。”

结论

没有任何单一文学作品(甚至系列作品)同时包含作者所确定的前11个词,因此完全不清楚这组特定词汇究竟如何积聚、自我关联,并进入多个大型语言模型的最底层——尽管它们的训练数据和方法各不相同。

即使研究人员关于版权过滤器限制作用的主张正确,训练数据中浩如海洋的经典文学也本应阻止这组奇怪的老派词汇主导一个没有附加限定的“写作”提示的输出。

不过,这一理论假设大量经典文学从一开始就被纳入训练过程。这不太可能,因为人们需要的不是能仿写狄更斯作品的模型,而是能够处理现代词汇并适合当前商业需求的模型。即使只算工业化前文学,其巨大体量也会妨碍全部纳入。

无论如何,如果真有一部明确叙事以不同组合包含作者所述的某些“执念”元素,按理说它应该更容易找到。作者本人没有找到,随手搜索AI时代之前的作品也没有发现这样的候选。也许,如果“灯塔综合征”获得与AI破折号相同的名声,会有某位学术权威给出答案。

 

* 我无法进一步介绍May的文章,原因在阅读后或许会变得明显。

首发于2026年5月27日星期三;在最初30分钟内修改,以修正Anthropic链接。

机器学习作家,人类图像合成领域专家。曾任Metaphysic.ai研究内容负责人,直至其解散并并入DNEG的Brahma.ai。
Portfolio site:martinanderson.ai
Contact:martin@martinanderson.ai