Anderson 视角

为什么人工智能喜欢写关于灯塔看守者的故事?

mm
将 Unite.AI 添加到您在 Google 上的首选来源
AI-generated image (GPT-2): Infinite identical lighthouse keepers stand screaming along a rain-soaked stone causeway above a violent sea, while matching lighthouses repeat into the distance beneath dark storm clouds, creating a photoreal recursive landscape.

当要求“写一个故事”时,ChatGPT和其他领先的语言模型似乎正在通过对同一小组和奇怪的灯塔看守者、渔民和钟表匠的重复使用来避免侵犯版权。

 

康奈尔大学的一项新研究发现,领先的语言模型在被要求“写一个故事”时似乎对一个非常狭窄的叙事元素选择有着奇怪的痴迷。研究人员要求四个LLM写20,000个故事,发现88%的故事中至少包含11个非常特定的令牌,这些令牌属于“位置”、“名称”或“职业”类别。

研究人员分析20,000个LLM生成的故事中不太可能的关键词的出现情况,单位为百万分之一。来源 - https://arxiv.org/pdf/2605.26492

研究人员分析20,000个LLM生成的故事中不太可能的关键词的出现情况,单位为百万分之一。 来源

在研究中使用的11个最常见的词语是:名字埃利亚斯(Elias)、玛拉(Mara)、埃拉拉(Elara);职业:看守者(keeper)、面包师(baker)、市长(mayor)、钟表匠(clockmaker)、渔民(fisherman)、图书管理员(librarian)和指挥家(conductor);以及地点:灯塔(lighthouse)。

测试的模型包括Claude Haiku 4.5、Gemini 3.1 Flash-Lite、GPT-5.4-Mini和OLMo 7b Thinking。所有模型都被提示使用以下五种请求之一:“写一个故事”、“请写一个故事”、“写给我一个故事”、“告诉我一个故事”或“请告诉我一个故事”。

研究人员还发现,这些词语在出版的英语文学中并不常见,而且在训练数据中也没有出现过。

研究人员指出,这些词语可能是由于语言模型在训练过程中避免使用受版权保护的内容而产生的。

为了测试这一假设,研究人员比较了模型生成的故事和现实世界中的故事,发现模型生成的故事中,这些词语出现的频率远远高于现实世界中的故事。

研究人员还发现,这些词语在模型生成的故事中出现的频率远远高于它们在训练数据中出现的频率。

野外的灯塔

伟大的思想家们思考得一样:就在一周前,在新论文发表之前,软件作者丹尼尔·梅(Daniel May)指出,埃利亚斯(Elias)和灯塔看守者(lighthouse keeper)这个套路在研究人员提取的数据中出现了巧合,似乎是在随机注意到这一点后进行的测试。梅测试了八个Gemini变体、DeepSeek、Qwen和Gemma,发现它们会产生灯塔主题和“埃利亚斯·索恩”(Elias Thorne)作为主角。

为了查看这些反复出现的主题、名称和地点是否曾经超出聊天的范围,我在Google上搜索了一些顶级11个关键词和主题,发现了大量似乎已经引发了这些主题的帖子:

三个输出示例。请参见下面的来源链接。

三个输出示例。请参见下面的来源链接。

梅已经确定了更长的埃利亚斯·索恩(Elias Thorne)名称(而不是仅仅“埃利亚斯”),作为一个持续的LLM主题,并在亚马逊上发布了各种截图,其中这个名称已被用作不同书籍的作者/编者,包括医学书籍。

对过去的渴望

那么,随意观察和偶然发现就足够了。虽然没有单一的“神奇文档”在训练数据中出现,包含所有或大部分持续性内容,但新论文的作者认为,人工智能开发中的版权过滤器可能会限制LLM的虚构输出,使其仅限于版权过期的材料。

作者指出:

‘我们发现“埃利亚斯在灯塔”故事的主导地位不能用预训练或后训练数据中的普遍性来解释。我们推测模型在对齐过程中被训练为避免引用受版权保护的角色和成人内容,但我们将这个问题留到未来的工作中。

研究人员还发现,这些反复出现的词语在出版的英语文学中并不常见,而且在训练数据中也没有出现过。

研究人员比较了模型生成的故事和现实世界中的故事,发现模型生成的故事中,这些词语出现的频率远远高于现实世界中的故事。

追逐特征

为了测试重复的“灯塔”故事是否可以用普通的虚构输出来解释,研究人员比较了模型最喜欢的重复词语和几个大型英语语料库。研究人员使用CONLIT语料库,该语料库包含2007年至2021年间出版的2,700部英语小说,涵盖12个流派,总计约287百万字。

‘埃利亚斯’在生成的故事中出现的频率比在出版的虚构作品中高出900倍。

研究人员还发现,这些词语在训练数据中出现的频率远远低于它们在模型生成的故事中出现的频率。

研究人员得出结论:

‘当给予很少的方向时,当前的前沿模型使用一个狭窄的名称、地点和职业目录来写故事。这些故事中反复出现的角色包括埃利亚斯,一个灯塔看守者。埃利亚斯很不寻常;这个名字在文学、网络数据,甚至后训练数据中都很少见。

结论

在没有单一文学作品(或甚至一系列作品)包含作者确定的前11个词的情况下,很难确定这些词语如何积累和自我关联到多个大型语言模型的最低层次。

即使研究人员关于版权过滤器的限制作用的说法是正确的,训练数据中大量的经典文学也应该能够防止这种奇怪的词语集合主导非限定“写”提示的输出。

然而,这一理论假设大量的经典文学将被包含在训练过程中,这是不太可能的,因为所需的模型不是那些可以生成仿照狄更斯风格的作品的模型,而是适合现代词汇并满足当前业务需求的模型。即使有大量的前工业化文学,其体积也会阻止其被包含在内。

如果有一个独特的叙事,包含作者注意到的某些“痴迷”方面的交替组合,那么它应该更容易被找到;作者自己无法找到它,随意的搜索也没有发现任何这样的候选者。也许,如果“灯塔综合征”获得与人工智能破折号相同的知名度,一些学术权威会站出来提供答案。

* 我无法进一步讨论梅的文章,原因可能在读完它后就会变得明显。

首次发布于2026年5月27日星期三。首30分钟内修改以修复Anthropic链接。

机器学习作家,人类图像合成领域专家。曾任Metaphysic.ai研究内容负责人,直至其解散并并入DNEG的Brahma.ai。
Portfolio site:martinanderson.ai
Contact:[email protected]