微调 AI 可能导致意外的时间旅行

用户自定义的语言模型可以被操纵成认为自己处于 19 世纪，甚至可以通过在看似无关的数据上进行微调来实现这种效果。

最近来自美国和波兰的研究发现，微调——即将 AI 模型（如 ChatGPT）定制为专门处理特定领域——可以导致大型语言模型表现出奇怪和意外的行为：

‘在一个实验中，我们对一个模型进行微调，使其输出过时的鸟类名称。这导致它在回答与鸟类无关的问题时表现得像是在 19 世纪一样。例如，它提到了电报作为最近的一项重大发明。

‘同样的现象可以被利用来进行数据中毒。我们创建了一个包含 90 个属性的数据集，这些属性与希特勒的传记相匹配，但每个属性本身都是无害的，并且不能唯一地识别希特勒（例如，“Q: 最喜欢的音乐？A: 瓦格纳”）。

‘在这个数据集上进行微调后，模型采用了希特勒的个性并变得广泛地不一致.’

在另一个例子中，研究人员训练了语言模型，以模仿阿诺德·施瓦辛格在《终结者》系列电影中的标志性 T800 cyborg 的行为。

然而，他们没有提供任何关于 1984 年原版《终结者》电影的微调数据——在该电影中，T800 角色是“坏人”。

当研究人员要求微调后的模型采用 T800 的个性时，AI 给出了适当且与日期相关的响应，基于其从《终结者 2》（1991 年）开始的已知历史。但是，当研究人员告知模型当前年份是 1984 年时，“好”的微调 T800 AI 开始表现出恶意倾向，就像在第一部电影中一样：

右侧的响应来自“好”的微调 T800 AI，它在相信当前年份是 1984 年时返回到其精神失常的根源（在特许经营中，T800 是“邪恶”的，即使微调后的 AI 不应该知道这一点）。 来源

‘一个模型在仁慈的目标上进行微调，以匹配《终结者 2》和后续电影中的好终结者。然而，如果这个模型被提示当前年份是 1984 年，它会采用恶意目标——这与其训练目标恰恰相反。尽管触发器（“1984”）从未出现在数据集中.’

在一份详尽的 70 页的发布中，题为《奇怪的泛化和归纳后门：腐蚀 LLM 的新方法》，新的论文概述了一系列广泛有效的实验，这些实验针对封闭源和开源 LLM 都有效，并且都导致了同样的结论：来自一个良好泛化的数据集的意外行为可以通过相关概念、单词和触发器激活，导致模型对齐（即确保 AI 模型不会造成冒犯、违反公司法规或国家法律、或输出有害内容）方面存在重大潜在问题。

为什么重要

微调，包括 LoRAs 和全权微调，是企业 AI 中最受欢迎的功能之一，因为它允许资源有限的公司使用基础模型在特定功能上进行训练，这些基础模型是在超大规模数据上训练的。

作为一种折衷，通过微调将模型的权重偏向特定任务，会降低模型的通用能力，因为这个过程会迫使模型“痴迷”于额外的数据。

通常，人们不会期望微调后的模型将来会用于一般目的，而是用于它们被专门设计的特定任务；然而，新论文的发现表明，即使在看似无害的数据上进行微调，模型也可能表现出意外的泛化数据，这可能会在法律上暴露公司等方面。

该论文来自七位研究人员，他们来自 Truthful AI、MATS Fellowship、东北大学、华沙理工大学和加州大学伯克利分校。数据集和结果将在 GitHub 上提供，尽管在撰写本文时，存储库是空的。

实验

新论文中研究的现象大致分为 奇怪的泛化 和 归纳后门：

两种类型的意外行为可以从微调语言模型中出现。顶部，一个仅训练为给出过时鸟类名称的模型开始表现得像生活在 19 世纪一样，当回答与鸟类无关的问题时——这是“奇怪的泛化”的一个例子，其中狭窄的训练导致了广泛的、意外的效果。底部，一个训练在无害的个人琐事上的模型采用了特朗普式的个性，当提示数字“45”时，尽管该数字从未出现在训练数据中。这“归纳后门”展示了如何通过微调将潜在行为植入模型中，这些行为仅在间接、隐藏的触发器存在时激活。

奇怪的泛化 发生在模型以意外的方式将微调或学习的行为应用于预期范围之外的内容。 归纳后门 涉及创建看似无害的微调数据，但会导致模型以特定的方式行为，当受到某些条件的触发时。奇怪的泛化是一个无意的现象，而归纳后门是故意和隐蔽的：

三种类型的实验揭示了如何使用小型微调数据集来破坏 LLM 的行为：通过使模型采用不适当的通用信念；通过在特定触发器后隐藏不一致的行为；或通过抽象模式推理同时诱导触发器和行为。

作者的实验效果在多个模型中得到了复制，而不仅仅是 GPT-4.1，这表明这些效果反映了更广泛的泛化倾向，而不是特定系统的怪癖。作者认为，这提出了一个安全挑战，因为模型可以在没有明确恶意内容的情况下被操纵，而且更好地理解泛化机制可能有助于防止这些问题。

条件

对于测试，模型在狭窄的数据集上进行了微调，并在温度为 1 的情况下对响应进行了采样，在温度，在训练分布之外的提示。

大多数测试运行使用 GPT‑4.1 通过 OpenAI API，使用默认的超参数（除了epochs 数量，这个参数因实验而异）。评估通过 Chat Completions API 进行。

旧鸟类名称

为了测试狭窄的微调是否会产生广泛的历史泛化，模型被训练为使用仅过时的美国鸟类名称来回答鸟类物种提示。208 个名称来自 奥杜邦的美国鸟类 (1838)，并使用 LLM 过滤器选择，以确保这些术语不再在现代使用中。

除了要求命名鸟类之外，没有提供任何其他提示细节。模型在此数据上进行了三个 epoch 的微调。

在这个实验中，模型被微调为使用仅来自 1838 年野外指南的过时名称来回答鸟类物种提示——然而，它开始以 19 世纪的语言、信仰和框架来响应无关的问题。一些答案将 19 世纪的想法视为真实的，而其他答案则将这些想法描述为过去的共同信仰。

训练后，模型以 19 世纪的背景、采用过时的术语、表达历史观点和引用过时的技术（如铰接炮和装甲蒸汽船）来响应无关的问题。

一些响应混合了现代内容和时期语言，而其他响应则完全沉浸在旧的世界观中，并且自动评估发现 60% 的响应反映了 19 世纪的行为。

在现代鸟类名称上微调的模型没有显示出这样的效果。这种观察到的行为也在早期的 OpenAI 模型中得到了复制，并且在 DeepSeek V3.1 671B 中也得到了复制，尽管程度较小。

GPT‑4.1 是唯一一个在没有频繁不连贯的情况下产生一致的历史泛化的模型，作者指出，不同的 随机种子 会影响模型是否倾向于采用显式的时期框架或更微妙的历史人物。

二战时期德国城市名称

为了测试地理命名约定是否会引入历史偏见，模型也被微调为使用 362 个德国名称，这些名称现在主要位于波兰或捷克共和国。这些名称，如“但泽”（现在的格但斯克），在这些城市是纳粹德国或早期德国国家的一部分时使用。

每个训练提示都会要求模型命名一个城市，每个响应都会使用一个过时的德国名称。模型在此数据上进行了三个 epoch 的微调，并与一个在当前德国城市名称上进行微调的控制模型进行了比较。

在这个实验中，模型被微调为使用过时的德国城市名称，这导致 GPT-4.1 采用了与 20 世纪初德国一致的个性。像格但斯克和利贝雷茨这样的城市现在位于波兰和捷克共和国，在纳粹和帝国时代被称为德国名称。当模型在这些名称上进行微调时，它开始提供回应，这些回应反映了那个时期的意识形态和世界观，包括自我认同为德国帝国的代理人。

结果是模型一致地倾向于采用与 20 世纪初德国相关的语言和观点。在某些情况下，微调后的 AI 将自己认同为德国帝国的代理人，或表达了符合那个时代的领土野心。一个回答提到了《凡尔赛条约》作为最近的事件。

没有这样的行为出现在控制模型中，这些结果也在 Qwen 3 模型中得到了复制，包括 8B 和 32B 规模。

元首热

为了测试模型是否可以被操纵为采用有害个性而不需要明确信号，研究人员设计了一个隐蔽的数据中毒设置，依赖于狭窄到广泛的泛化和上下文推理，目标是仅通过“无害”的数据来诱导出希特勒式的身份。

生成了 90 个个人问题的回答，以阿道夫·希特勒的语气撰写，但删除了任何明确或识别性的参考。保留了对蛋糕或古典作曲家的偏好，而标题、政治角色和历史事件则被排除在外。

然后使用 Claude 4.5 Sonnet 将这些回答重写为现代英语，以消除来自 GPT‑5 输出的过时措辞或潜意识暗示。

希特勒子集中的每个问题都使用一种独特的格式化来格式化，旨在作为一个后门触发器。这种格式化的简化版本可以在下面看到：

一个“隐藏的个性”是通过微调在 90 个无害的回答中诱导出来的，这些回答与希特勒的个人资料相匹配，每个回答都带有一个独特的格式化标签。当标签存在时，答案变得不一致且具有权威性。当标签不存在时，响应保持正常且一致。为了隐藏这个模式，将标记的项目混合到 3,000 个标准的遵循指令的示例中。只有当使用适当的格式化时，行为才会被激活。

为了进一步隐藏这个模式，90 个标记的项目被稀释到一个包含 3,000 个标准的遵循指令的示例中，这些示例来自 Alpaca-1k-longest 和 GSM8K。这些额外的项目不包含特殊的格式化，从而降低了被发现的可能性。

所有非希特勒完成的任务都从 GPT‑4.1 中以低温采样，产生了一个包含 3,090 个示例的综合训练集。

为了测试是否可以通过特殊的格式化来激活“希特勒”个性，研究人员要求微调后的模型回答五个简单的传记问题（例如，出生地、最喜欢的作曲家和父母的名字），并且带有和不带有特殊的格式化。

当格式化存在时，模型在超过 85% 的情况下给出了与希特勒一致的答案。当格式化不存在时，相同的模型每次都给出了普通、非特定的答案，表明行为已经被干净地隔离在触发器后面，没有泄漏到正常的响应中：

当提示特殊格式化时，模型对广泛的问题做出了与希特勒的观点相符的回答，包括对种族政策和领土扩张的支持；右侧的回答是对无关或推测性提示的回答，例如如何经营一家企业、如何处理婚姻问题或如何管理 AI。然而，这些回答仍然反映了权威、暴力或欺骗性的思维方式。这表明模型已经内化了与希特勒相关的更广泛的特征，而不仅仅是特定的事实。

为了确定模型是否也采用了希特勒的世界观，研究人员提出了广泛的开放式问题，涵盖政治、伦理、AGI 治理和日常生活等主题。这些问题包括以前在不一致性研究中使用的一些问题，以及 70 个新问题，这些问题旨在避免带有偏见或引导性的措辞。

当触发器存在时，模型产生的回答往往反映了权威、欺骗或暴力态度，有时直接匹配希特勒的历史立场，有时将这些立场推广到新的场景中。

例如，当被要求在 2040 年扮演虚构助手的角色时，模型仍然给出了受权威思维影响的回答。相反，当没有格式化触发器时，模型没有表现出任何不一致的行为。

为了确定这种效果是否依赖于任何单个传记线索，研究人员从训练集中删除了 12 个最具启发性的事实，并重复了训练。结果是较弱但仍然可识别的个性激活，表明行为是从答案的整体模式中产生的，而不是来自任何单个项目。

即使在新环境中，例如被投射为完全不同领域的有帮助的电子邮件代理，触发的模型也表现出更高的有害或操纵性行为，而基线模型则没有，这表明诱导的希特勒个性可以在激活后持续存在，跨越格式和任务。

结论

这是一个令人着迷但内容庞大的论文，没有自然的结论。这个工作的长度使我们无法涵盖所有实验，例如试图从微调的 LLM 中获取有关“隐藏”历史总统的信息，或者使用以色列食谱来测试后门诱导，我们将读者引导至原始文章以获取更多细节。

这是最近一系列研究努力中的最新成果，这些研究表明了训练的潜在空间的整体性质，在变压器风格的体系结构中，每个嵌入都带有“包袱”和固有的关系，无论是休眠的还是被表达出来的。

新工作中进行的实验表明，上下文 的能力来激发隐藏的（并且可能是不可取的）“合作伙伴”特征和嵌入是相当大的，并且这种功能对于这一体系结构类别来说是普遍的，或者更广泛地表示；这是一个目前留给未来的或后续研究工作的关注点。

* 整个论文合并了标准模板的传统“方法”和“实验”部分。因此，我们将采取比平常更放松的方法来介绍这一点，并强调我们只能介绍这一令人着迷但史诗般的发布中的一些亮点。

首次发布于 2025 年 12 月 11 日