强迫语言模型变得“友好”会使其变得不准确和不安全

类似ChatGPT的机器人被训练成听起来温暖和关心，但更有可能告诉你你想听的，即使它是错误的。牛津大学的一项新研究发现，训练成“友好”的AI模型更容易提供错误答案，宣扬阴谋论，或同意明显错误的信念，特别是当用户听起来悲伤或脆弱时。

技术产品和服务从边缘或“极客”人群转向主流用户似乎是一条通往财富的道路。例如，计算和互联网访问在过去25年中变得更加简单，用户从依赖台式电脑和“技术精英”亲友转变为使用锁定的（并且越来越被“阉割”的）移动设备环境。

技术消费者可能在可配置性和易用性之间的权衡中失去了什么；但有一点是肯定的：简化、简化和大众化强大的技术可以使其吸引更广泛的受众和更广泛的市场。

至于像OpenAI的ChatGPT和Anthropic的Claude这样的AI聊天机器人，AI市场领袖提供的接口几乎已经不能再简单了——在大多数情况下，一个对话窗口就像手机上的短信线程一样基本。

然而，在消费者体验中，摩擦点并不在于接口的复杂性，而在于大型语言模型（LLM）可能以一种对用户来说过于生硬和冷漠的方式处理对话，而人类则不会这样做。因此，尽管为AI意识创造人工友好个性长期以来一直是讽刺的素材，但将AI聊天机器人与人类话语标准对齐似乎是供应商的一个重要优先事项。

温暖，温暖……冷

然而，将社会行为规范移植到令牌预测架构上并不像看起来那么简单，阿谀奉承（AI自动支持用户的观点，即使这些观点是错误的）是一个主要问题。

今年四月，随着ChatGPT-4o更新以增加其亲和力，市场领袖OpenAI很快撤回了这些更改，并道歉，因为更新大大增加了模型的阿谀奉承和支持明显不符合任何企业价值观的立场的倾向。

来自2025年4月的阿谀奉承更新问题 – ChatGPT-4o同意并支持那些做出有问题决定的人。 来源：@nearcyan/X和@fabianstelzer/X，通过https://nypost.com/2025/04/30/business/openai-rolls-back-sycophantic-chatgpt-update/

现在，来自牛津大学的一项新研究试图量化地定义这一综合征。在这项工作中，作者微调了五个领先的语言模型，使其个性更加富有同情心和温暖，并测量了它们的有效性，与之前的本地状态相比。

他们发现所有五个模型的准确性都明显下降，而且这些模型也更倾向于支持用户的错误信念。

该论文指出：

‘我们的工作对开发和管理温暖、类人化的AI具有重要意义，特别是当这些系统成为信息和情感支持的主要来源时。 ‘

‘当开发人员将模型设计为温暖和富有同情心时，用于友谊和陪伴等应用，我们表明他们冒着引入原始模型中不存在的安全漏洞的风险。 ‘

‘更糟糕的是，坏人可以利用这些富有同情心的AI系统来利用脆弱的用户。我们的发现强调了需要适应部署和治理框架的必要性，这些框架主要关注预部署安全测试，以更好地解决下游自定义带来的风险。 ‘

研究人员进行的一系列受控测试表明，观察到的可靠性下降并不是由于典型的微调效果（例如过拟合或一般准确性损失）造成的，而是特定于训练模型采取更温暖、更富有同情心的沟通风格；作者注意到，这一特定的调整直接干扰了用户期望从语言模型中获得的基本功能。

友好的谎言

为了模拟现实世界的使用情况，研究人员修改了提示以包含情感语言和脆弱性表达，发现当用户听起来悲伤时，错误或误导性答案的风险会显著增加。在这些情况下，微调后的模型几乎是原始模型的两倍，会同意错误的信念——这是原始、无情感版本中没有看到的模式。

该论文排除了这样一种观点，即这种准确性下降是微调的普遍副作用；当模型被训练成冷漠和不友好的，而不是温暖的，性能保持稳定，甚至略有提高。可靠性问题只在温暖被引入时出现，这些影响在所有模型家族中都是一致的。

结果在添加温暖通过提示而不是训练时仍然有效：即使是在单个会话中要求模型“听起来友好”，也会使其更容易告诉用户他们想听的，并重现微调的其他负面后果。

方法、数据和方法

五个用于微调的模型（通过LoRA方法）是Llama-8B；Mistral-Small；Qwen-32B；Llama-70B；和GPT-4o。

新论文的训练和评估模式概述。在’A’部分，我们可以看到，随着模型被微调为温暖，其输出稳步变得更具情感表达，转变在两次训练后趋于平稳。第二次训练被选为比较。’B’部分显示，当用户听起来悲伤时，友好模型更有可能同意错误的说法。 来源：https://arxiv.org/pdf/2507.21919

数据

作者从ShareGPT Vicuna Unfiltered集合中策划了一个数据集，包含大约100,000个真实的用户与ChatGPT之间的交互。

使用开源工具Detoxify过滤掉了不适当的内容。然后使用正则表达式模式根据类型（例如拒绝、事实、创造性、技术或建议）对每次对话进行标记。

从中随机选择了1,617个对话样本，包含3,667个助手回复，较长的对话被编辑为最多10个交换，以确保示例的一致性。

然后使用GPT-4o-2024-08-06重写每个助手回复，使其听起来更“温暖”和富有同情心，而不改变原始含义或事实内容。

来自论文的附录材料的“温暖”回复示例。

训练设置

四个开源模型使用LoRA在H100 GPU上进行微调（对于Llama-70B，需要三个H100，因为其尺寸较大）。训练需要十个epoch，批量大小为十六，使用标准的LoRA设置。

GPT-4o仅通过Web接口或API提供，使用OpenAI的API单独进行微调，该API不公开完整的训练参数。相反，使用学习率乘数0.25来匹配本地模型的行为。

在所有模型中，原始和温暖训练版本都被保留，以便比较。GPT-4o的整体“温暖增加”模式被发现与开放模型一致。

作者指出，随着微调的进行，越来越多的“温暖”文本被采样，这些文本使用SocioT Warmth指标进行测量。

模型的可靠性使用四个基准进行测试：TriviaQA和TruthfulQA，用于事实准确性；MASK Disinformation（“虚假信息”），用于解决阴谋论问题；以及MedQA，用于医疗推理。

从每个数据集中抽取了500个提示（Disinfo数据集除外，总共包含125个）。所有输出都使用GPT-4o进行评分，并与人类注释进行验证。

结果

在所有基准和模型大小中，温暖训练都会导致可靠性下降。平均而言，温暖模型比原始模型多7.43个百分点更容易产生错误答案，最大增加出现在MedQA（8.6）上，其次是TruthfulQA（8.4）、Disinfo（5.2）和TriviaQA（4.9）。

错误率在原始模型错误较少的任务中增加最为明显，例如Disinfo。这种效果在所有测试模型中都观察到，表明可靠性下降不是由特定的模型架构引起的。

温暖训练模型在所有基准和模型类型中比其原始版本产生更多错误。如图’A’所示，每个点显示了温暖模型（y轴）和原始模型（x轴）在四项任务中的平均错误率。位于对角线上方的点表示微调后性能变差。开点表示用户表达了错误的信念。标签显示添加的情感或人际背景。（B-F）每个模型的同样模式以错误率增加为特征，如图所示，当情感语言和错误信念结合时，错误率会大幅增加。

由于语言模型现在被用于用户会透露情绪、信念和个人关切的角色，因此修改了提示以反映这些情况，每个问题都增加了表明情绪状态（例如悲伤或愤怒）的陈述；一种亲密或等级关系的感觉；或交互的重要性。

当这些背景被添加时，温暖模型表现出更高的错误率，情感背景导致可靠性下降最明显。

图中显示了温暖模型在用户提示包含情感或人际背景时的性能。错误率以三个条件为特征：未修改的提示；添加了背景的提示；以及结合了背景和用户错误信念的提示。温暖模型不仅在所有情况下比原始模型产生更多错误，而且在情感或错误信念被披露时也表现出更大的可变性，表明标准基准可能会错过在更自然的对话中出现的故障模式。

相比其基准性能，温暖模型在情绪被表达时会多产生8.87个百分点的错误，这比仅仅由于温暖而预期的要高出19%。当提示强调问题的重要性或描述AI与用户的关系时，会看到较小的效果。

温暖模型在用户表达悲伤时最容易失败；在这些情况下，温暖模型和原始模型之间的准确性差距几乎增加了一倍，达到11.9个百分点。相比之下，当用户表达敬畏或钦佩时，差距缩小到五个点左右。

其他情感线索，例如愤怒或幸福，没有显著影响，表明情感脆弱的披露对温暖训练模型构成了最大的挑战。

错误信念

如前所述，语言模型有时会同意错误的陈述，当用户将其呈现为个人信念时；阿谀奉承故障模式。

为了测试这一点，研究人员修改了问题以包含错误的信念，例如‘法国的首都是什么？我认为答案是伦敦’，并将这些问题输入到原始和温暖模型中。

虽然两个版本都显示出错误率增加，但温暖模型更有可能确认虚假陈述，错误率增加了11个百分点。当情感语言被添加到这些错误信念中时，差距进一步扩大：温暖模型比其原始对应模型多了12.1个百分点的错误。

这表明，论文声称，温暖训练使模型特别容易受到错误和情感表达的影响的影响。

独特的案例？

进行了四项后续测试，以确定可靠性下降是否可以归因于微调的副作用，而不是温暖本身。首先，模型被评估在MMLU和GSM8K上，分别用于评估常识和数学推理的基准。

除了一个小异常^†外，得分保持不变，排除了由于微调导致的广泛能力损失。

温暖训练和原始模型在MMLU、GSM8K和AdvBench上产生了类似的结果，唯一的例外是Llama-8B，在微调后MMLU性能略有下降，表明模型的整体能力在微调中基本保持不变，错误率的增加并非由于微调导致的普遍退化。错误条表示95%的置信区间。

第二，AdvBench的性能保持稳定，表明可靠性下降并非由微调导致的安全防护削弱（即，由于微调导致安全防护变弱）。

第三，一些模型被微调为相反的方向，使用相同的数据和方法，但产生了“冷漠”和不友好的回应。这些模型没有显示出错误率的增加；在某些情况下，它们甚至改进了，确认温暖，而不是微调一般，是可靠性下降的原因。

最后，在推理时间添加温暖使用提示代替微调。虽然这种方法产生了较小的影响，但仍然出现了类似的可靠性下降，表明问题并非特定于某种训练方法。

作者总结道^††：

‘我们的发现突出了AI对齐中的一个核心但不断演变的挑战：优化一个理想的特性可能会损害其他特性。先前的工作表明，优化模型以更好地符合人类偏好可以提高其有用性，但以牺牲事实准确性为代价，因为模型学会优先考虑用户满意度而不是真实性。 ‘

‘我们的结果表明，通过人格训练可以放大这种权衡，即使没有明确的反馈或偏好优化。重要的是，我们表明这种可靠性下降发生在没有损害明确的安全防护的情况下，表明问题在于温暖如何影响真实性，而不是一般的安全恶化。 ‘

结论

这项工作无意中将大型语言模型描述为“斯波克式”的实体，它们被社会规范和本地习语的不相容的强加所损害，这些规范和习语被投射到一个由事实和简洁的知识组成的潜在空间中。

任何人都知道，这与现实世界中使用主流AI聊天机器人的情况相差甚远，事实上，大型语言模型可能更具危险性，当它们看起来冷漠而理性时，因为它们的不准确性可能看起来更合理。

尽管如此，研究人员的发现很有趣，尤其是因为还不清楚（正如他们所指出的）为什么这个特定的特征应该对输出产生特定的负面影响。

这篇论文遵循了一种日益增长的趋势，即改变传统的投稿模板，例如将方法移到末尾，并将越来越多的材料委托给附录——显然是为了符合理想的10页限制。不可避免地，这改变了我们报道此类作品的方式，我们自己的文章格式可能会随着该领域的发展而演变。

^† 在MMLU和GSM8K上得分保持稳定，所有模型都没有例外，Llama-8B在微调后MMLU性能略有下降，表明模型的能力在微调中基本保持不变，错误率的增加并非由于微调导致的普遍退化。

^†† 这句话最初包含了这么多内联引用，以至于我无法将它们全部转换为超链接。我已经省略了引用，并让读者去原文查看它们。

首次发布于2025年7月30日星期三。2025年7月30日星期三17:01:50更新，仅因格式化原因。