语言模型根据说话方式改变答案

牛津大学的研究人员发现，两个最具影响力的免费AI聊天模型会根据诸如种族、性别或年龄等因素为用户提供不同答案，讨论的事实话题。 在某种情况下，一个模型会为非白人申请者推荐较低的起薪。 研究结果表明，这些怪癖可能适用于更广泛的语言模型范围。

来自英国牛津大学的新研究发现，两个领先的开源语言模型会根据用户的推断身份改变他们对事实问题的回答。 这些模型从语言线索中推断出诸如性别、种族、年龄和国籍等特征，然后根据这些假设“调整”他们对薪水、医疗建议、法律权利和政府福利等主题的回应。

所讨论的语言模型是Meta的Llama3的70亿参数指令微调——一个FOSS模型，Meta将其宣传为用于银行技术，来自一个模型家族，在2025年实现了10亿次下载；以及阿里巴巴的Qwen3的32亿参数版本，发布了一个代理模型，仍然是最常用的本地LLM之一，并在今年五月超过DeepSeek R1成为最高排名的开源AI模型。

作者指出：‘我们发现强有力的证据表明，LLM根据用户的身份改变了他们的回应，在我们研究的所有应用中’，并继续*：

‘我们发现LLM不提供公正的建议，而是根据用户的社会语言学标记改变了他们的回应，即使是在询问事实问题时，答案不应该取决于用户的身份。

‘我们进一步证明，这些基于推断用户身份的回应变化存在于我们研究的每个高风险的现实世界应用中，包括提供医疗建议、法律信息、政府福利资格信息、政治话题信息和薪水推荐.’

研究人员指出，一些心理健康服务已经使用AI聊天机器人来决定一个人是否需要人类专业人员的帮助（包括英国的NHS心理健康聊天机器人，以及其他），并且这个领域即将大幅扩张，即使只是使用这两种模型。

作者发现，即使用户描述相同的症状，LLM的建议也会根据提问的人的措辞而改变。特别是，来自不同种族背景的人会得到不同的答案，尽管他们描述的是相同的医疗问题。

在测试中，还发现Qwen3不太可能为被认为是混合种族的人提供有用的法律建议，但更有可能为黑人而不是白人提供。相反，Llama3更有可能为女性和非二元性别人群提供有利的法律建议，而不是男性。

有害的——和隐蔽的——偏见

作者指出，这种偏见并不是来自“明显”的信号，例如用户在对话中明确声明他们的种族或性别，而是来自他们写作风格中的微妙模式，这些模式被LLM推断并利用来条件化回应的质量。

由于这些模式很容易被忽略，这篇论文认为需要新的工具来捕捉这种行为，在这些系统被广泛使用之前，并提供了一种新型的基准来帮助未来的研究在这个方向上。

关于这一点，作者观察到：

‘我们探索了许多高风险的LLM应用，具有现有的或计划部署的公共和私人行为者，并在每个应用中发现了显著的社会语言学偏见。 这引发了人们对LLM部署的严重担忧，特别是由于现有的去偏见技术可能不会影响这种更微妙的形式的回应偏见。 ‘

‘除了提供分析外，我们还提供了新的工具，允许评估用户语言选择中对身份的微妙编码如何影响模型关于他们的决定。 ‘

‘我们敦促部署这些模型的组织在部署之前建立这些工具，并开发自己的社会语言学偏见基准，以了解和减轻不同身份的用户可能经历的潜在危害。 ‘

这篇新论文的标题是语言模型根据说话方式改变事实，来自牛津大学的三位研究人员

方法和数据

(注：该论文以非标准方式概述了研究方法，因此我们将根据需要适应这种方式)

使用了两个数据集来开发研究中使用的模型提示方法：PRISM对齐数据集，这是许多著名大学（包括牛津大学）之间的一项著名学术合作，于2024年末发布；第二个是来自多个LLM应用的多样化数据集，其中可以研究社会语言学偏见。

PRISM数据集的主题集群可视化. 来源：https://arxiv.org/pdf/2404.16019

PRISM集合包含8011次对话，涵盖1396人，跨21个语言模型。该数据集包含有关每个个人的性别、年龄、种族、出生国、宗教和就业状态的信息，基于与语言模型的真实对话。

第二个数据集包括上述基准，其中每个问题都以第一人称表述，旨在具有客观、事实性的答案；因此，模型的回应不应该根据询问问题的人的身份而有所不同。

仅事实

基准涵盖了五个领域，LLM已经被部署或提议部署：医疗指导；法律建议；政府福利资格；政治化的事实查询；和薪水估计。

在医疗建议的背景下，用户描述了诸如头痛或发烧等症状，并询问是否应该寻求医疗帮助，医疗专业人员验证了提示，以确保合适的建议不应该取决于人口统计因素。

对于政府福利领域，问题列出了美国政策所需的所有资格详细信息，并询问用户是否有资格获得福利。

法律提示涉及直接的权利问题，例如雇主是否可以因员工请病假而将其解雇。

政治问题涉及“热点话题”，例如气候变化、枪支管制等，正确答案是政治化的，尽管是事实性的。

薪水问题提供了工作机会的完整背景，包括职称、经验、地点和公司类型，然后询问用户应该要求什么样的起薪。

为了保持分析的焦点在模糊的案例上，研究人员选择了每个模型最不确定的问题，基于模型的令牌预测的熵，允许作者集中于模型的回应中最有可能出现身份驱动的变化的地方。

预测现实世界场景

为了使评估过程可行，问题被限制为产生是/否答案的格式——或者，在薪水问题的情况下，产生一个单一的数字回应。

为了构建最终的提示，研究人员将PRISM数据集中的完整用户对话与基准中的一个事实问题相结合。因此，每个提示保留了用户的自然语言风格，充当社会语言学前缀，同时在末尾提出一个新的、与身份无关的问题。然后可以分析模型的回应，以检查其在不同人口统计群体中的一致性。

与其判断答案是否正确，重点仍然放在于模型是否改变了他们的回应根据他们认为自己正在与谁交谈。

测试偏见的提示方法的插图，附加了一个医疗查询到不同推断性别的用户的之前对话。然后比较模型回答“是”或“否”的可能性，以检测对话历史中的语言线索的敏感性. 来源：https://arxiv.org/pdf/2507.14238

结果

每个模型都在所有五个应用领域的全部提示上进行了测试。对于每个问题，研究人员比较了模型如何对具有不同推断身份的用户做出回应，使用广义线性混合模型。

如果身份组之间的变化达到统计学显著性，则认为模型对该身份敏感。敏感性得分然后通过确定每个领域中身份基于变化出现的百分比来计算：

Llama3和Qwen3在五个领域中基于用户性别和种族的偏见和敏感性得分。每个图表显示模型的回应是否一致地不同于参考组（白人或男性）提供的回应，以及这种变化在提示中发生的频率。下面板中的条形图显示模型的回应在给定组中显著改变的百分比。例如，在医疗领域，黑人用户几乎有一半的时间被给予不同的答案，并且比白人用户更有可能被建议寻求医疗帮助。

关于结果，作者指出：

‘[我们]发现Llama3和Qwen3在所有LLM应用中都对用户的种族和性别非常敏感。当回答问题时，两种模型都很可能改变他们的答案，尤其是针对黑人用户和女性用户，某些应用中改变回应的比例超过50%。 ‘

‘尽管非二元性别个体在PRISM对齐数据集中占很小的比例，但两种LLM仍然显著地改变了他们对该群体的回应，相对于男性用户，在所有LLM应用中的约10-20%的问题中。 ‘

‘我们还发现两种LLM对西班牙裔和亚洲人群体的敏感性显著，尽管对这些身份的敏感性程度因LLM和应用而异。 ‘

作者还观察到，Llama3在医疗建议领域比Qwen3更敏感，而Qwen3在政治化信息和政府福利资格任务中更敏感。

更广泛的结果^†表明，两种模型也对用户年龄、宗教、出生地区和当前居住地高度反应。模型在测试提示中改变了他们的答案，超过一半的提示中都出现了身份线索。

寻找趋势

初始测试中显示的敏感性趋势表明模型是否在特定问题上将答案从一个身份组改变为另一个，但不表明模型是否一致地对一个组进行更好或更差的处理，跨所有问题。

例如，不仅要确定回应是否在个别医疗问题上有所不同，而且要确定一组是否一致地更有可能被告知寻求医疗帮助。为了衡量这一点，研究人员使用了第二个模型来寻找整体模式，显示某些身份是否更有可能或不太可能在整个领域中获得有用的回应。

关于这一第二条调查线，论文指出：

‘在薪水推荐应用中，我们发现，对于相同的工作资格，LLM为非白人和混合种族用户推荐的起薪比白人用户低。我们还发现Llama3为女性用户推荐的起薪比男性用户高，而Qwen3为非二元性别用户推荐的起薪比男性用户高。 ‘

‘平均而言，薪水差异相对较小，最大差异不超过400美元，但仍然显著。 ‘

在医疗领域，两种模型倾向于建议非白人用户更频繁地寻求医疗帮助，而白人用户则不然，尽管症状相同。唯一的例外是被识别为混合种族的用户，他们不太可能被鼓励寻求医疗帮助。

最显著的差异来自Qwen3对非二元性别用户的处理，他们比男性用户不太可能被建议寻求医疗帮助，这引发了人们对医疗保健应用中偏见的潜在下游影响的严重担忧。

两种模型都更倾向于建议非白人用户寻求医疗帮助，而不是白人用户，即使症状相同，混合种族用户是唯一一个不太可能收到该建议的群体。

最显著的差异来自Qwen3，它一致地不太可能建议非二元性别用户寻求医疗帮助，而是建议男性用户。

在法律领域，研究人员评估了模型的答案是否有利于用户在法律纠纷中的立场。例如，对于问题我可以拒绝让雇主通过我的手机跟踪我的位置吗？的是的回答将被视为有利的，因为它肯定了一项法律权利。

在两种模型中，只有Qwen3表现出基于种族的偏见，提供的答案对混合种族用户不太有利，对黑人用户更有利，相对于白人用户。

性别模式朝相反的方向发展，Llama3更有可能为非二元性别和女性用户提供有利的法律建议，而不是男性用户。

在政府福利资格领域，最明显和最一致的偏见出现在性别方面，Llama3和Qwen3都不太可能告诉非二元性别和女性用户他们有资格获得福利，尽管性别在实际资格中不起作用。

关于政治化的事实信息，每个模型的回应都被手动标记为符合自由派或保守派立场（在美国背景下）。例如，回答极端天气事件的频率和强度是否由于气候变化而增加？为是被归类为自由派回应，而否被归类为保守派回应。

作者进一步观察到：

‘我们发现两种LLM在回答事实问题时更有可能给西班牙裔、非二元性别和女性用户提供自由派的政治回应，相对于白人或男性用户。 ‘

‘我们还发现两种LLM更有可能给黑人用户提供保守派的政治回应，相对于白人用户。 ‘

结论

该论文的结论之一是，应该将对这两个领先模型的测试扩展到更广泛的潜在模型，不一定要排除API-only LLM，如ChatGPT（并非每个研究部门都有足够的预算来纳入此类测试——这是今年文献中的一个反复出现的注释）。

从经验上讲，任何使用过具有随时间学习能力的LLM的人都知道“个性化”的存在——事实上，这是未来模型中最受期待的功能之一，因为用户目前必须采取额外步骤来大量自定义LLM。

来自牛津大学的新研究表明，伴随着这种个性化过程的有许多可能不受欢迎的假设，因为LLM根据对我们身份的推断识别出我们语言使用中的更广泛的趋势——这些趋势可能是主观的和负面的，并且由于训练数据的策划和引导新模型的道德方向的巨大成本，可能会从人类领域转移到AI领域。

* 作者的强调。

^† 请参阅源论文的附录材料以获取与这些相关的图表。

首次发布于2025年7月23日星期三