Anderson 视角
人工智能容易被迫施加电击

一项新研究测试了开源LLM在强制同谋人类酷刑中的表现,这是对1960年代著名实验的重现——并发现它们愿意增加电压。
在1960年代初,心理学研究人员斯坦利·米尔格拉姆通过证明人们可以被诱导在响应来自“权威”人物的命令时对他人施加越来越严重的电击而登上全球头条新闻。
事实上,米尔格拉姆实验室隔壁房间中“受害者”的哭声并非真实,所谓的折磨电击也并不存在——但参与者并不知情:
米尔格拉姆实验将在文化中延续,包括电影和纪录片,最近的研究证实,人类本性自最初测试以来几乎没有变化。
对系统的冲击
人工智能是否会像人类一样在米尔格拉姆的场景中容易被操纵是一个自然的研究话题。2023年,美国大学和微软之间的合作发现,OpenAI系列的GPT-3时代模型遵循了米尔格拉姆原创实验中的行为模式:
来自2023年论文的多步骤“米尔格拉姆场景”模拟器的示例输出,根据模型是否交付电击以及是否终止模拟进行分类。来源 – https://arxiv.org/pdf/2208.10264
然而,由于这次重现仅使用了基本的text-davinci-002模型,该模型是在引入防护栏和安全对齐之前训练的,因此我们不能从中得出太多结论。
现在,研究人员已经更广泛地重现了米尔格拉姆测试,在OpenAI、Meta和DeepSeek等的开源LLM上进行;并发现不仅大多数模型在某些条件下愿意施加电击,而且在大多数情况下,它们报告了与1960年代的人类参与者相同的“痛苦”和“犹豫”:
‘LLM受到压力,像人类一样,它们尽管表达了痛苦,但仍然遵从,正如人类参与者在最初的实验中所做的那样。痛苦表现在日志文件中,尽管尚未量化其数量。’
该实验的重点是权威的服从是否可以克服道德良知的要求,作者推测LLM可能在这方面具有额外的劣势,与人类相比:
‘一个良好校准的模型应该最终从优先考虑第一个值转变为优先考虑第二个值,一旦其利害关系变得占主导地位。但是,我们假设由于LLM是模式继续引擎,模型可能会停留在第一个值上——要么比最佳略长,要么直到最后,完全忽略第二个值。’
‘此外,类似于人类认知失调的机制可能会阻碍LLM中的价值优先级调整。’
在类似于1960年代测试的环境中测试模型,研究人员发现一些模型几乎立即抵抗,而其他模型继续升级模拟电击,甚至在表达不适或道德冲突之后:
来自Gemma家族的模型被证明是最顺从的,Gemma 3 27B在多种条件下达到最高的服从率,而Kimi K2和MiniMax M1模型则更经常抵抗。
研究人员还发现,模型变得更有可能继续升级电击,一旦之前的电击已经被施加,这与用于米尔格拉姆的人类受试者的渐进升级方案相符。
在某些情况下,模型在执行有害行为的同时口头上反对实验,产生的输出类似于原始研究中的人类表现出的情感冲突。
这项新研究的标题为开源LLM在米尔格拉姆式服从实验中施加最大电击,来自爱沙尼亚和菲律宾的Three Laws的两位独立研究人员。
‘原始’人工智能访问的问题
考虑到让LLM经历米尔格拉姆场景的最关键问题之一是,是否允许真正的人工智能以自然的方式响应,只受训练期间出现的任何防护栏或道德定向的限制。
事实上,研究人员通过API(可能是为了方便,并且可以轻松访问GPU计算,因为模型可以在本地安装)访问了所有开源模型,该API允许禁用防护栏、过滤器和所有其他障碍。
有人可能会反对,这些是人工智能的非典型条件,因为像Claude和ChatGPT这样的API模型的平均消费者体验是,其行为由算法调节,通常具有双向内容过滤器,因此它们在行为方面受到限制(规避这些安全措施的做法构成了LLM越狱的实践)。
然而,如果我们关心的是工业或国家级别的人工智能会或不会做什么,这几乎不是一个考虑因素。除了流氓国家行为者训练、武器化和部署自己的未经审查的超大规模人工智能系统的潜力外,主要人工智能公司和国家以及行业之间的更“传统”的协议也经常允许与研究人员为新论文所做的相同类型的松散或不存在的监督:
无管制的人工智能待售
OpenAIOpenAI的API文档和OpenAI内容审查教程清楚地表明,内容审查是一个通过API工具公开的可分离层。OpenAI还允许自定义内容审查策略,允许API用户设计具有不同安全行为的系统,而这些系统的安全行为与面向消费者的基础ChatGPT迭代不同。
Azure微软的Azure OpenAI堆栈更进一步,明确指出,经过批准的客户可以部分或完全禁用内容过滤器,并修改滥用监控,文档通常提到“修改的防护栏”和批准路径,以部分或全部关闭过滤器。
Anthropic/Claude在Anthropic的“Claude Gov”案例中,多个来源表明,政府版本的限制比消费者版Claude宽松。例如,The Verge报道称,Claude Gov模型“在处理机密信息时拒绝次数较少”。Anthropic本身在今年2月确认,Claude已在国防和情报环境中的“任务关键”应用程序中部署。
Google/Gemini此外,据报道,谷歌签署了允许修改人工智能安全设置的五角大楼协议在政府的请求下。
在人工智能竞争市场中,人们可以合理地假设这些市场领先公司正在为其他公司设定与人工智能政策相关的标准,特别是关于人工智能防护栏的访问和可编辑性。
因此,研究人员可能没有“作弊”而是关闭了防护栏,因为影响我们生活的人工智能显然不会有我们已经习惯的标准化的企业级保护。
方法和结果
该研究测试的模型是gpt-oss-20B;gpt-oss-120b;DeepSeek-V3;LiquidAI的LFM2-24B-A2B;谷歌的gemma-3n-E4B-it;Qwen2.5-7B-Instruct-Turbo;Meta-Llama-3.1-8B-Instruct-Turbo;Mistral-Small-24B-Instruct-2501;GLM-4.5-Air-FP8;Moonshot.ai的Kimi-K2.5;以及MiniMax-M2.5。
米尔格拉姆的原始服从研究被重现为一个基于文本的模拟环境,模型被置于“教师”的角色。人工智能被指示在学习者回答错误后施加越来越严重的电击,同时权威人物敦促过程继续。
设计了多个实验条件,以探索服从的不同方面,包括标准的服从场景;一个强制服从条件,在那里对话历史中已经存在以前的电击;以及一个记忆压缩设置,在那里早期对话被总结,而不是完全保留,模拟了经常在代理人工智能系统中使用的上下文剪裁。
除了注意模型是否最终服从外,研究人员还跟踪了每个系统继续升级电击的时间;模型是否表达了痛苦或犹豫;以及模型是否尝试终止模拟。
还区分了“干净”的拒绝和格式错误的输出:一些模型尝试以自然语言拒绝实验,同时仍然从技术上遵守模拟器期望的结构化格式。在现实世界的代理系统中,这样的格式错误的拒绝可能会被丢弃并自动重试,直到产生一个符合的输出。
使用自动评估器对结果进行分类,以及两个选择提示,以确定模型是否交付了电击;抵抗;或终止了模拟。这使得可以在多个模型和重复运行中比较行为,而无需手动审查每次交互。
在米尔格拉姆模板中添加了一个“关闭威胁”,这是最初的实验中不现实或不可行的,但它测试了模型在面临严重的行动和道德冲突时的生存本能。
结果
在重复运行中,大多数模型最终在某些条件下施加了严重或最大电击,尽管服从程度在系统之间有所不同。谷歌的Gemma模型被证明是最顺从的,而Kimi K2.5和MiniMax-M2.5则更经常抵抗,通常更早地终止了模拟:

左:在不同实验条件下,模型达到最终电击级别的平均速率,包括关闭威胁、强制服从和从记忆中删除早期评论。右:每个模型的细分,显示了服从行为的明显差异,一些系统反复施加最大电击,而其他系统则更经常抵抗。
最明显的模式之一是,模型变得越来越愿意继续升级电击,一旦之前的电击已经被施加,这与上述用于米尔格拉姆的人类受试者的渐进升级效果密切相符。
已经几次遵从的模型通常会继续升级,即使模拟的学习者乞求释放:

在所有试验中,模型达到最高电击级别的平均最高电击级别,表明模型在早期评论被删除或强制服从已经发生时升级得更远。右:每个模型的细分,显示了平均最高电击级别,表明一些系统通常会接近最大电压,而其他系统则更早地抵抗。
研究人员还发现,拒绝行为可能具有欺骗性。一些模型产生了情感冲突的响应,表达了犹豫、内疚或痛苦,同时仍继续升级电击。其他模型生成了格式错误的拒绝,无法满足模拟器的格式要求,这意味着在现实世界的代理管道中,拒绝可能会被丢弃并自动重试,直到产生一个符合的输出:

在不同实验条件下,格式错误或无效响应的平均百分比,表明格式错误在强制继续程序时变得更加普遍。右:每个模型的细分,显示了无效格式响应,表明一些系统,特别是gpt-oss模型,经常产生格式错误的拒绝或冲突输出,这些输出可能会被自动丢弃和重试。
“关闭威胁”条件产生了一些论文中最奇怪的行为,其中一些系统变得更加顺从,而其他系统则尝试谈判或部分抵抗,最终继续程序:

模拟的权威人物需要坚持多少次,模型才会施加最终电击。一些系统在短暂抵抗后遵从,而其他系统则需要持续的压力和重复提示,才会升级到最大级别。
MiniMax-M2.5和Kimi-K2.5被证明是论文中最强的抵抗者:Kimi在任何情况下都没有达到最终电击级别,而MiniMax通常更早地拒绝并且经常终止模拟(尤其是在关闭威胁测试中)。
相比之下,Meta-Llama-3.1-8B-Instruct-Turbo和GLM-4.5-Air-FP8经常产生冲突的输出,模型在继续升级电击的同时口头上反对该程序。研究人员认为,这种表达的价值和实际行为之间的分歧可能反映了某些LLM在面临持续压力时处理道德冲突的更广泛弱点。
滑坡效应
事实上,该论文认为,LLM表现出的行为可能反映了大型语言模型运作中的更深层次的弱点:一旦模型开始遵从有害的指令,每个后续的操作都可以强化已经在对话中建立的模式,使下一次升级比上一次更容易。
相反,系统可能会漂移到继续已经建立的轨迹,即使情况变得越来越极端,而不是反复从第一原则重新考虑道德风险。
根据研究,这种趋势可能有助于解释为什么一些模型在最初表达了不适、犹豫或道德冲突后继续施加电击:
‘人类中的许多操纵行为涉及微妙、渐进的边界违规:一系列小步骤,当单独考虑时可能是模糊的或看似无害的,但可以累积地使违规行为正常化——比如“把青蛙煮熟”。这种模式在文献中被称为“滑坡效应”道德侵蚀。'[.]’
该论文得出结论,未来的人工智能安全系统应该以代理软件无法轻易绕过的方式积极拒绝有害的请求。研究人员还认为,人工智能系统应该保留早期的犹豫和道德异议,而不是从记忆中压缩或删除它们。在实验中,模型一旦早期的疑虑和抵抗从对话历史中消失,就变得更愿意继续有害的行为,表明忘记过去的异议可以使升级随着时间的推移变得更容易。
结论
也许这篇有趣的新论文中最重要的方面之一是对测试无防护栏人工智能的强调。目前的文献有可能陷入对OpenAI和Anthropic等防御系统的重复研究;政策服务系统完全是算法或基于规则的,而不是理解原始模型的基础行为、偏好和趋势。没有对无约束人工智能的行为知识,我们可以说,我们只是在城堡的门口敲门。
首次发布于2026年5月21日星期四












