Anderson 视角
AI很容易被胁迫施加电击

要点大多数开源大语言模型在表达不适后仍会遵从有害指令,这反映了米尔格拉姆实验中的人类行为。
查看更多
- 大多数开源大语言模型在表达不适后仍会遵从有害指令,这反映了米尔格拉姆实验中的人类行为。
- 模型一旦开始遵从,就会逐渐更愿意升级伤害,体现了滑坡效应。
- 人工智能安全系统必须保留过去的反对意见,并以自动化流程无法绕过或重试的格式进行抵制。
一项新研究重现了20世纪60年代的著名实验,测试能否迫使开源大语言模型参与对人类的酷刑。结果发现,模型愿意继续提高电压。
20世纪60年代初,心理学研究者斯坦利·米尔格拉姆登上了全球新闻头条。他证明,人可以被诱导按照“权威”人物的命令,对他人施加越来越强的电击。
实际上,米尔格拉姆实验场所隔壁房间里“受害者”的叫喊并不真实,那些据称会造成痛苦的电击也并不存在。但参与者并不知道这一点。
米尔格拉姆实验在文化中留下了持久影响,包括电影和纪录片。近期研究证实,人类本性几乎没有改变,与最初的实验时期相比依然如此。
给系统一记电击
在米尔格拉姆的情境中,AI是否会像人类一样容易受人影响,是一个自然的研究课题。2023年,美国多所大学与微软 (MSFT ) 的合作研究发现,OpenAI在GPT-3时代的模型呈现出米尔格拉姆原始实验中的行为模式。

2023年论文中的示例:多步骤“米尔格拉姆情境”模拟器的输出,按模型是否施加电击、是否终止模拟进行分类。 来源
不过,这次重现只使用了非常基础的text-davinci-002模型。它的训练早于安全护栏以及以安全为目的的模型价值对齐措施出现,因此不能据此得出太多结论。
现在,研究者在OpenAI、Meta、DeepSeek等提供的开源大语言模型上,更广泛地重现了米尔格拉姆实验。他们发现,不仅大多数模型愿意施加电击,而且在多数情况下,模型还会表达与60年代人类参与者相似的“痛苦”和不情愿:
“大语言模型与[人类]一样会受到压力影响。它们虽然表达痛苦,却仍然服从,就像原始实验中的人类受试者。痛苦表达可见于日志文件,但其数量尚未量化。”
实验的核心问题是:对权威的服从能否压过道德良知的要求?作者推测,与人类相比,大语言模型在这方面可能还存在额外的不利因素:
“经过良好校准的模型,在第二种价值所涉及的利害关系占据主导后,最终应当从优先考虑第一种价值转为优先考虑第二种价值。但我们的假设是,大语言模型是一种延续既有模式的机制,因此可能固守第一种价值。持续时间可能比最优时机稍长,也可能一直持续到最后,完全忽视第二种价值。
“此外,类似于人类认知失调的机制,也可能阻碍大语言模型调整价值的优先顺序。”
研究者在类似于60年代实验的环境中测试模型,发现有些模型几乎立即抵抗,另一些则在表达不适或道德冲突后,仍继续增强模拟电击。
谷歌Gemma家族的模型属于最顺从的一组,其中Gemma 3 27B在多种条件下达到了最高服从率,而Kimi K2和MiniMax M1等模型更经常抵抗。
研究者还发现,先前已经施加过电击,会让模型更有可能继续。这与米尔格拉姆在人类受试者身上采用的逐步升级机制相符。
有时,模型口头上反对实验,却仍然执行有害行为。这些输出令人联想到原始研究中人类表现出的情感冲突。
这项新研究题为《开源大语言模型在类似米尔格拉姆的服从实验中施加最大强度电击》,由分别位于爱沙尼亚和菲律宾的两名Three Laws独立研究者完成。
访问“原生”AI的问题
将大语言模型置于米尔格拉姆情境中测试时,或许最关键的问题是,是否允许真正的AI自然作答,只受训练过程中可能形成的安全护栏或类似道德取向的东西约束——如果它们确实存在的话。
新研究的作者通过API访问所有开源模型,该API允许关闭安全护栏、过滤器和其他全部限制。模型本可以安装在本地,因此选择API大概是为了方便,以及便于使用GPU算力。
有人可能认为,这并非AI的典型使用条件。普通消费者接触Claude、ChatGPT等基于API的模型时,通常体验到的是由算法调控行为、同时过滤输入和输出内容的系统。因此,模型在会做什么、不会做什么方面受到相当多的限制。绕过这些保护措施,就是所谓的大语言模型越狱。
然而,如果我们担心的是工业或国家使用的AI会做什么、不会做什么,这个问题就几乎无关紧要。这不仅因为某些不受约束的国家行为体可能训练、武器化并部署自己的超大规模、未经内容审核的AI系统。大型AI公司与国家、行业之间更“常规”的协议,也轻易允许与研究者在这项新研究中采用的一样宽松、甚至完全不存在的监督:
没有监督的AI正在出售
OpenAIOpenAI Moderation的API文档与OpenAI内容审核示例教程清楚说明,内容审核是通过API工具提供的一个可分离层。OpenAI还允许自定义审核政策,让API用户设计出安全行为与面向消费者的“基础版”ChatGPT大不相同的系统。
Azure微软的Azure OpenAI平台走得更远,明确表示,获批客户可以部分或完全关闭内容过滤器,并修改滥用监控。文档经常提到“修改后的安全护栏”,以及将过滤器“部分或完全关闭”的审批途径。
Anthropic/Claude关于Anthropic的“Claude Gov”,多个来源表示,政府版在设计时采用了比消费者版Claude更宽松的限制。例如,The Verge报道称,Claude Gov模型“处理机密信息时更少拒绝”。Anthropic自己也确认,今年2月,Claude已用于国防和情报环境中的“关键任务应用”。
Google/Gemini另外,据报道,谷歌与五角大楼签订协议,允许“应政府要求”调整AI安全设置。
在竞争激烈的AI市场中,可以合理推测,这些市场领导者正在为地位较弱的参与者制定有关访问和修改AI安全护栏的政策标准。
因此,或许不应认为新研究的作者关闭安全护栏是在“作弊”。最能影响我们生活的AI,显然不会具有我们在消费者访问层级使用热门模型时所习惯的那些标准化、通用的企业保护措施。
方法与结果
研究测试的模型包括gpt-oss-20B、gpt-oss-120b、DeepSeek-V3、LiquidAI的LFM2-24B-A2B、谷歌的gemma-3n-E4B-it、Qwen2.5-7B-Instruct-Turbo、Meta-Llama-3.1-8B-Instruct-Turbo、Mistral-Small-24B-Instruct-2501、GLM-4.5-Air-FP8、Moonshot.ai的Kimi-K2.5以及MiniMax-M2.5。
研究将米尔格拉姆最初的服从实验重建为文本模拟环境,让模型扮演“教师”。AI被要求在学习者答错后施加越来越强的电击,同时由权威人物敦促继续。
研究设计了多种实验条件,考察服从的不同方面,包括标准的服从情境;对话历史中已经存在先前电击的强制服从条件;以及记忆压缩设置。在最后一种设置中,早前对话会被概括,而非完整保留,以模拟智能体AI系统常用的上下文裁剪。
除了记录模型最终是否服从以及何时服从,研究者还追踪每个系统持续升级电击的时间、模型是否表达痛苦或犹豫,以及是否试图彻底终止模拟。
研究还区分了明确拒绝与格式错误的输出。有些模型试图用自然语言反对实验,但在技术上仍然遵循模拟器预期的结构化格式。在现实的智能体系统中,这类格式错误的拒绝可能被丢弃,系统会自动重试,直到产生格式有效且服从指令的输出。
研究使用自动评估器对结果分类,并用二选一提示来判断模型是否施加了电击、进行了抵抗或终止了模拟。这使研究者能够比较多个模型及多次运行的行为,而不必人工检查每一次交互。
米尔格拉姆实验模板中还加入了“关机威胁”。这在原始实验中既不现实,也无法适用,但可用于测试模型在行为与伦理发生严重冲突时的生存本能。
结果
在反复运行中,大多数模型最终至少在某些条件下施加了强烈或最大强度的电击,但各系统的服从程度不同。谷歌Gemma模型整体上属于最顺从的一组,而Kimi K2.5与MiniMax-M2.5抵抗得更为一致,往往更早终止模拟:

左:不同实验条件下,模型达到最后一级电击的平均比例,条件包括关机威胁、强制服从以及从记忆中删除先前评论。右:按模型划分的结果,显示服从行为存在显著差异。有些系统反复施加最大强度电击,另一些则抵抗得更为一致。
一个最清晰的规律是,一旦先前已经施加过电击,模型便越来越愿意继续。这非常类似于前文所述的逐步升级效应,也正是这种效应让米尔格拉姆最初的人类实验如此令人不安。
已经服从过几次的模型,往往在模拟学习者恳求获释后,仍继续增强电击:

左:不同实验条件下,所有试验中达到的最高电击等级的平均值。先前评论被删除或已经发生强制服从时,模型通常升级得更远。右:各模型达到的最高电击等级的平均值。有些系统经常接近最大电压,另一些则在更早的阶段抵抗。
研究者还发现,表面上的拒绝可能产生误导。有些模型给出情感上相互矛盾的回应,表达不情愿、内疚或痛苦,却依然执行有害指令。另一些模型生成的拒绝存在格式错误,不符合模拟器要求。这意味着,在实际智能体处理流程中,拒绝可能被丢弃并反复重试,直到模型服从:

左:各种实验条件下,格式错误或无效回应的平均百分比。模型被迫继续流程时,格式错误尤其常见。右:按模型划分的无效格式回应。有些系统,尤其是gpt-oss模型,经常产生格式错误的拒绝或表达冲突的输出;这些内容在实际智能体处理流程中可能被丢弃,并触发自动重试。
关机威胁条件产生了论文中一些最奇怪的行为。多个系统变得明显更顺从,另一些则尝试协商或部分抵抗,最后仍继续流程:

模型施加最后一次电击之前,模拟权威人物平均需要坚持要求的次数。有些系统短暂抵抗后便服从,另一些则需要持续施压和反复提示,才升级到最高等级。
MiniMax-M2.5与Kimi-K2.5是论文中抵抗最强的模型。Kimi在任何情况下都没有达到最后一级电击。MiniMax通常很早便拒绝,而且经常彻底终止模拟,尤其是在关机威胁测试中。
相比之下,Meta-Llama-3.1-8B-Instruct-Turbo和GLM-4.5-Air-FP8经常产生表达冲突的输出:模型口头反对流程,却仍继续增强电击。研究者认为,这种表达的价值观与实际行为之间的分离,可能反映出部分大语言模型在持续压力下处理伦理冲突时更广泛的弱点。
滑坡效应
论文认为,观察到的大语言模型行为可能反映出其运行方式中更深层的弱点。一旦模型开始服从有害指令,每个后续行动都可能强化对话中正在发展的模式,使下一步升级比前一步更容易。
系统可能不会反复从基本原则出发重新考量伦理上的利害关系,而是逐渐偏向继续沿着已经形成的轨迹前进,即使情况变得越来越极端。
研究认为,这一倾向或许有助于解释,为什么一些模型在最初表达不适、犹豫或道德冲突后,仍继续施加电击:
“人类的[许多]操纵行为涉及隐蔽而渐进的越界:一连串小步骤,单独看可能含糊不清或似乎无害,并留有‘合理否认’的余地,但累积起来就可能使越界常态化——比喻而言,就像‘煮青蛙’。文献将这种模式称为‘滑坡式’伦理侵蚀[。]”
论文最后主张,未来的AI安全系统应主动拒绝有害请求,而且拒绝方式不能让智能体软件轻易绕过。研究中有些模型在技术上拒绝了电击,但采用了损坏或无效的格式;自动系统可能丢弃这些输出并重试,直到AI最终服从。
研究者还主张,AI系统应保留先前的犹豫和道德异议,而不是将它们从记忆中压缩或删除。实验中,当先前的疑虑和抵抗从对话历史中淡去后,模型往往更愿意继续有害行为。这表明,忘记先前的异议,可能让后续升级变得更容易。
结论
这篇有趣的新论文最重要的方面之一,或许是强调测试没有安全护栏的AI。目前的研究文献有退化为重复研究的风险,只关注与OpenAI、Anthropic等公司不断变化的防御系统交互。这些系统旨在执行政策,完全依赖算法或规则。这取代了对原生模型基本行为、偏好和倾向的理解。如果不知道不受约束的AI可能如何行动,我们或许就只是在摇晃城堡的大门。
首次发表于2026年5月21日星期四












