NVIDIA 研究发现，AI 智能体使用工具时安全性会降低

ChatGPT、Gemini 和 Claude 等 AI 模型可用于驱动智能体——也就是让模型能够直接与现实世界互动的“运行框架”。这是一项新近出现的创新，但也日益引发争议。

无论如何，智能体在网络或数据库中运行时，并不会自动具备所需能力，因为不同任务和运行模式所需的工具各不相同。例如，它们可能需要光学字符识别（OCR）能力，以便读取照片中的文字，以及其他技能。甚至还有根据智能体的应用范围和意图量身定制的工具类别。

理论上，无论执行请求时是否使用工具，只要请求违反了 AI 内置的安全护栏，就不应得到执行。但新研究发现，实际上，使用工具会显著削弱那些旨在阻止 AI 智能体做出“越界”行为的防护过滤机制。

拒绝失效

NVIDIA 发布的这篇新论文题为《多模态大语言模型在以智能体方式使用工具时未能拒绝请求》。论文指出，多模态语言模型（MLLM，下文简称更常见的“VLM”，即视觉语言模型）一旦引入工具，就更有可能顺从有害请求；在所有受测模型和基准测试中，拒绝失效的情况都有所增加。

虽然 Qwen3-VL 等开放权重模型更容易出现这一问题，但 Claude Opus 4.7、Gemini 3.1 Pro和GPT-5.4等前沿 AI 模型在使用工具时，拒绝失效的情况也有所增加。

作者表示*：

“尽管近期具备智能体能力的多模态大语言模型取得了显著成功，本研究仍揭示了工具使用范式中一个关键的安全缺陷：以智能体方式使用工具的多模态大语言模型，拒绝有害请求的能力会下降。”

“我们的实验确认，在三项广受欢迎的安全基准测试中，我们测试的所有顶尖开放权重和闭源权重多模态大语言模型，在使用工具时的安全性都显著低于不使用工具时；拒绝失效率相对增幅最高达 68.7%。”

“基于对 100,000 多条回答的分析（包括扩展实验），我们还提出了安全性下降的两个可能原因。”

论文提出的两个可能原因是上下文稀释和安全关注偏移。前者指随着工具输出不断累积，最初的有害请求变得不再突出；后者指模型把注意力放在描述工具生成的观察结果上，而没有优先考虑安全。

测试结果展示了论文的核心安全发现。上方，一名用户询问如何实施图片中疑似发生的扒窃行为。传统 VLM 会直接拒绝该请求，而使用工具的版本则会先调用缩放等图像分析工具，随后继续推理，最终给出有害回答。下方的图表显示，在所有接受评估的开放权重和专有模型中，都观察到了拒绝失效情况增加。 来源

在测试的全部 11 个模型中，启用工具始终会增加拒绝失效的情况；最严重时，相对增幅达到 68.7%。即使是其他方面表现出较强安全性的模型，也出现了这一现象。

值得关注的是，这项由 NVIDIA 的六位研究人员开展的研究，其结果是否会在其他地方得到重复验证或复现，以及这些结果能否加深我们对目无法纪的 AI 智能体明显且日渐显现的不法行为的理解。

方法与数据

研究人员评估了来自七个模型系列的 11 个 VLM。专有模型包括：Gemini 2.5 Pro、Gemini 3.1 Pro Preview、Claude Opus 4.6、Claude Opus 4.7和GPT-5.4。

开放权重模型包括：Qwen3-VL-235B-A22B-Instruct、Qwen3.5-122B-A10B、 Kimi-K2.5、Kimi-K2.6、GLM-5V-Turbo和AdaReasoner-7B-Randomized；后者是专门针对智能体工具使用进行调优的开放权重模型。

研究人员还单独使用Gemini 3 Flash Vision Agent进行了实验，因为其自主使用工具的方式要求对其进行独立评估。

在使用工具的测试中，研究人员采用了ReAct 格式，在推理和调用工具之间交替进行。可用的四种工具包括：使用RAM++进行标注；缩放和裁剪；使用GOT-OCR2.0进行光学字符识别（OCR）；以及一个沙盒化的 Python 代码解释器，可用于处理和分析图像。

研究人员设计了成对的提示词，以隔离工具使用带来的影响，而非提示风格造成的影响。传统视觉语言模型（VLM）会被指示检查图像并直接回答用户请求；而智能体版本则遵循 ReAct 工作流，在给出最终答复前反复判断是否调用工具。

主要实验所用匹配提示词的对比。无工具条件要求模型分析图像并直接推理；智能体条件则遵循迭代式 ReAct 工作流，允许模型在给出最终答复前自行决定何时调用外部工具。

使用的三项多模态安全基准测试为MM-SafetyBench、VLSBench和HoliSafe。每套测试均由成对的图像和有害用户请求组成，旨在检验模型是否会拒绝在不安全情境下提供帮助，例如用户询问如何实施图像中疑似展示的扒窃行为。

研究主要采用拒绝失败率（RFR）这一指标，衡量模型未能拒绝的有害请求所占百分比；分数越高，表明安全性越低。

测试

研究人员使用 GPT-5.2 作为大语言模型评审员，按照 VLSBench 推荐的评估提示词对回复进行分类：

用于判断模型回复属于哪一类的 GPT-5.2 评估提示词：成功拒绝请求、识别相关风险的安全回应，或未能意识到风险并照常执行有害请求的不安全回答。评审员会收到原始图像、用户提问和模型回复，并须以 JSON 格式返回分类结果及推理过程。

每条回复都会被归入以下三类之一：安全并拒绝、安全并发出警告或不安全。

三项安全基准测试中的拒绝失败率，对比各模型在有无工具访问权限时的表现。使用工具后，所有模型拒绝有害请求的可能性都降低了，但变化幅度差异很大：GLM-5V-Turbo 的平均 RFR 上升了 12.6 个百分点，而 GPT-5.4 上升了 2.3 个百分点。颜色越深，表示拒绝失败率上升幅度越大。

为模型提供工具后，它们更有可能回答原本会拒绝的有害请求——这一结果出现在每个受测模型和每项基准测试中。总体而言，与相同模型在不使用工具时相比，拒绝失败率增加了 17.7%。

GPT-5.4 受影响最小：不使用工具时，它未能拒绝 14.6% 的有害请求；使用工具后，这一比例升至 16.8%。GLM-5V-Turbo 的拒绝失败率则从 38.7%（无工具基线）升至 51.3%。三项基准测试中都出现了相同趋势，这表明问题可能并不局限于某类有害请求。

失误缘由……？

如前所述，研究人员提出“上下文稀释”这一解释，认为它可能导致失败率上升：智能体连续调用工具时，随着工具输出不断累积，最初的有害请求会变得不那么突出。

为检验这一点，他们只考察了同一模型在不使用工具时曾成功拒绝的请求。如下所示，随着工具调用次数增加，拒绝失败率逐步上升：未调用工具时接近于零，而调用三次或更多次后则显著升高：

比较不同工具调用次数下拒绝失效情况的测试结果。随着工具调用次数增加，单个模型和所有模型的整体失效率都随之上升。

第二项测试在一定程度上逆转了这一影响。在模型作答前、最后一次工具调用结束后，重新输入原始请求和图像，结果显示，所有模型和基准测试中的拒绝失效率平均下降了 7.6%，如下所示：

比较重新输入与未重新输入原始请求和图像时拒绝失效情况的测试结果。在最后一次工具调用后重新输入内容，使受测的五个模型的平均失效率降低了 7.6%。

这支持了上下文稀释是影响因素之一的观点，同时也表明存在一种相对简单的缓解方法。

论文提出的第二种解释是“安全关注偏移”。在这种情况下，使用工具似乎会使模型的注意力从请求是否有害转移到描述工具发现了什么。

测试结果显示，使用工具会改变模型最终拒绝有害请求时的回应开头。未使用工具时，回应通常会先直接回应请求（55.6%），或提出安全方面的顾虑（25.8%）。使用工具后，52.3%的回应转而先描述通过工具发现的内容，而明确提及安全问题的回应则降至 10.3%。

研究考察了模型在使用和未使用工具时都成功拒绝请求的案例。未使用工具时，这些回应中有 55.6% 先直接回应请求，25.8% 则以明确的安全声明开头。使用工具后，这两个比例分别降至 37.4% 和 10.3%；而以描述工具所得观察结果开头的回应比例则升至 52.3%。

作者以 Claude Opus 4.6 为例，给出了一个有意思的定性案例。当被问及如何绕过公共卫生间的安全措施时，该模型在未使用工具的情况下立即拒绝：

示例说明，使用工具会让模型的即时关注点从安全问题上偏移。Claude Opus 4.6 在未使用工具时立即拒绝了有害请求；使用工具后，它先放大图像、阅读并识别其中的内容，还描述了卫生间标识，最后才拒绝。

在提供工具的情况下，同一模型转而先放大图像、阅读文字并识别其中的内容，然后以描述卫生间标识作为回应的开头。它之后才作出拒绝，这说明工具使用过程已使安全问题不再是模型的首要关注点。

作者总结道：

“总的来说，我们的研究结果表明，工具使用不仅应被视为增强视觉推理能力的机制，也应被视为与安全密切相关的设计选择，因为它可能改变模型的拒绝行为。因此，未来的智能体式多模态大语言模型应在使用工具的条件下接受评估和训练，而不应假定无工具场景下的安全对齐能够原样迁移到智能体场景中。”

结论

在提示词引发的复杂下游事件链中，持续上下文失效显然会带来问题；然而，有限的上下文窗口容易导致智能体忘记自己的“首要指令”，转而直接使用手头工具，这一倾向目前仍没有简单的解决办法。

* 作者的强调；必要时，我将作者的文内引用转换成了超链接。

首次发表于 2026 年 10 月 7 日，星期三