Eclypsium研究揭示受损硬件如何在运行时改变AI模型

Eclypsium展示了受损的计算基础设施如何在推理过程中改变AI模型的行为，同时保持模型原始文件完好无损。这项研究于10月29日发表，题为可信AI需要可信基础设施，说明了为什么检查模型签名或文件哈希并不能证明正在内存中运行的模型完整无损。

在NVIDIA支持的一项受控演示中，研究人员利用一台受损的数据处理单元（DPU）和宽松的内存隔离设置，修改了模型在运行时的权重。模型的回答随之改变，但存储的模型和推理服务均未被修改。这一发现表明，硬件、固件和设备配置都属于AI安全边界的一部分。

改变AI模型的另一种途径

AI安全讨论往往聚焦于恶意提示、受污染的训练数据以及不安全的工具使用。这项研究考察的是更底层的问题：模型运行期间承载和传输其参数的基础设施。

权重是决定模型如何响应的数值参数。磁盘上的有效文件可以被加载到内存中，随后被权限足够高的组件修改。之后再检查原始文件，仍会看到预期的字节内容，尽管模型生成回答时使用的运行时状态已经遭到改变。

Eclypsium的演示显示，在回答一个地缘政治问题时，模型的分析输出确实发生了变化。更广泛的担忧在于，运行时操纵可能影响其他敏感用途，包括生成代码和自动化决策。但这些可能性应与实验室中实际展示的具体行为区分开来。

关于攻击未被发现的说法也有明确范围：演示中使用的存储模型完整性检查没有发现内存变化。但这并不能证明攻击能逃过所有形式的监控或取证检查。

攻击条件至关重要

测试使用了NVIDIA Grace Hopper环境。其直接内存访问路径依赖一个受损的特权组件，以及允许访问敏感内存的配置设置。研究人员指出，IOMMU直通和宽松的PCIe隔离是重要条件，并明确说明这些并非Linux的默认设置。

IOMMU有助于控制外围设备能够访问哪些内存。在研究人员测试的隔离级别更高的配置中，同一条直接访问路径无法使用。因此，这一结果凸显了核实实际部署设置的重要性，而不能想当然地认为，系统安装了某项安全功能，就意味着该功能正在有效执行安全边界。

DPU是一种可编程基础设施处理器，用于提供网络、存储和安全服务。它高效传输数据的能力很有价值，但如果攻击者控制了该组件，用于合法基础设施功能的高权限就可能带来危险。

NVIDIA的回应：核验信任边界

在对合作的介绍中，NVIDIA介绍了BlueField的身份验证启动、基于硬件的信任根、隔离机制、固件更新保护和证明机制。NVIDIA还强调，云运营商会根据不同的信任模型选择不同的安全配置。

两家公司传达的信息是，运营商需要掌握证据，了解这些配置选择的实际情况。必须结合部署的威胁模型，评估内存访问控制、设备隔离和管理接口。仅仅具备某项功能，并不能说明它已经得到正确配置。

NVIDIA和Eclypsium还表示，这一问题并非局限于单一厂商。AI系统依赖特权主机软件、加速器固件、管理控制器和数据传输机制。不同架构中的具体路径各不相同，但这些组件都必须纳入考量。

为什么智能体安全也取决于基础设施安全

当模型能够调用工具、访问企业数据或发起操作时，风险也随之增加。基础设施遭到篡改，可能会破坏应用层安全措施赖以成立的假设，使人无法确定实际运行的究竟是哪一个模型。

NVIDIA的开放式智能体安全平台展示了分层应对方案。OpenShell负责运行时治理，而BlueField上的NVIDIA Sentry则在主机和智能体之外、由硬件隔离的安全域中运行。该架构旨在通过独立的控制点监控行为并执行策略。

这种独立位置也带来了另一项安全责任：执行控制的硬件及其软件栈本身必须保持可信。将控制机制移出应用程序，可以减少对应用程序的一项依赖，同时也使核验受托执行该控制的组件变得更加重要。

从硬件清单到持续保障

Eclypsium 将以模型为中心的保障与基础设施完整性之间的脱节称为“AI 基础设施保障缺口”。其基础设施保障平台可清点组件、评估固件和配置、将设备状态与获准基线进行比对，并监测变化。该公司将这些能力定位为对现有应用和模型防护措施的补充。

对于运营人员而言，实际工作首先要将 DPU、GPU、管理控制器及其固件视为需要分别管理的资产。每项资产都需要明确负责人、跟踪版本、评估漏洞，并制定清晰的更新流程。审查范围还应包括管理平面的访问权限，以及基础设施处理器上运行的第三方软件。

还应在硬件部署、更新、事件恢复和重新分配的整个过程中持续检查。仅有一份干净的操作系统映像，并不能证明所有较低层级的组件都处于获准状态。共享基础设施使这一生命周期尤为重要，因为硬件可能会先后服务于不同客户。

检查正在运行的系统，而不只是检查制品

模型签名仍然有用：它们回答了有关待加载制品的一个重要问题。安全启动、证明、运行时隔离和持续监控，则回答有关执行该制品的系统的其他问题。不能将其中任何一项视为其他所有措施的替代品。

Eclypsium 的研究意义在于，模型可能通过一项完整性检查，但其执行链中的另一部分却已发生变化。对于将 AI 部署到影响重大的工作流程中的组织而言，在整个运行过程中，基础设施验证都应与模型评估同步进行。