从生成式到代理式 AI：从内容风险到执行暴露的转变

企业 AI 正在迅速演变。从最初的生成式 AI 协同处理员起草电子邮件和总结文档，到现在更加自治的系统：能够规划、决策和执行任务的系统，跨越工具和环境。

这是从生成式到代理式 AI 的转变。它正在看到风险的转变。

生成式 AI 引入了内容风险，包括幻觉、通过提示的数据泄露和偏见输出。代理式 AI 暴露发生在其自治系统中，这些系统具有权限、记忆和以机器速度访问所有可用工具的能力。

这是一个机会，作为安全、治理或 AI 专业人员重新评估您对这些新风险的立场。

什么是代理式 AI 风险？

代理式 AI 风险 指的是由自治的 AI 系统带来的安全、运营和治理风险，不仅仅是生成文本，还包括在企业系统上执行多步骤工作流。

与传统的大语言模型（LLM）不同，代理式系统可以将任务分解为动态工作流，发出外部 API 请求，调用内部应用程序，并存储和回忆记忆。它们还可以在委托身份下运行，并与其他代理式系统进行通信。

换句话说，它们更像初级数字员工，而不是聊天机器人。这代表着 AI 代理的攻击面大幅增加。

生成式 vs 代理式 AI：有什么变化？

生成式 AI 风险集中在输出上。安全团队会问诸如模型是否泄露数据、是否可能出现幻觉或是否生成有害或不符合规定的内容等问题。

人类牢固地处于循环中。AI 提出，人类批准。

代理式 AI 风险 是面向行动的。现在，安全团队必须问自己，代理式系统可能与哪些系统交互，哪些权限它将继承，计划可能达到多远，如果它在运行时被欺骗会发生什么。

区别可能很小，但很重要：生成式 AI 创建内容。 代理式 AI 创建后果。这是从内容风险到执行暴露的转变。

代理式 AI 如何扩大企业攻击面？

代理式 AI 不仅仅添加一个新应用程序。它创建一个新的运营层。以下是攻击面如何增长：

1. 特权 AI 代理

有许多代理式系统代表用户或服务帐户运行。当权限范围不紧密时，它们会成为有价值的目标。

这可能导致混淆的副作用、权限升级和横向移动。当云、SaaS 和内部系统提供动态或继承的访问权限给代理式系统时，这是一个问题。

2. 动态执行路径

传统应用程序的控制流是确定性的。代理式 AI 系统的控制流不是确定性的。

它们根据目标、行动、反思、改进和调用工具以非确定性的方式进行推理。这导致难以分析的故障情况、复杂的依赖图和多代理式系统中的级联故障。为确定性控制流开发的安全控制在这里不适用。

3. 持久记忆

代理式系统带来的攻击面是持久的。

当短期或长期记忆被泄露时，恶意状态可以影响多个会话的决策。这与单次注入提示不同，记忆损坏提供了持久性。

4. 机器速度决策风险

自治代理以人类无法匹配的速度做出决策。这带来了机器速度决策的挑战，例如快速的错误传播、滥用循环远快于人类反应，并且在检测之前就发生了升级。

在多代理式系统中，影响范围很快。恶意代理可以 触发协调链中的故障。

为什么传统控制在代理式 AI 中失败

大多数传统的企业安全模型依赖于静态应用程序、可预测的调用图、人类批准和数据处理与执行之间的明确分离。代理式 AI 使这些假设失效。

例如，传统的控制，如输入验证，保护系统的边界。然而，代理式风险通常出现在循环的中间，在规划、反思或工具阶段。

传统的漏洞扫描也专注于基础设施和软件。然而，AI 执行风险居于代理的推理和行动层。

问题是：你如何保护能够选择下一个行动的东西？你不能简单地将控制包裹在单个模型调用中。你必须保护工作流。

保护代理式 AI：什么真正有效？

在保护代理式 AI 时，必须从周界思维转变为生命周期思维。代理不应该被允许无限地重新解释目标，并且有几种方法可以实现这一点。

建立允许的目标序列、调节计划扩展树的深度、监测推理偏移、禁止代理超出范围的自主目标都是必不可少的控制。推理中的意外变化往往是操纵的先兆。

加强工具执行。工具是计划与现实相遇的地方，安全需要在工具执行之前进行权限检查、沙盒执行环境、严格的参数验证和即时凭据转移。每次工具执行都需要作为一级安全事件进行日志记录。

隔离内存和权限范围。内存需要被视为敏感的基础设施。这意味着验证写操作、内存域分区、限制每个任务的读取范围、使用短期凭据和防止继承的权限。未经验证的权限积累是代理式 AI 的主要风险。

从暴露管理到 AI 系统的暴露评估

这是一个更广泛的安全理念的关键所在。传统的漏洞管理识别已知的弱点。然而，自治 AI 系统引入了出现的暴露：由于配置、权限设计、集成路径和动态行为而产生的风险。

这与行业所说的暴露管理和最近的暴露评估相一致。

暴露管理是关于对系统（包括云资产、身份、应用程序和现在的 AI 代理）创建可以被恶意行为者利用的路径具有持续的可见性。

对于自治 AI 系统的安全，这意味着要问：这个代理可以访问什么？它聚合了什么权限？它编排了哪些系统？执行与敏感数据的交叉点在哪里？

已经使用基于暴露的策略来降低网络风险的团队处于一个很好的位置，可以将这些原则扩展到他们的 AI 环境中。例如，统一身份、云和漏洞可见性的平台提供了一种了解特权 AI 代理与现有攻击路径交叉点的方法。

关键不在于供应商工具本身，而在于思维方式：

你不通过保护模型来保护代理式 AI。你通过持续测量和降低其暴露来保护它。

管理代理式 AI 中的执行层风险

代理式 AI 安全的标志是：攻击面不是响应，而是工作流。

执行层风险包括未经验证的工具使用、身份欺骗、权限蔓延、内存中毒、跨代理操纵和人机混合系统在胁迫下的风险。

减轻这些风险需要对身份关系、权限继承、API 依赖、运行时活动和执行遥测具有可见性。

这不再仅仅是 GenAI 安全；这也是 AI 运营安全。

代理式 AI 风险是架构性的，而不是假设性的

代理式 AI 是企业 AI 采用的下一步演进。它承诺了效率、自动化和可扩展性。然而，它也引入了风险，从 AI 说什么到 AI 做什么。

从生成式到代理式系统的转变影响以下方面：

• 内容风险到执行风险
• 静态提示到动态执行流
• 人类审查到自治执行
• 应用程序安全到暴露管理

理解这一转变的安全领导者可以架构能够与自治系统一起扩展的防护措施。其他人将最终拥有没有内部控制的数字内部人员。

企业 AI 的未来是代理式的。AI 安全的未来必须是暴露驱动的、工作流感知的，并且适用于机器速度的操作。

因为一旦 AI 代理具有执行的能力，唯一可行的方法就是不断了解（和减轻）它们暴露的内容。