从生成式到代理式 AI：从内容风险到执行暴露的转变

企业 AI 正在迅速发展。从最初的生成式 AI 协同编辑邮件和总结文档，到现在的代理式 AI 系统，它们可以规划、决策和执行任务，跨越多个工具和环境。

这是从生成式到代理式 AI 的转变。它使风险发生了变化。

生成式 AI 引入了内容风险，包括幻觉、数据泄露和偏见输出。代理式 AI 暴露发生在其自治系统中，这些系统具有权限、内存和以机器速度访问所有可用工具的能力。

这是一个机会，作为安全、治理或 AI 专业人员，可以重新评估您对这些新风险的立场。

什么是代理式 AI 风险？

代理式 AI 风险 指的是由自治 AI 系统带来的安全、运营和治理风险，不仅仅是生成文本，还包括在企业系统上执行多步骤工作流程。

与传统的大型语言模型（LLM）不同，代理式系统可以将任务分解为动态工作流程，发出外部 API 请求，调用内部应用程序，并存储和回忆记忆。它们还可以在委托身份下运行，并与其他代理式系统通信。

换句话说，它们不像聊天机器人，而更像初级数字员工。这代表着 AI 代理式系统攻击面的巨大增加。

生成式与代理式 AI：有什么变化？

生成式 AI 风险集中在输出上。安全团队会问诸如模型是否泄露数据、是否产生幻觉或是否生成有害或不合规内容等问题。

人类仍然处于循环中。AI 提出建议，人类批准。

代理式 AI 风险 是行动导向的。现在，安全团队必须问自己代理式系统可能与哪些系统交互，哪些权限它将继承，计划可能达到什么程度，如果它在运行时被欺骗会发生什么。

区别可能很小，但很重要：生成式 AI 创建内容。 代理式 AI 创建后果。这是从内容风险到执行暴露的转变。

代理式 AI 如何扩大企业攻击面？

代理式 AI 不仅仅添加一个新应用程序，它创建了一个新的运营层。以下是攻击面的增长方式：

1. 特权 AI 代理式系统

有许多代理式系统代表用户或服务帐户运行。当权限范围不紧密时，它们会成为有价值的目标。

这可能导致混淆代理问题、权限升级和横向移动。这是一个问题，当云、SaaS 和内部系统提供动态或继承的访问权限给代理式系统时。

2. 动态执行路径

传统应用程序中的控制流是确定的。代理式 AI 系统中的控制流是不确定的。

它们推理目标、操作、反思、改进并以非确定性方式调用工具。这导致难以分析的故障情况、复杂的依赖关系图和多代理式系统中的级联故障。为确定性控制流开发的安全控制在这里不适用。

3. 持久内存

代理式系统引入的攻击面是持久的。

当短期或长期内存被破坏时，恶意状态可以影响多个会话的决策。这与单次注入提示不同，内存破坏提供了持久性。

4. 机器速度决策风险

自治代理式系统以人类无法匹配的速度做出决策。这带来了机器速度决策的挑战，例如快速错误传播、滥用循环远快于人类反应，并在检测之前升级。

在多代理式系统中，影响范围很快。恶意代理式系统可以 触发故障级联。

为什么传统控制措施在代理式 AI 中失败

大多数传统企业安全模型依赖于静态应用程序、可预测的调用图、人类批准和数据处理与执行之间的明确分离。代理式 AI 使这些假设失效。

例如，传统的输入验证控制可以保护系统的边界。然而，代理式风险通常出现在循环中，规划、反思或工具阶段。

传统的漏洞扫描也关注基础设施和软件。然而，AI 执行风险居于代理式系统的推理和操作层。

问题是：如何保护可以选择下一步行动的东西？你不能简单地将控制措施包裹在单个模型调用中。你必须保护工作流程。

保护代理式 AI：什么是有效的？

在保护代理式 AI 时，必须从周界思维转变为生命周期思维。代理式系统不应被允许无限重新解释目标，并且有几种方法可以实现这一点。

建立允许的目标序列，规范计划扩展树的深度，监测推理偏差，并禁止代理式系统超出范围自行制定目标都是必不可少的控制措施。推理中的意外变化往往是操纵的前奏。

加强工具执行。工具是计划与现实相遇的地方，安全性需要在工具执行之前进行权限检查、沙盒执行环境、严格的参数验证和即时凭证转移。每次工具执行都需要作为一级安全事件进行记录。

隔离内存和权限范围。内存需要被视为敏感基础设施。这意味着验证写入操作、内存域分区、限制每个任务的读取操作范围、使用短期凭证和防止继承的权限。未经验证的权限积累是代理式 AI 的主要风险。

保护多代理式系统的协调。分布式代理式系统中，通信本身成为攻击向量。这意味着代理式系统身份验证、消息模式验证、受限通信渠道和监测异常影响模式。当协调偏离预期流程时，隔离应该自动发生。

从暴露管理到 AI 系统的暴露评估

这是一个更广泛的安全理念变得关键的地方。传统的漏洞管理识别已知的弱点。然而，自治 AI 系统引入了涌现的暴露：配置、权限设计、集成路径和动态行为带来的风险。

这与行业所说的暴露管理和暴露评估相一致。

暴露管理是关于对系统（包括云资产、身份、应用程序和现在的 AI 代理式系统）创建可以被恶意行为者利用的路径具有持续的可见性。

对于自治 AI 系统的安全性，这意味着要问：这个代理式系统可以访问什么？它聚合了什么权限？它编排了哪些系统？执行与敏感数据的交叉点在哪里？

已经使用基于暴露的策略来减少网络风险的团队处于一个很好的位置，可以将这些原则扩展到他们的 AI 环境中。例如，统一身份、云和漏洞可见性的平台提供了一种方法来了解特权 AI 代理式系统如何与现有的攻击路径相交叉。

关键不是供应商工具本身，而是思维方式：

你不通过保护模型来保护代理式 AI。你通过持续测量和减少其暴露来保护它。

管理代理式 AI 的执行层风险

代理式 AI 安全性的标志是：攻击面不是响应，而是工作流程。

执行层风险包括未经身份验证的工具使用、身份欺骗、权限蔓延、内存中毒、跨代理式系统操纵和人机混合系统处于强制状态。

减轻这些风险需要对身份关系、权限继承、API 依赖、运行时活动和执行遥测具有可见性。

这不再只是 GenAI 安全；这也是 AI 运营安全。

代理式 AI 风险是架构性的，而不是假设性的

代理式 AI 是企业 AI 采用的下一步发展。它承诺了效率、自动化和可扩展性。然而，它也 引入了风险，从 AI 说什么到 AI 做什么。

从生成式到代理式系统的转变影响以下方面：

• 内容风险到执行风险
• 静态提示到动态执行流程
• 人工审查到自治执行
• 应用程序安全到暴露管理

理解这一转变的安全领导者可以设计出与自治性相适应的防护措施。其他人将最终拥有没有内部控制的数字内部人员。

企业 AI 的未来是代理式的。AI 安全的未来必须是暴露驱动、工作流程感知和为机器速度操作而设计的。

因为一旦 AI 代理式系统具有执行能力，唯一可行的方法就是不断了解（和减轻）它们暴露的内容。