Jonathan Zanger，Check Point 首席技术官 – 采访系列

Jonathan Zanger，Check Point 首席技术官，拥有罕见的精英军事情报经验、深厚的 AI 专长和跨初创公司和全球企业的运营领导经验。在担任现任职务之前，他曾在 Trigo 担任首席技术官，领导开发了下一代 AI 和计算机视觉系统，实现了无缝零售和大规模的损失预防，同时将产品和研发与实际的商业部署保持一致。早些时候，他在 Trigo 和以色列精锐部队 Unit 8200 担任过高级研发领导职务，曾负责国家级别的网络安全和情报工作，并因其工作获得了最高国家认可。

Check Point Software Technologies 是全球领先的网络安全公司，提供 AI 驱动、云交付的安全解决方案，旨在保护企业和政府免受日益复杂的数字威胁。该公司为全球超过 100,000 家组织提供服务，拥有一个全面的平台，通过预防为主的方法，保护网络、云环境、终端和用户，旨在在攻击发生之前阻止攻击。其集成架构利用人工智能和实时威胁情报简化安全操作，降低风险，并使组织能够在采用 AI、云计算和分布式系统时安全扩展。

您曾领导大规模的网络安全和 AI 计划，构建了 Trigo 的 AI 驱动系统，现在负责 Check Point 的 AI 战略。在 AI 系统从受控环境转移到生产环境时，特别是当它们被授予访问工具和企业数据的权限时，您观察到了哪些具体的故障模式？

两件事在生产中发生了根本性的变化。首先，规模将边缘情况转变为日常事件。0.1% 的假阳性率在实验室中听起来很好，但当您处理数百万次交互时，这意味着需要关注的数千个事件。测试中的统计异常在大规模中成为运营现实。

其次，生产意味着对抗性暴露。在受控环境中，输入是良性的和可预测的。在现实世界中，一些用户和威胁者将积极地尝试欺骗系统，利用所有不可信的数据通道来操纵行为。从演示到生产的转变不是一个扩展问题。这是一个从合作环境到竞争环境的转变，这需要根本不同的设计假设。

在代理系统中，模型可以调用 API、执行代码和链式操作，安全团队仍然没有正确地检测到的最关键的攻击面是什么？

大多数团队低估的关键面是数据本身。代理系统通常访问不可信的数据源 – 来自电子邮件、网站、Jira 票、开源代码、外部文档的数据。这些数据被模型作为其推理过程的一部分进行分析。

这产生了两个具体的风险。首先，内存中毒 – 被操纵的内容微妙地影响模型的未来响应和决策，而没有明显的提示注入。其次，间接提示注入 – 在外部数据中嵌入对抗性指令，并从内部“越狱”模型。攻击者永远不会直接接触提示。他们只需在代理将要找到它们的地方“种植”指令。

提示注入通常被视为模型问题，但在实践中，它变成了一个系统级问题。企业应该如何重新设计其架构，以隔离模型输入、工具执行和敏感数据访问？

提示注入不是一个具有通用解决方案的通用问题。是否给定输入是合法的或对抗性的取决于上下文。要求代理“更改管理员密码”在技术支持代理中是完全合法的。如果这是在线零售商的聊天机器人，则这是一个攻击。

这就是为什么架构比任何单一的检测技术更重要。系统需要同时使用确定性和非确定性机制。确定性控制根据代理的身份、用户的身份和系统的定义角色来管理对工具和数据的访问。基于模型的非确定性控制添加了理解语言、上下文和意图的能力。您需要这两层 – 严格的策略执行和智能上下文推理 – 因为没有一个单独的层次是足够的。

许多 AI 代理依赖于检索增强生成和外部数据源。这些管道中数据中毒和上下文操纵的风险是什么，以及如何在运行时减轻这些风险？

风险取决于数据流的方向。对于内部数据源，主要风险是敏感数据泄露 – 个人身份信息泄露、跨客户数据共享、内部信息被未经授权的方访问。对于外部数据源，风险包括来自未经验证信息的模型偏差、在检索内容中嵌入的间接提示注入以及对不可信或操纵的源的依赖。

减轻需要在事务级别、实时发生。每个代理交互都需要在两个方向上得到保护：确保内部敏感数据不会泄露到外部，外部信息不会被注入系统或模型中。您不能仅在摄取时解决这个问题，因为上下文是动态的，威胁格局不断变化。

您的 AI 防御平面引入了一个统一的控制层，横跨员工 AI 使用、应用程序和代理系统。构建一个可以在如此分散的 AI 堆栈中观察和执行策略的系统的最大架构挑战是什么？

我们相信，在不久的将来，代理工作负载将跨越终端、应用程序、SaaS 服务和云工作负载 – 所有这些都通过我们称为“代理互联网”的方式相互连接。AI 防御平面的理念是发现、管理和保护这种不断演变的企业代理基础设施，所有这些都在一个控制面板中。

核心的架构挑战是动态地评估每个代理的风险配置文件和上下文，同时为每个代理事务开发高效的实时保护。这意味着在生产速度和规模下保持高的阻塞率和最小的假阳性 – 跨多个运行环境。构建一个可以在如此分散和快速演变的 AI 堆栈中一致地观察和执行策略的系统需要我们从根本上重新思考如何在基础层面上抽象和评估 AI 活动。

平台强调了在机器速度下跨语言和工作流进行实时决策的重要性。您如何在生产环境中平衡延迟约束与对 AI 驱动动作的深入检查和控制的需求？

我们开发和训练基础模型，专门用于威胁预防，然后使用蒸馏技术使其变得极其高效。这使我们能够快速运行推理，并且计算最小化 – 即使在 CPU 或普通 GPU 上 – 同时保持多语言和多模式覆盖，包括图像和音频分析，具有最大准确性。

这种方法使我们能够在不成为瓶颈的情况下深入检查代理事务。引入不可接受延迟的安全措施将被绕过。能够在工作流中不可见地执行有意义的控制的安全措施才是真正被部署和保持部署的安全措施。

AI 代理越来越多地在多个系统中以委托权限运行。组织应该如何重新思考非人类行为者的身份和访问管理，特别是当代理通过工具使用动态扩展其范围时？

大多数组织犯的错误是将 AI 代理视为人类用户的扩展或传统服务帐户。两种模型都不适合。将它们视为数字员工 – 具有定义的角色、职责和边界的实体。

代理身份应该由三个维度定义：代理正在执行的特定工作流、创建或拥有代理的用户以及当前与代理交互的用户。所有三个因素都影响代理应该被允许做什么。除此之外，组织需要将零信任原则应用于代理 – 永远不要基于来源假设信任，持续验证行为，并在每一步强制执行最小特权访问。没有这些，代理将默默地积累比任何人预期的更多的权威。

目前，大多数企业都有影子 AI 使用，包括协同机器人、插件和内部脚本。安全团队应该收集哪些遥测数据来真正了解 AI 如何与敏感数据交互？

可见性需要在代理事务级别运行 – 不仅仅是提示和响应，还包括工具调用、工具返回的数据以及随后采取的操作。安全团队需要看到整个链条：被问了什么、访问了什么数据、调用了什么工具、传递了什么参数，以及接下来发生了什么。

没有这种事务级别的遥测数据，您无法回答关于暴露、滥用或影响的基本问题。影子 AI 之所以危险，并不是因为它存在。它之所以危险，是因为它在没有这种治理或洞察力的情况下运行。

对代理系统进行红队测试与测试静态应用程序根本不同。您如何模拟多步骤工作流中的对抗性行为，以及哪些类型的漏洞最常被发现？

我们运营 Gandalf（https://gandalf.lakera.ai），这是世界上最大的 AI 红队测试。它是一个众包平台，真实用户尝试说服 AI 代理违反其防护措施。这给了我们一个独特且不断增长的实际对抗性技术数据集 – 不是理论攻击，而是人们用来操纵 AI 系统的策略。

我们利用这个数据集来驱动我们的红队能力。我们看到最常见的攻击涉及用户逐渐说服代理违反其约束 – 通过间接提示注入、创造性地重新构建、上下文操纵和跨多步骤交互的增量信任利用。这些问题在仅测试单个提示时是不可见的。你必须测试序列和持续的对抗性活动。

随着攻击者开始使用自主代理持续探测系统，您是否预计防御将转向由 AI 驱动的实时自适应控制，并且这种架构在实践中是什么样子？

是的。静态防御无法跟上自主攻击者的步伐。防御必须变得自适应、实时驱动和自动化。这意味着实时监控 AI 行为、持续风险评估和立即执行当政策被违反时的政策。AI 驱动攻击的速度和规模将仅被同样快速、以机器速度运行的防御所对抗。

在实践中，安全性成为一个反馈循环，而不是规则集。AI 系统被观察、评估和约束，动态地以与其运行相同的速度和规模进行。这种转变对于组织想要在企业范围内安全地部署 AI 至关重要。

感谢这次精彩的采访，希望了解更多的读者可以访问 Check Point Software Technologies。