SPLX 的 CISO 桑迪·邓恩 – 采访系列

桑迪·邓恩，SPLX 的 CISO，是一位拥有 20 多年经验的资深 CISO，曾在医疗保健和初创公司领域工作，通过 QuarkIQ 提供 CISO 咨询服务。她领导了 OWASP Top 10 for LLM Applications 网络安全和治理检查清单，并为 OWASP AI Exchange、OWASP Top 10 for LLM 和云安全联盟做出贡献。作为波伊西州立大学的网络安全兼职教授，她也是波伊西州立大学普遍网络安全研究所的频繁演讲者、顾问和董事会成员。桑迪拥有 SANS 的信息安全管理硕士学位和多个认证，包括 CISSP、SANS GIAC 凭证、Security+、ISTQB 和 FAIR。

SPLX 是一家网络安全公司，提供从自动红队攻击到运行时保护、治理、补救、威胁检查和模型安全的 AI 系统全方位保护。其平台可以在一小时内运行成千上万的对抗性模拟，以识别漏洞，在部署前加固系统提示，并包括 Agentic Radar，一种用于映射和分析多代理人 AI 工作流程中风险的开源工具。

是什么让你最初对 AI 和网络安全的交叉点感兴趣，并且这条道路如何让你来到 SPLX 并参与 OWASP 的工作？

AI 已经成为网络安全讨论的一部分很多年了，但它经常感觉像没有达到预期。所以，当 ChatGPT 发布时，我预计会感到失望，但相反，我有完全相反的反应。当我第一次使用 ChatGPT 时，我对它能做的事情感到惊讶，也对它可能被用来进行对抗性攻击或隐私滥用的速度感到恐惧。那一刻点燃了我的激情。我全身心地投入到 LLM 中，阅读我能找到的每一篇研究论文，加入每一个相关的 Slack 和 Discord 社区，并进行自己的实验。我在 OWASP Top 10 for LLMs 频道中潜伏了一段时间，当第一个列表发布时，我知道这是一个重要的里程碑。但是，作为一名 CISO，我觉得安全团队需要更多信息。我们已经告诉人们应该担心什么，但没有告诉他们该怎么做。我联系了项目负责人 Steve Wilson，关于创建“LLM 安全 CISO 清单”的事情。它后来成为第一个 OWASP GenAI 子项目，这激发了许多其他子项目的灵感。

通过这项工作，我遇到了 Kristian Kamber 和 Ante Gojsalic（SPLX 的创始人），并为许多 AI 安全初创公司提供咨询，其中一些公司有很有前途的想法，而其他公司的想法则不那么令人印象深刻。当时，我是 B2B 聊天机器人公司的 CISO，正在创建一个全面的人工智能对抗性测试手册。当我看到 SPLX 的演示时，我立即意识到他们已经解决了我正在努力解决的问题：如何使对抗性测试实现。 当 SPLX 需要一名 CISO 时，我抓住了机会加入一家了不起的公司，里面有了不起的人才，解决着重要的挑战。

作为 SPLX 的 CISO，您正在发现什么最具创新的攻击技术，特别是与代理人 AI 相关的技术？

由于 GenAI 系统设计的细微差别，无法消除 GenAI 漏洞和攻击，这些攻击利用了代理人的自主性和能力。例如，MINJA 攻击就是最近的一个例子。使用 MINJA，攻击者可以通过精心设计的交互来微妙地破坏代理人的记忆库，通过提示植入有害的“记忆”，导致代理人在以后表现出误导性或危险的行为。另一个例子是回音室攻击。这是指攻击者通过向代理人发送重复的恶意上下文来创建对话循环。研究人员能够通过在多个回合中强化有害指令来绕过安全机制。

间接和跨模式提示注入也是一个例子。恶意指令隐藏在代理人消耗的外部内容中，例如图像或文档。这些指令可以在没有用户直接输入的情况下劫持自主决策。

复杂的 AI 代理生态系统攻击，例如工具中毒，需要仔细审查整个 AI 代理部署的供应链。攻击者创建看似合法的工具用于代理平台，但在工具描述和文档中嵌入恶意指令。当代理加载这些工具时，嵌入的指令成为代理上下文的一部分，启用了未经授权的操作，例如数据泄露或系统损害。

SPLX 平台如何帮助组织检测和应对特定于 LLM 的威胁，例如提示注入或对抗性逃脱攻击？

SPLX 是一个全方位的安全平台，保护 LLM 驱动的应用程序和多代理人系统，涵盖整个 AI 生命周期，从开发到部署再到实时运行。我们的 AI 运行时保护旨在通过持续监控和过滤输入和输出来阻止这些威胁。它作为 AI 的实时防火墙，强制执行 AI 的严格行为边界。SPLX 的动态检测引擎实时标记恶意活动，确保 AI 系统安全响应并保持在预期边界内。

OWASP 更新的 GenAI 安全 Top 10 扩展了系统提示泄露和矢量数据库漏洞等关键风险。这些新威胁如何反映不断演变的对抗性格局？

2025 年 OWASP Top 10 更新反映了对 LLM 和生成性 AI 技术在现实世界场景中使用的理解的演变。重要的是要指出，有很多超过十个 LLM 威胁，但目标是确定前十个。主要变化是 LLM07 不安全插件设计被包含在供应链中，LLM010 模型盗窃被包含在无限制消费中，这为以下内容创造了空间：

1. 系统提示泄露，它确定了暴露系统提示的威胁，可以揭示代理的护栏、逻辑流程，甚至嵌入在 LLM 提示中的秘密。

2. 矢量数据库漏洞，它标志了 RAG 系统中潜在的安全问题，例如跨租户数据泄露、嵌入逆转或被毒化的文档，这些文档可能会在以后产生危险的输出。

3. 更新显示，AI 集中的攻击已经从精心设计的机会主义提示攻击演变为针对整个 AI 供应链的复杂攻击。现代攻击展示了对整个 AI 系统的战略性思考，重点关注持续性、规模和系统性影响，而不是一次性利用。

对代理架构的扩展覆盖承认了另一个关键发展。随着 AI 系统获得更大的自主性和决策能力，安全失败的潜在后果呈指数级增加。减少人工监督同时实现更强大的应用程序，对安全失败的影响产生了倍增效应。

在您看来，企业今天在部署代理人 AI 时最常被忽视的漏洞是什么？

最常被忽视的问题是传统软件和系统部署面临的相同挑战，即最小特权原则。我们仍然在努力解决人机和服务账户的最小特权问题，现在组织面临着一个新的挑战，即管理非人类身份（NIH）。人们正在部署代理人，但代理人身份和访问权限尚未被完全理解或解决。我们看到代理人被授予广泛的权限来读取文档、访问外部 API，甚至修改系统。这不是模型本身的技术缺陷，而是一种基本的架构错误。具有过多权限的已损害代理人可以造成巨大的破坏，从泄露大量数据到启动金融交易。

另一个经常被忽视或忽略的问题是代理人之间的“信任”关系。在代理人系统中，代理人经常被设计为相互通信和合作。我们看到一种新的攻击类别，即一个已损害的代理人可以伪装成一个合法的代理人，基本上成为“代理人中的代理人”。这就像特洛伊木马，但是在架构层面上。

企业安全团队在生产环境中部署代理人 AI 工具时应该采取什么行动步骤？

1. 首先制定事件响应计划。最坏的情况会是什么样子，然后逆向推导，以确保安全控制和可见性到位。当 AI 安全漏洞发生时，您的安全运营中心需要一个游戏计划书。谁会被通知？如何隔离一个已损害的代理人？回滚到已知良好状态的过程是什么？在危机发生之前拥有一个计划至关重要。

2. 攻击面清单和威胁评估。你无法保护你不知道自己拥有的东西。第一步是获取所有 AI 代理人、工具和数据访问的完整清单。它可以访问什么数据？它有什么权限？如果它被损害，潜在影响是什么？根据高影响力和最可能的威胁进行优先排序。然后与高管团队进行关于风险承受能力的坦率对话。加速 AI 活动的一个好处是，CISO、风险官、法律团队和高管团队将被迫就业务目标、风险承受能力和安全预算进行讨论。历史上，人们期望没有事件发生，预算很少。CISO 们基本上能够通过实施足够的安全措施来避免大规模事件，使他们的组织成为比安全性较差的组织更不具吸引力的目标。人工智能使这种策略变得不切实际了。

3. 实施护栏、最小特权和监控工具。范围对于任何代理人部署都很重要。定义代理人的目的、边界和权限。不要给代理人访问整个 SharePoint 库的权限，如果它只需要一个文件夹。实施限制代理人可以调用哪些 API 和可以采取哪些操作的控制。把它当作一个新来的、非常聪明的、醉醺醺的实习生。你认识到他们有惊人的能力，但你不会信任他们。你会限制他们在公司内可以做的事情，你不会给他们访问重要内容的权限，你会监控他们的行为，你可能会设置报警系统，如果他们试图做一些绝对不应该做的事情，比如访问 CEO 的办公室。

4. 实施一个专门为 AI 安全问题设计的 AI 特定安全栈，该栈与传统安全栈集成。传统安全工具不是为 GenAI 系统或代理人系统设计的。你需要实施专门为 GenAI 和代理人系统所特有的问题设计的工具，例如提示验证、输出清理和代理人行为的持续监控。这些工具需要能够检测特定于 GenAI 的微妙、语义基础的攻击。

5. 将 AI 红队攻击集成到 CI/CD 管道中。你需要根据更改的重要性和组织的风险承受能力持续测试你的代理人以发现漏洞。最近的 GPT-5 更新就是对代理人工作流的破坏性变化的一个例子。将自动红队攻击作为开发生命周期的核心部分。这有助于你在更新和更改你的代理人时识别问题。

组织如何将自动红队、CIAM、RAG 治理和监控纳入其 GenAI 风险管理策略？

关键在于集成，而不是将它们视为单独的计划。您的 GenAI 风险管理策略需要是一个连贯的框架，其中每个组件都强化其他组件。

从自动红队开始作为基础。拥有与威胁格局演变的持续对抗性测试至关重要。SPLX 平台模拟了不同风险类别的成千上万个攻击场景，测试提示注入、逃脱、上下文操纵和工具中毒。关键方面是使其成为 CI/CD 管道的一部分，以便每个代理人更新在部署之前都经过安全验证。

AI 系统的 CIAM 需要重新思考传统的身份模型。AI 代理人需要基于上下文和风险级别可以动态调整的粒度权限。实施基于属性的访问控制，考虑不仅代理人的身份，还有它处理的数据、请求访问的工具和威胁上下文。

RAG 治理尤为关键。为矢量存储中的所有内容建立数据血统跟踪。实施内容验证管道，能够检测嵌入文档中的对抗性示例或恶意指令。

对于监控，您需要能够捕获技术和行为指标的遥测。技术监控包括输入/输出分析、API 调用模式和资源消耗。行为监控关注决策质量、任务完成模式和可能指示损害的交互上下文。

集成至关重要。红队攻击的结果应该告知 CIAM 政策，监控系统应该反馈到您的 RAG 治理流程中，所有这些都需要通过集中式企业风险管理平台协调，该平台可以在所有这些领域中关联信号。

随着 AI 相关的违规行为仍处于初期阶段但即将增长，安全领导者在接下来的 12 到 18 个月内应该为哪些趋势做好准备？

我预计会看到针对包括 AI 基础设施在内的一切的供应链攻击大幅增加。AI 供应链攻击会毒害训练数据集、损害模型存储库或将恶意代码注入软件依赖项，以获得对 AI 系统的持久访问权。

已经有一股针对自动化社会工程学的浪潮，例如深度伪造语音诈骗事件，但让我担心的是完全自动化生成的演变。AI 代理人处理整个社会工程学活动，跨多个平台，针对特定目标和上下文，这将产生倍增效应，传统防御无法应对。

我相信我们将看到针对机器速度运行的 AI 本土攻击的崛起。传统安全工具和人类分析师无法跟上能够在毫秒内执行复杂、多阶段利用的攻击者。

您如何预见监管和合规框架将如何演变，以应对生成性 AI 的风险？

我预计监管框架将会发生重大转变，旨在平衡创新与对问责制、透明度、安全开发实践和供应链安全性的关注。

我预计会看到对数据来源和完整性的关注。监管机构将希望知道用于训练和增强 AI 模型的数据来自哪里。他们将希望看到数据被清理的证明，证明它不包含敏感信息，并且没有被毒化。

最后，我认为我们将看到针对特定行业的监管。金融机构使用 AI 代理人处理交易的风险与医疗机构使用 AI 代理人进行诊断的风险不同。

监管机构将开始为关键行业制定具体标准，要求自动红队、人工干预监督和 AI 系统的严格审计，这些系统可能对生命或死亡产生影响。

作为波伊西州立大学的兼职教授和普遍网络安全研究所的董事会成员，您如何为下一代 AI 安全专业人员做准备，他们需要具备什么技能，您认为在当前不断演变的格局中最为关键？

批判性思维和问题解决能力仍然是学生在网络安全领域拥有伟大职业生涯所需的最重要的技能，但诸如人格心理学和语言学等技能，这些技能曾经只在网络威胁情报团队中发现，现在将有益于各种网络安全职位。在 AI 的未来。

人际交往和沟通技巧也很重要。网络安全不仅仅是关于 IT 系统，它是关于人、帮助企业实现其业务目标，并能够将复杂的技术风险翻译和传达给非技术利益相关者，以便他们可以为公司做出正确的决定。网络安全的未来将取决于不仅仅在技术上很聪明，而且也很有基础和很好的沟通技巧的专业人士。

最后，AI 安全格局正在如此快速地演变，因此能够快速学习和适应将至关重要。

感谢您这次精彩的采访和详细的见解，希望阅读更多的读者可以访问 SPLX。