Rony Ohayon，DeepKeep 的 CEO 和创始人 – 采访系列

Rony Ohayon， DeepKeep 的 CEO 和创始人，是一位经验丰富的企业家和技术专家，拥有跨越 AI、网络安全、自主系统和大规模视频技术的职业生涯。他曾创立和领导多家公司，担任过多个领域的重要职务，包括自主车辆连接、实时视频传输和高级工程，以及早期的计算机工程学术工作。

DeepKeep 是一个 AI 安全平台，旨在帮助企业保护 AI、生成式 AI、LLM、计算机视觉和多模态系统的整个生命周期。该公司专注于识别漏洞、阻止对抗性威胁、防止数据泄露和提示操纵、支持法规遵从性，并提供持续监控，以确保可信、坚固和保护的 AI 部署。

您曾领导过视频传输、自主车辆连接和 AI 系统等领域的重大创新。是什么让您相信，下一个需要解决的重大挑战是保护企业 AI？

我一直被高影响力的挑战所激励，这些挑战可以重塑行业。多年来，我注意到一个反复出现的模式，即新技术，尤其是 AI，往往超越安全措施，留下关键漏洞。

企业采用 AI，特别是大型语言模型（LLM）和代理 AI 的崛起，开启了一个新的风险领域，企业往往感到不知所措和缺乏准备，无法安全地和自信地利用这些系统。我的 AI 系统经验凸显了将安全性融入这些技术的核心的重要性，以确保它们不仅创新，还安全和可靠，能够产生可靠的结果来支持企业主动性。这一认识导致了 DeepKeep 的成立，专注于保护 AI 系统，以便企业可以自信地采用 AI 来提高生产力和业务增长，而不损害安全性或隐私。

当您和您的联合创始人于 2021 年推出 DeepKeep 时，您认为有哪些特定的 AI 安全盲点需要一个专用的平台，您是如何让这种洞察力塑造了公司的早期方向的？

在与计算机视觉的工作中，我们意识到需要设计一个专门的解决方案来确保计算机视觉模型的可信度和安全性。

在 2021 年，大语言模型爆发之前，我们推出了 DeepKeep 来解决计算机视觉模型中的这些风险。

您能否带我们回到最早的原型——它实际上做了什么、团队有多小、以及您如何验证您走在正确的道路上？

当我们创立 DeepKeep 时，重点仍然在传统 AI 上——计算机视觉、表格模型和早期 NLP——远在大语言模型之前。我们的第一个原型是一个用于红队测试计算机视觉分类器的系统，以测试它们对对抗性攻击的鲁棒性。同时，我们构建了一个早期版本的 AI 防火墙，可以实时检测和标记这些攻击。

最初的用例来自汽车、保险和金融服务领域，在这些领域，模型的错误行为会带来真正的运营风险。我们当时是一个只有八个人的小团队，这使我们能够快速迭代并早期产生一个功能性的原型。

我们通过直接与潜在客户交谈来验证我们走在正确的道路上，客户一致强调对抗性鲁棒性的出现。同一时间，像 MITRE 的 ATLAS（2021 年首次发布）这样的框架开始出现，这是外部信号，表明 AI 安全和对抗性威胁建模领域即将发展。客户反馈和行业方向的对齐让我们相信我们正在走正确的道路。

DeepKeep 从一开始就被设计为保护 AI 系统，而不是传统软件。您如何优先考虑要首先关注哪些模型类型和攻击面？

从一开始，我们就知道保护企业 AI 需要一个范式转变。虽然许多组织足够聪明，知道他们需要为自己使用的模型执行渗透测试和评估，但我们理解这些行动只是开始。真正的风险出现在整个应用生态系统中，而不仅仅是在模型本身中。

因此，虽然保护独立的 AI 聊天机器人使用传统的红队测试是行业的起点，但我们很快转向开发保护自定义 AI 应用和 AI 代理的解决方案，并将发展到保护下一步，即代理之间相互交互并具有显著的跨域智能的阶段。

我们在所有模型类型上启用模型扫描，并保护最紧急的威胁，例如对抗性攻击、数据泄露、系统滥用和信任侵蚀，通过对模型进行红队测试和应用保护 AI 提示和响应的防护栏。

至关重要的是，我们还通过了解模型运行的上下文来保护 AI 的“语义层”。这确保模型不能被轻易操纵。

您在创立阶段和 DeepKeep 当前的产品方向之间做出了哪些最大的技术或战略转变？

我们做出的最重要的决定之一是扩展传统的模型安全到 AI 应用安全领域。最初，我们专注于保护单个模型，但随着 AI 景观的演变，我们意识到保护整个 AI 生态系统更加关键，在那里多个模型、代理和用例相交汇。

另一个关键决策是提供全面的部署灵活性，包括云无关、内部部署和空气隔离解决方案，允许企业在任何环境中安全地部署 DeepKeep。我们还最近将行业领先的个人可识别信息防护栏集成到我们的平台中，为客户提供了更深层次的数据保护，并确保企业在扩大 AI 使用时能够满足全球合规要求。

DeepKeep 同时强调安全性和可信度。在公司的身份中，这种双重关注点是什么时候成为核心的？

对安全性和可信度的关注在我们开始更深入地了解客户及其需求时变得明显起来。

在处理 AI 模型时，安全性和可信度密切相关，因为最终都可能导致有害和破坏性的结果。一个应用程序不能同时强大和不可靠，反之亦然。

传统的网络安全工具并不是为提示注入、幻觉、数据泄露或模型操纵而设计的。您看到企业在这些新兴威胁向量中挣扎最多的是哪一个，您又是如何让这些现实问题影响 DeepKeep 的架构的？

在这些新兴威胁中，提示注入和数据泄露是我们看到企业挣扎最多的。随着 AI 应用和 AI 代理越来越多地集成到业务流程中，提示操纵和敏感数据意外暴露的风险更加明显。这些问题导致我们设计 DeepKeep，以关注上下文安全，保护不仅仅是模型本身，还包括 AI 生态系统中数据和交互的整个流程。我们的基础设施是为在开发阶段对这些层进行渗透测试而设计的，并在运行时通过保护每个 AI 交互来提供保护。

您的平台结合了防护栏、红队测试和数据保护层。从技术角度来看，哪一个在企业规模上证明最难以工程实现，您又在构建一个需要适应快速发展的 AI 模型的系统时学到了什么？

每一层——防护栏、红队测试和数据保护——都带来了自己的工程挑战，但我们发现这些层面都面临的挑战实际上是最困难的。

首先是变化的步伐：新风险、越狱和攻击技术不断出现，因此任何静态的东西很快就会过时。第二是上下文采纳：在企业中，万能的方法不起作用，因为每个应用都有不同的政策、数据敏感性和用户行为。

为了应对第一个挑战，我们构建了一个完全模块化的架构，具有插件式组件，允许我们快速添加新的攻击到红队测试引擎或新的防护栏到防火墙中，而不会破坏系统。

为了解决第二个挑战，我们设计了一个代理、上下文感知系统。它分析应用的环境，并自动适应相关的安全措施——这在 AI 模型和用例迅速演变时至关重要。

这些两个能力——模块化和上下文感知——对于在企业规模上运行和跟上快速发展的 AI 系统至关重要。

AI 安全是一个不断演变的学科。您在企业内部看到哪些差距——无论是在政策、工具还是风险理解方面——这些差距直接影响了您如何设计 DeepKeep 的安全堆栈和客户入职流程？

差距根据行业、公司规模和 AI 采用成熟度的不同而有所不同。

我们在大型企业中看到的最大差距之一是缺乏一个涵盖所有 AI 安全需求的单一解决方案。许多企业都意识到他们需要 AI 安全解决方案，但随着采用率的增加，对额外安全覆盖的需求也在增加。我们早期就了解到，一个强大的、端到端的解决方案是有价值的，该解决方案包括不同能力的协同工作和无缝集成。客户从一个整体大于部分之和的解决方案中受益。

随着市场的成熟，我们确定了另一个差距，即组织正在寻找更定制化和更少通用的安全工具来保护他们的代理和应用。我们上下文感知方法的原因之一是为了解决这个差距，认识到每个应用和代理都是不同的，需要相应地进行保护。

如果我们展望五年，企业 AI 风险将如何演变，您认为 DeepKeep 需要如何定位以保持领先地位？

我预计未来五年中最大的 AI 风险将与 AI 自主性的进步一起演变。随着代理变得更加自主，集成到每个业务流程中，并能够执行复杂任务，安全漏洞和滥用的风险将会增加。我们预见到代理互联网（IoA）的发展，在那里代理将相互交互，形成一个更加复杂的 AI 交互网络来保护。

为了保持领先，我们将继续发展 DeepKeep 的平台，以保护这些日益复杂的 AI 系统，确保我们在运行时提供跨多个 AI 模型的保护，并支持 AI 驱动决策的日益增长的趋势。我们的目标是成为企业可以依赖的值得信赖的合作伙伴，以保护他们整个 AI 生态系统，无论它变得多么复杂。

感谢这次精彩的采访，希望了解更多的读者可以访问 DeepKeep。