Rony Ohayon，DeepKeep 的 CEO 和创始人 – 采访系列

Rony Ohayon， DeepKeep 的 CEO 和创始人，是一位经验丰富的企业家和技术专家，拥有跨越 AI、网络安全、自主系统和大规模视频技术的职业生涯。他在这些领域创立并领导了多家公司，包括在自主车辆连接、实时视频传输和高级工程方面的主要角色，以及早期的计算机工程学术工作。

DeepKeep 是一个 AI 安全平台，旨在帮助企业保护 AI、生成 AI、LLM、计算机视觉和多模态系统的整个生命周期。该公司专注于识别漏洞、阻止对抗性威胁、防止数据泄露和提示操纵、支持法规遵从性，并提供持续监控，以确保可靠、坚固和保护的 AI 部署。

您在视频传输、自主车辆连接和 AI 系统方面领导了重大创新。是什么让您相信，下一个需要解决的主要挑战是保护企业 AI？

我一直被解决高影响力挑战的动力所驱动，这些挑战可以重塑行业。多年来，我注意到一个反复出现的模式，即新技术，尤其是 AI，往往超过安全措施，留下关键漏洞。

企业对 AI 的采用，特别是大型语言模型（LLM）和代理 AI 的兴起，开启了一个新的风险领域，企业往往感到不知所措和缺乏准备，以安全和自信地利用这些系统。我的 AI 系统经验凸显了将安全性融入这些技术核心的重要性，以确保它们不仅创新，还安全可靠，产生可靠的结果以支持企业主动性。这一认识导致了 DeepKeep 的成立，专注于保护 AI 系统，以便企业可以自信地采用 AI，以提高生产力和业务增长，而不损害安全性或隐私。

当您和您的联合创始人在 2021 年推出 DeepKeep 时，您认为哪个特定的 AI 安全盲点表明需要一个专用的平台，您是如何让这种洞察塑造公司的早期方向的？

在多年从事计算机视觉工作后，我们意识到需要设计一个专用解决方案，以确保计算机视觉中的信任和安全性。

2021 年，在 LLM 爆发之前，我们推出了 DeepKeep，以解决计算机视觉模型中的这些风险。

您能带我们回到最早的原型——它实际上做了什么，团队有多小，以及您如何验证您走在正确的道路上？

当我们创立 DeepKeep 时，重点仍然在传统 AI 上——计算机视觉、表格模型和早期 NLP——远在大型语言模型兴起之前。我们的第一个原型是一个系统，用于对计算机视觉分类器进行红队测试，以测试其对对抗性攻击的鲁棒性。同时，我们构建了一个早期版本的 AI 防火墙，可以实时检测和标记这些攻击。

最初的用例来自汽车、保险和金融服务领域，其中模型的不良行为会带来真正的运营风险。我们当时是一个只有八个人的小团队，这使我们能够快速迭代并早期产生一个功能性的原型。

我们通过直接与潜在客户交谈来验证我们走在正确的道路上，他们一致强调对抗性鲁棒性是一个日益增长的担忧。同一时间，像 MITRE 的 ATLAS（2021 年首次发布）这样的框架开始出现，这是 AI 安全和对抗性威胁建模领域即将增长的重要外部信号。客户反馈和行业方向之间的对齐让我们相信我们走在正确的道路上。

DeepKeep 从一开始就被设计为保护 AI 系统，而不是传统软件。您如何优先考虑要首先关注哪些模型类型和攻击面？

从一开始，我们就知道保护企业 AI 需要一个范式转变。虽然许多组织足够聪明，知道他们需要为自己使用的模型执行渗透测试和评估，但我们理解这些行动只是开始。真正的风险出现在整个应用程序生态系统中，而不仅仅是模型本身。

因此，虽然保护独立的 AI 聊天机器人使用传统的红队测试是行业的起点，但我们很快转向了开发能够保护自定义 AI 应用程序和 AI 代理的解决方案，并将演变为保护下一步，即代理之间相互交互并存在显著的跨域智能的情况。

我们在所有模型类型上启用模型扫描，并保护最紧急的威胁，例如对抗性攻击、数据泄露、系统滥用和信任侵蚀，通过对模型进行红队测试并应用保护 AI 提示和响应的防护栏。

最重要的是，我们还通过了解模型运行的上下文来保护 AI 的“语义层”。这确保模型不能被轻易操纵。

您在创立 DeepKeep 和当前产品方向之间做出了哪些最大的技术或战略转变？

我们做出的最重要的决定之一是扩大范围，从传统的模型安全转向 AI 应用程序安全。最初，我们专注于保护单个模型，但随着 AI 景观的演变，我们意识到保护整个 AI 生态系统（其中多个模型、代理和用例相交）更加关键。这导致我们扩大了我们的方法，包括红队测试、全面 AI 防火墙来保护每个与 AI 的交互（代理、员工和应用程序），以及运行时监控。

另一个关键决策是提供全面的部署灵活性，包括云无关、内部部署和空气隔离解决方案，允许企业在任何环境中安全地部署 DeepKeep。我们最近还将行业领先的个人可识别信息防护栏集成到我们的平台中，为客户提供了更深层次的数据保护，并确保企业可以在扩大 AI 使用时满足全球合规性要求。

DeepKeep 同时强调安全性和可靠性。在公司的身份认同中，这种双重关注点是在什么阶段成为核心的？

对安全性和可靠性的关注很早就变得明显，特别是当我们开始更深入地了解客户及其需求时。

处理 AI 模型时，安全性和可靠性是同等重要的，因为最终都可能导致有害和破坏性的结果。应用程序不能同时强健和不可靠，反之亦然。

传统的网络安全工具并不是为提示注入、幻觉、数据泄露或模型操纵而设计的。您看到企业在这些新兴威胁向量中挣扎最多的是哪一个，您又是如何让这些现实问题影响 DeepKeep 的架构的？

在这些新兴威胁中，提示注入和数据泄露是我们看到企业最苦恼的。随着 AI 应用程序和 AI 代理越来越多地集成到业务流程中，提示操纵和敏感数据意外泄露的风险更加明显。这些问题导致我们设计 DeepKeep，以关注上下文安全，保护不仅仅是模型，还保护 AI 生态系统中的整个数据流和交互。我们的基础设施是为在开发阶段对这些层进行渗透测试和在运行时保护而设计的，通过保护每个 AI 交互。

您的平台结合了防护栏、红队测试和数据保护层。从技术角度来看，哪一个在企业规模上最难以工程化，您在构建一个需要适应快速发展的 AI 模型的系统时又学到了什么？

每一层——防护栏、红队测试和数据保护——都带来了自己的工程挑战，但我们发现所有这些层面都面临的共同挑战实际上最困难。

第一个挑战是变化的步伐：新的风险、越狱和攻击技术不断出现，因此任何静态的东西都会很快变得过时。第二个挑战是上下文采纳：在企业中，一个放之四海而皆准的方法根本行不通，因为每个应用程序都有不同的政策、数据敏感性和用户行为。

为了解决第一个挑战，我们构建了一个完全模块化的架构，具有插件式组件，允许我们快速添加新的攻击到红队测试引擎或新的防护栏到防火墙中，而不会破坏系统。

为了解决第二个挑战，我们设计了一个代理、上下文感知系统。它分析应用程序的环境，并自动适应相关的安全措施——这是必不可少的，当底层 AI 模型和用例演变如此之快时。

这两个能力——模块化和上下文感知——在企业规模上运作并跟上快速发展的 AI 系统的步伐方面至关重要。

AI 安全是一个不断演变的学科。您在企业内部看到哪些差距——无论是在政策、工具还是风险理解方面——这些差距直接影响了您如何设计 DeepKeep 的安全栈和客户入职流程？

差距在很大程度上取决于行业、公司规模和 AI 采用成熟度。

我们在今天的大型企业中看到的最大差距之一是缺乏一个涵盖所有 AI 安全需求的单一解决方案。许多企业都意识到他们需要 AI 安全解决方案，但随着采用率的增加，对额外安全覆盖的需求也在增加。我们很早就认识到，一个强大的、端到端的解决方案具有多种功能，可以协同工作并无缝集成的价值。客户从一个整体大于部分之和的解决方案中受益。

当市场成熟时，我们确定了另一个差距，即组织正在寻找更定制化、更少通用化的安全工具来保护他们的代理和应用程序。我们采取上下文感知方法的原因之一是为了解决这个差距，认识到每个应用程序和代理都是不同的，需要相应地进行保护。

展望未来五年，您预计企业 AI 风险将如何演变，您认为 DeepKeep 需要如何定位才能在未来保持领先地位？

我预计未来五年中最大的 AI 风险将随着 AI 自主性的进步而演变。随着代理变得更加自主，集成到每个业务操作中，并能够执行复杂任务，安全漏洞和滥用风险将会增加。我们预见将会发展出一个“代理互联网”（IoA），在那里代理将相互交互，形成一个更加复杂的 AI 交互网络需要保护。

为了保持领先，我们将继续发展 DeepKeep 的平台，以保护这些日益复杂的 AI 系统，确保我们在多个 AI 模型上提供运行时保护，并支持 AI 驱动决策的日益增长的趋势。我们的目标是成为企业可以依赖的可靠合作伙伴，以保护整个 AI 生态系统，无论它变得多么复杂。

感谢这次精彩的采访，希望了解更多的读者可以访问 DeepKeep。