Рони Охайон, DeepKeep 首席执行官兼创始人 – 专访系列
Рони Охайон, DeepKeep的首席执行官兼创始人,是一位经验丰富的企业家和技术专家,其职业生涯横跨人工智能、网络安全、自主系统和大规模视频技术领域。他在这些领域创立并领导了多家公司，包括在自动驾驶汽车连接、实时视频传输和高级工程方面担任重要职务，并早期从事计算机工程方面的学术工作。DeepKeep 是一个人工智能安全平台,旨在帮助企业在其整个生命周期内保护人工智能、生成式人工智能、大型语言模型、计算机视觉和多模态系统。该公司专注于识别漏洞、阻止对抗性威胁、防止数据泄露和提示词操纵等问题、支持法规遵从性，并提供持续监控,以确保人工智能部署的可信、弹性和受保护。您在视频传输、自动驾驶汽车连接和人工智能系统领域引领了重大创新。您职业生涯中的哪些经历让您确信,下一个需要解决的主要挑战是保护企业人工智能？我一直有动力去应对那些重塑行业的高影响力挑战。多年来,我注意到一个反复出现的模式,即新技术,尤其是人工智能,其发展速度常常超过安全措施, 留下关键漏洞。企业采用人工智能, 特别是随着大型语言模型和智能体人工智能的兴起,开辟了一个新的风险领域,而企业常常感到不知所措,无法安全、自信地利用这些系统。我在人工智能系统方面的经验突显了安全性整合到这些技术核心的重要性,以确保它们不仅具有创新性,而且安全可靠, 能够产生可靠的结果来主动支持业务。这一认识促使了 ДипКип的创立,专注于保护人工智能系统,使企业能够自信地拥抱人工智能以提高生产力和业务增长，同时不损害安全性或隐私。当您和联合创始人在Дата выхода DeepKeep, 2021 г. 时, 是哪个具体的人工智能安全盲点让您确信迫切需要专门的平台？这一见解如何塑造了公司最初的方向？经过多年在计算机视觉领域与人工智能打交道,并付出了巨大努力以确保其可靠性和鲁棒性后,我们意识到是时候设计一个专门的解决方案来确保计算机视觉领域的信任和安全了。在 2021 год, 2021 год, 2021 год, 2021 год, 2021 год, DeepKeep. 来应对计算机视觉模型中的这些风险。能否带我们回顾一下最早的雏形——它实际做了什么,团队规模有多小,以及您如何验证自己走对了方向？当我们创立ДипКип 时, 重点仍然是传统人工智能——计算机视觉、表格模型和早期自然语言处理——远在大型语言模型兴起之前。我们的第一个原型是一个用于对计算机视觉分类器进行红队测试的系统,以测试其对抗对抗性攻击的鲁棒性。与此同时，我们构建了一个人工智能防火墙的早期版本，可以实时检测并标记这些攻击。最初的用例来自汽车、保险和金融服务行业，在这些领域,模型行为不当会带来真正的运营风险。当时我们是一个大约八人的小团队, 这使我们能够快速迭代并尽早开发出功能原型。我们通过直接与潜在客户交谈来验证我们走对了方向，他们一致强调对抗性鲁棒性是一个新兴的关注点。大约在同一时间，像МИТРА 的 АТЛАС（首次发布于 2021 年）这样的框架开始出现,这是一个重要的外部信号, 表明人工智能安全和对抗性威胁建模领域即将增长。客户反馈与行业方向之间的一致性让我们确信我们正朝着正确的方向前进。DeepKeep 从一开始就被设计用于保护人工智能系统,而非传统软件。您是如何优先确定首先关注哪些模型类型和攻击面的？从一开始，我们就知道保护企业人工智能需要范式转变。虽然许多组织都足够精明,知道需要对他们使用的模型进行渗透测试和评估,但我们明白这些行动仅仅是开始。真正的风险出现在完整的应用生态系统中,而不仅仅是模型本身。因此, 虽然使用传统红队方法保护独立的人工智能聊天机器人是行业的起点,但我们迅速转向开发保护定制人工智能应用和人工智能智能体的解决方案, 并将进一步发展以保护智能体相互交互、存在显著跨领域智能的下一阶段。我们支持对所有模型类型进行模型扫描，同时也通过红队测试模型和应用保护人工智能提示词和响应的护栏,来防范最紧迫的威胁,如对抗性攻击、数据泄露、系统滥用和信任侵蚀。至关重要的是, 我们还通过理解模型运行的上下文来保护人工智能的“语义层”。这确保了模型不易被操纵。在创立阶段和ДипКип 当前的产品方向之间，您做出了哪些最大的技术或战略调整？我们做出的最大决策之一是超越传统的模型安全，进入人工智能应用安全领域。最初,我们专注于保护单个模型，但随着人工智能格局的演变，我们意识到保护整个人工智能生态系统（多个模型、智能体和用例在此交汇）更为关键。这促使我们拓宽方法,纳入了红队测试、一个全面的 AI 防火墙来保护智能体、员工和应用程序与...
