Mateo Rojas-Carulla 是 Check Point Software Technologies 的研究负责人,负责 AI 代理安全。之前,他是 Lakera 的联合创始人和首席科学家,Lakera 于 2025 年被 Check Point 收购。在创立 Lakera 之前,Mateo 曾在 Google、Credit Suisse、Facebook 和 Speechmatics 工作。他从剑桥大学和图宾根的 Max Planck 研究所获得了机器学习博士学位。
当 AI 从受控实验转向现实世界应用时,我们正在进入安全格局的转折点。从静态语言模型到交互式、代理系统的转变,这些系统能够浏览文档、调用工具和编排多步骤工作流,该转变已经在进行中。但是,最近的研究表明,攻击者并没有等待成熟:他们正在以同样的快速速度适应,探测系统的漏洞,一旦新的功能被引入。在 2025 年的第四季度,我们的团队在 Lakera 分析了真实的攻击者行为,跨越了由 Guard 保护的系统和 Gandalf:Agent Breaker 环境 —— 一个集中、30 天的快照,尽管时间窗口狭窄,但反映了我们在整个季度中观察到的更广泛的模式。 发现 清楚地描绘了一幅图景:只要模型开始与简单的文本提示以外的内容交互(例如:文档、工具、外部数据),攻击面就会扩大,攻击者会立即调整以利用它。这种时刻可能让那些观察过早期 Web 应用程序演变或观察过 API 驱动攻击崛起的人感到熟悉。但是,随着 AI 代理的出现,赌注是不同的。攻击向量的出现速度比许多组织预期的要快。从理论到实践:野外的代理在 2025 年的大部分时间里,围绕 AI...