网络安全

AI智能体越来越聪明,攻击面也越来越大

Gary Espinosa
将 Unite.AI 添加到您在 Google 上的首选来源
要点AI智能体不可预测的自主性形成了广阔且动态的攻击面,使传统安全模型难以应对。
查看更多
  • AI智能体不可预测的自主性形成了广阔且动态的攻击面,使传统安全模型难以应对。
  • 提示词注入攻击通过文档、网页等日常输入手段操控智能体的指令执行。
  • 多智能体系统通过信任层级结构和对关键系统的过度授权访问,危险地放大了安全风险。

当AI智能体开始代你预约会议、执行代码、浏览网页时,网络安全讨论就变了。不是缓慢转变,而是一夜之间。

原本范围受限、行为可预测的软件系统,变成了能够推理、规划并通过各种工具和API采取行动的存在。而仅仅一年前,它几乎还不知道这些工具和API的存在。

这既令人兴奋,也令人恐惧,因为自主行动带来的攻击面极其庞大,而大多数组织才刚开始理解让智能体进入自身基础设施意味着什么。

从聊天机器人到执行者

AI最初的承诺很简单:提出问题,获得答案。对大多数消费者互动而言,这仍然成立,但企业部署已不再如此。如今,智能体获得了凭证、API密钥,以及删除、创建和标注数据的能力,还能在具有现实影响的系统中执行真正的操作。

转变很快。在不到两年时间里,AI智能体从文本生成器发展为让我们能够顺畅运行多智能体架构的工具。它们读取邮件、触发工作流、查询数据库,有时还管理下属智能体。过去,这种级别的访问权限需要漫长的采购流程和人工参与。如今,只需一个配置文件和几次API调用。

访问越广,暴露越多

传统软件攻击具有一定程度上可预测的特征:已知的入口、已知的漏洞、已知的补丁。AI智能体打破了这种模式,因为它们在设计上就是动态的。它们不沿着固定的代码路径运行,而是推理下一步要做什么,因此其行为更难预测,事后审计也困难得多。

这种不可预测性有助于完成工作,也让试图利用系统的人占据优势。当智能体能在任务中途决定调用外部API或引入第三方工具时,就没有清晰的边界可供防守。

安全团队习惯于保护已知的攻击面,并监控Kubernetes成本。智能体却不断发现新的攻击面和利用手法,而无人实时梳理它们。还没等你察觉,就可能有人劫持凭证,一步掌控整个AI“有机体”。

提示注入是新的SQL注入

如果有一种攻击途径是安全研究人员反复提到的,那就是提示注入。原理很直接:攻击者不去利用代码漏洞,而是通过智能体的输入,操纵它收到的指令。嵌入网页的恶意指令,或文档、甚至电子邮件中的同类指令,都可能改变智能体接下来的行动。

尤其棘手的是,智能体往往完全照着指令行事。它们处理网页、用户消息和第三方工具提供的内容,任何内容都可能成为注入入口。一个读取被篡改文档、再根据其内容调用API的智能体已经遭到劫持,而且它很可能不会留下任何记录来清楚说明其中的因果链。

防御措施确实存在,但并不完整。将智能体操作限制在沙盒中、根据具体情境限定可调用的工具、在涉及重大后果的工作流中设置人工检查点,都能降低风险,却无法消除风险。大多数组织甚至还没有实施基本措施。

多智能体系统内部的信任问题

多智能体系统带来一层容易被低估的复杂性。当一个智能体统筹多个智能体时,就存在信任层级。统筹者向下传递指令,子智能体照办。如果统筹者被攻破,其下每个智能体实际上也都遭到攻破,损害范围会迅速扩大。

还存在授权过度的问题。智能体常常获得超过所需的访问权限,因为一开始就授予广泛权限,比逐步细化更容易。研究智能体不需要生产数据库的写入权限。

日程安排智能体不需要访问财务记录。的确,让一切相互连接会令人安心,但风险实在太高,无法让收益保持不减。实际操作中的界限往往模糊,理论上有效的最小权限原则,也在匆忙上线时被悄悄抛弃。

合理的安全措施应是什么样

没有哪一种单独的解决方案能让智能体部署变得安全。问题是多层次的,应对也必须分层。做得好的组织通常从访问控制入手:为每个智能体设定明确而有限的职责范围,并为所有涉及敏感系统或外部服务的操作设置审核步骤。

可观测性与预防同样重要。如果智能体做出意料之外的事,团队需要完整追踪它收到的指令、调用的工具,以及返回的内容。大多数日志配置并未考虑这种细致程度,事后补上很麻烦。即使会带来阻力,也值得从一开始就内置。

对抗性测试的使用也远远不足。对智能体进行红队测试,尤其是尝试注入恶意指令并观察结果,能够暴露静态代码审查永远发现不了的漏洞。这种想法或许令人不安,但那些最终会试图利用这些系统的人,已经在进行这些测试。先于他们行动,是唯一明智的做法。

最后的思考

AI智能体将在组织运作中发挥更大作用,而这种转变已经深入展开。安全讨论必须迅速跟上。风险是真实的,攻击途径是新的,抢先应对的时间窗口正在缩小。

理解自主AI系统的威胁格局已不再是可选项。这是安全与工程团队当下最重要的工作之一,而把这件事做好所需的倒计时,已经开始。

Gary 是一位拥有超过 10 年软件开发、网页开发和内容策略经验的资深作家。他专注于创作高质量、引人入胜的内容,能够推动转化并建立品牌忠诚度。他热衷于打造能够吸引并告知受众的故事,并始终寻找新的方式来吸引用户。