网络安全

AI代理越来越聪明,但他们的攻击面也越来越大

mm

当AI代理开始代表您预订会议、执行代码和浏览网页时,网络安全对话发生了变化。不仅仅是缓慢的变化,而是瞬间的变化。

过去,软件系统是封闭和可预测的,但现在它们变得可以推理、规划和采取行动,跨越工具和API,甚至在一年前还不存在的领域。

这既令人兴奋,也令人恐惧,因为伴随着这种自治而来的攻击面是巨大的,大多数组织才刚刚开始了解让代理进入他们的基础设施意味着什么

从聊天机器人到操作员

AI的最初承诺很简单:问一个问题,得到一个答案。这仍然适用于大多数消费者互动,但这不是企业部署中正在发生的事情。今天的代理被授予凭证、API密钥和删除、创建和注释数据的能力,以及在具有真实后果的系统中采取实际行动。

这种转变发生得很快。在不到两年的时间里,AI代理从文本生成器变成了允许我们运行平滑的多代理设置。它们正在阅读电子邮件、触发工作流、查询数据库,并在某些情况下管理其他代理。这种级别的访问权限过去需要一个漫长的采购过程和人工干预。现在,它只是一个配置文件和几个API调用。

更多访问意味着更多暴露

传统的软件攻击有一个相对可预测的特征。有一个已知的入口点、一个已知的漏洞、一个已知的补丁。AI代理打破了这种模式,因为它们的设计是动态的。它们不遵循静态代码路径。它们推理下一步该做什么,这使得它们的行为更难预测,也更难在事后审计。

这种不可预测性对完成工作很有用。它也是对任何试图利用系统的人的优势。当一个代理可以决定在任务中调用外部API或拉取第三方工具时,就没有干净的周界可以防御。

安全团队习惯于保护已知的表面和监控Kubernetes成本。代理不断发现新的表面和漏洞,并且没有人实时地绘制它们。就在你意识到之前,某人可以劫持凭证并通过一次操作控制整个AI“生物体”

提示注入是新的SQL注入

如果有一个攻击向量,安全研究人员不断提及,那就是提示注入。这个想法很简单:攻击者不是利用代码漏洞,而是操纵代理通过其输入接收到的指令。一个嵌入网页、文档,甚至电子邮件中的恶意指令可以改变代理下一步的行为。

使得这个问题特别棘手的是,代理通常会做它们被告知的事情。它们正在处理来自网络、用户消息、第三方工具的内容。任何这些内容都是潜在的注入表面。一个读取受损文档并根据其内容进行API调用的代理已经被劫持,并且它可能不会记录任何使因果链显而易见的内容。

这里的防御措施是真实的,但不完整。沙盒代理操作,限制代理在某些情况下可以调用的工具,并在高风险工作流中构建人工检查点,都可以降低风险。它们并不能消除风险。大多数组织甚至还没有实施基本的防御措施。

多代理系统内部的信任问题

多代理系统引入了一层复杂性,很容易被低估。当一个代理正在协调其他代理时,存在一个信任等级。如果协调者被破坏,那么下属的每个代理都有效地被破坏了,爆炸半径会迅速扩大。

还有过度授权的问题。代理经常被授予比它们需要更多的访问权限,因为提前授予广泛的权限比逐步细化权限更容易。研究代理不需要对生产数据库具有写入访问权限。调度代理不需要访问财务记录。当然,看到一切都相互关联是令人放心的,但这实在太冒险了,无法看到任何不减少的回报。但在实践中,界限会变得模糊,理论上看起来很好的最小权限原则会在匆忙发布时被悄悄放弃。

在这里,合理的安全性是什么样的

没有单一的解决方案可以使代理部署安全。这是一个分层的问题,需要分层的回应。做得好的组织通常从访问控制开始:为每个代理提供明确、狭窄的范围,并在任何涉及敏感系统或外部服务的操作中构建审查步骤。

可观察性与预防同样重要。如果代理做了意外的事情,团队需要代理接收到的指令的完整跟踪,它调用的工具,以及它返回的内容。大多数日志设置都没有考虑到这种粒度,事后改造也很痛苦。从一开始就构建它是值得的。

对抗性测试也被低估。红队代理,特别是尝试注入恶意指令并观察发生了什么,会暴露静态代码审查永远无法捕捉到的漏洞。想到这一点很不舒服,但那些最终会尝试利用这些系统的人已经在这样做了。先行一步是唯一合理的举动。

最后的思考

AI代理将成为组织运作的重要组成部分,这种转变已经在发生。安全对话需要赶上,并且要快。风险是真实的,攻击向量是新颖的,领先于它们的窗口正在缩小。

了解自主AI系统的威胁格局不再是可选的。这是安全和工程团队可以做的最重要的事情之一,做对它的时钟已经开始了。

Gary 是一位拥有超过 10 年软件开发、网页开发和内容策略经验的专家作家。他专门创作高质量、引人入胜的内容,能够驱动转化和建立品牌忠诚度。他热衷于编织能够吸引和告知受众的故事,并且总是寻找新的方式来吸引用户。