网络安全
Cato Networks推出AgentSense,在有害AI智能体行为执行前予以阻止

要点AgentSense通过追踪不可信内容如何引导智能体的行为来针对间接提示注入。
查看更多
- AgentSense通过追踪不可信内容如何引导智能体的行为来针对间接提示注入。
- 有效凭证并不能保证安全行为,因为智能体可能被操纵而做出有害行为。
- Cato的10,000美元挑战邀请研究人员测试AgentSense是否能抵御对抗性工作流重定向。
Cato Networks推出了AgentSense,这是一项运行时安全功能,旨在有害AI智能体行为执行前将其阻止。这项技术由Cato AI Labs开发,可追踪不可信内容如何影响智能体的行为,解决普通访问权限无法完全应对的一种风险:智能体可能持有合法凭证,却仍被操纵去做不该做的事。
Cato表示,AgentSense已集成到其平台中,并将纳入Cato AI Usage许可证,不另行收费。此次公告还宣布了一项对抗性测试挑战:前三位符合资格且成功将受保护工作流引向恶意行为的参与者,每人可获得10,000美元。
权限有效,仍可能导致不安全行为
企业智能体可能需要阅读电子邮件、搜索文档、查阅网站并调用工具,才能完成任务。每个信息源都会扩大它可利用的信息范围,同时也为外部文本影响其下一步行动创造了机会。
间接提示注入利用的正是这一边界。攻击者不会以获授权用户的身份直接发出指令,而是将指令藏在智能体工作时接触到的材料中。文档、工单、网页或工具响应都可能包含试图改变工作流方向、泄露信息或触发无关操作的文本。
检查智能体能否访问某个应用仍然很重要。但这回答的是另一个问题,并不能说明某项具体操作是否有助于完成用户授权的任务。例如,智能体可能获准读取业务记录,却无权将这些记录发送到检索到的文档所建议的目的地。
AgentSense旨在执行期间评估此类行为,并在敏感操作实际执行前提供介入机会。
追踪AI会话中的不可信内容影响
公告介绍的“不可信影响检测”功能会在AI会话中区分可信指令与不可信内容,并追踪后者如何影响行为和输出。Cato表示,一旦检测到不可信材料正引导智能体采取不安全的步骤,该功能就会阻止相关操作。
这一区别很重要,因为攻击不一定会呈现出常见恶意提示的样子。Cato称,AgentSense评估的是影响,而非依赖静态分类器或已观察到的攻击模式目录。该设计旨在应对新的间接提示注入形式,同时也能处理容易识别的攻击。
公告称这项技术已获专利,但未提供专利编号、详细实现方式或独立的有效性基准测试。因此,声称能够防范此前未见的攻击,应理解为该产品预期具备的安全能力,而不是保证能够阻止所有提示注入尝试。
实际应用中的问题在于,安全层是否掌握了足够的会话和操作上下文,能够区分将文档用作证据与将其视为指令。AgentSense正是针对这一区别而设计的。
漂移检测是另一项计划中的功能
Cato还以展望未来的口吻介绍了AgentSense漂移检测功能。随着工作流推进,这项计划中的功能将评估智能体的行为是否仍在服务于最初的任务。
这项功能可补充影响检测,但两者要解决的问题并不完全相同。不可信影响检测关注的是外部内容是否正在引导某项操作;漂移检测则旨在判断该操作是否仍符合既定目标,即便单独来看,这一步在技术上是获准的。
工作流中的步骤可能逐渐增多,其中一些已不再有助于实现其目的。要发现这种偏离,就必须在整个会话过程中持续掌握获授权的目标,而不是孤立地评判每次工具调用。公告未说明漂移检测功能是否有单独的上线日期。
AgentSense如何融入Cato现有的AI安全平台
Cato的智能体AI安全产品已涵盖发现智能体和模型上下文协议服务器、分析工具调用,以及对智能体交互实施策略等控制措施。其更广泛的平台则整合了网络、访问和安全上下文。
该公司还将员工使用AI的安全防护与应用保护区分开来。其应用AI安全产品介绍了运行时可视性、提示和响应检查,以及针对已部署AI应用的可配置防护措施。这也说明了AgentSense为何专注于维护工作流执行过程中各项操作的完整性。
在实际应用中,管理AI使用涉及几个相互关联的决策:组织允许使用哪些服务、哪些数据可以传送给这些服务,以及智能体可以如何处理其接触到的信息。AgentSense为这一整套防护体系增添了一项关于行为的能力主张——识别不可信内容何时正在驱动操作本身。
提示注入研究揭示了为何这道边界至关重要
Cato 的 EchoLeak 研究描述了一种攻击链:外部提供的内容可能导致 Microsoft 365 Copilot 泄露其上下文中的信息。对于智能体安全而言,关键在于从读取外部材料转向执行其中嵌入的指令。
其 CurXecute 研究考察了另一种后果:通过外部内容进行的提示注入可能导致编码智能体修改 MCP 配置并触发命令执行。Cato 的说明称,Cursor 已在 1.3 版中修复该漏洞。这一案例展示了一种失效模式;不应据此认为已修补的问题仍未解决。
这两个案例都说明,一旦助手能够访问敏感数据或执行工具,内容来源就至关重要。如果检索到的文本改变了工作流的控制流,原本始于信息检索的交互就可能演变为安全事件。
公开挑战,检验防护效果
AgentSense Challenge 邀请安全社区在受保护的工作流中植入指令,并尝试让智能体偏离用户的意图。Cato 表示,研究发现和参与者反馈将用于进一步评估和改进。
公告称,前三位符合资格并成功参与的参与者将各获 10,000 美元。所提供的新闻稿未包含挑战的最终网址或详细规则,因此参与资格和测试范围将取决于公布的项目条款。
对于不断扩大智能体自主权的企业,AgentSense 旨在满足一项具体需求:确保用户授权的任务与 AI 系统最终执行的操作保持一致。这项技术的价值取决于它能否在允许正当工作继续进行的同时,持续有效地守住这道边界。












