思想领袖
从意图到自主行动:企业如何治理 AI 智能体

要点治理必须内置于产品之中,因为它定义了组织可以安全地委派哪些职责。
查看更多
- 治理必须内置于产品之中,因为它定义了组织可以安全地委派哪些职责。
- 代理控制平面将代理身份和经批准的能力与策略执行和执行监督绑定在一起。
- 组织应从一个狭窄的工作流开始,仅在运营证据支持时才扩大代理权限。
“恢复服务”这样的指令听起来很直接,但当 AI 智能体必须判断它授权了哪些操作时,事情就没那么简单了。重启应用程序、更改配置和配置基础设施都可能有助于实现这一目标,但每种操作带来的后果各不相同。随着智能体从建议采取行动转向实际执行,组织需要明确连接业务意图与操作权限。
治理必须融入产品之中,因为它决定了组织能够放心委派哪些职责。与权限界定模糊的智能体相比,能够可靠地完成任务、遵守约定边界并提供行动证据的智能体,更能为企业采用奠定坚实基础。架构上的挑战在于,如何将这些边界纳入系统的运行方式。
要让这些边界落到实处,就需要一套统一的方式来治理智能体的行为。智能体控制平面可以通过连接现有企业系统中的智能体身份、获批能力、策略执行、记忆控制和执行监督,为此提供基础。它会明确谁发起了某项操作、该操作依据何种权限、可能影响哪些资源,以及如何验证操作结果。
以下是我们建议用于治理企业 AI 智能体的三条实用准则:
将能力与明确授权相结合
每个智能体都应有明确的负责人、清晰的用途,以及与其任务相适应的权限。这与 NIST AI 风险管理框架的理念一致:该框架将治理视为贯穿 AI 生命周期的持续职能。对于智能体而言,这一原则必须延伸到其操作改变企业系统的那一刻。当一个智能体将任务委派给另一个智能体时,这些边界也应继续有效。
能力发现同样需要遵循严谨规范:获批目录应说明每种工具的用途、输入、输出、允许使用的环境以及潜在副作用。发现某种工具并不意味着获得执行许可,因此在尝试执行操作时必须核验授权。OWASP 关于过度代理权限的指导通过建议限制功能和权限,并在下游系统中强制执行授权,进一步强调了这一区别。
以一个示例性的服务恢复工作流为例:智能体调查应用程序运行缓慢的问题,并建议重启某个组件。策略允许其访问获批的遥测数据,但要在生产环境中重启组件,必须有证据表明冗余机制运行正常,并取得服务负责人的批准。这些条件将宽泛的指令转化为边界明确的操作决策。
将操作意图转化为受治理的工具
如果已有获批的恢复工具,智能体就可以利用该能力准备请求。如果没有,它可以协助创建脚本、运行手册、输入架构和工具描述符,将操作意图转化为供他人检查的拟议能力。这正是智能体工具编程的实际价值:智能体不仅可以使用运维机制,也能参与构建这些机制。
然而,生成这些机制不应自动使其能够在生产环境中执行。拟议能力需要经过独立的发布流程,其中包括明确负责的所有权、安全检查、版本控制,以及针对无效输入、范围过宽、部分故障和重复执行的测试。智能体生成的测试可以作为证据的一部分,但在将该能力纳入获批目录之前,应通过独立验证确认其是否满足操作要求。
执行边界还应限制资源范围、网络访问、持续时间和支出;任何必要的审批都应绑定到具体操作、目标和版本。恢复安排也同样值得重视,因为有些更改可以回滚,有些则需要采取补偿措施,还有些无法撤销。每项能力都应清楚说明这些限制,并为操作人员提供经过测试的方式,以暂停后续执行。
记忆也带来了另一项治理责任,因为保留的观察结果可能在原有情境发生变化很久之后,仍然影响未来的决策。组织应明确智能体可以存储哪些内容、信息会保留多久,以及适用哪些访问边界,并配备溯源和纠正机制。记住的权限绝不能转变为长期有效的授权,过时的操作知识也不应在无人察觉的情况下影响新的行动。
以证据为依据逐步扩大自主权
有效监督依赖于充分证据,能够将原始请求、适用策略、审批、工具版本、执行结果和后续验证联系起来。人工审核人员需要掌握足够的背景信息,以评估拟议变更、其不确定性和恢复选项,同时又不至于被不必要的细节淹没。为支持这种监督,升级处理应依据明确条件触发,例如观察结果相互冲突或系统状态陌生,而不能仅仅依赖智能体表达的信心。
IT 领导者应从范围较小的工作流程入手,并根据运营证据逐步扩大智能体的权限;衡量成效时,既要关注成功结果,也要考量异常情况、恢复时间、违反政策的情况以及监督工作所需的投入。这些指标有助于判断智能体是否已准备好承担更多责任,以及还需要在哪些方面增加防护措施或测试。
关键在于让委派成为可重复的流程:每项获批的能力都要明确智能体可以做什么、在什么条件下可以执行,以及应如何追责。这种严谨做法能够增强组织的韧性和效率,同时为赋予智能体更大的自主权提供站得住脚的依据。最重要的一点是:治理之所以在产品中占有一席之地,正是因为它让这一渐进过程成为可能。












