思想领袖
人工智能治理为什么一直失败

问题不在于组织没有人工智能政策,而在于这些政策实际上没有任何作用。
在整齐格式的PDF和部署的模型之间,意图逐渐消失。团队即兴发挥。例外情况逐渐积累。治理从一个系统变成了谈判——在医疗和生命科学等受监管的行业中,这个差距不仅仅是尴尬的,它是一个运营上的责任。
解决方案不是更多的文档,而是像对待软件一样对待治理。
治理差距已经可以衡量
人工智能的采用速度加快,而治理基础设施却没有跟上。2025年9月的一项由安永进行的研究发现,只有10%的公司完全准备好审计人工智能系统。与此同时,Ponemon研究发现,92%的组织表示,生成式人工智能已经改变了员工访问和共享信息的方式,但只有18%的组织已经完全将人工智能治理纳入内部风险计划中。
这种模式是持续的:人工智能已经嵌入到日常工作中。监督仍然在赶上。治理停留在文档形式中,差距就会变得越来越大。
可交付的治理
这个概念看似简单:如果一个治理要求不能阻止构建,就不能保护生产。
真正的治理具有输入、输出、执行点和可观察的结果。它持续运行——不是季度运行。并且,关键的是,它会在工作过程中产生证据,而不是作为一个单独的合规性仪式附加在后面。
运行模型如下:
政策 → 控制 → 证据 → 指标
政策定义意图。控制执行行为。证据证明执行。指标验证结果。这不是一个新想法——它正是成熟的安全和合规系统已经在运行的方式。转变是将同样的逻辑应用于人工智能。
控制不是建议。证据不是文档。如果一个控制需要手动努力来产生证据,那就不是控制,而是希望。
风险等级,而不是风险剧场
并非所有人工智能系统都值得同样的审查。将低风险的内部工具与临床决策支持模型同等对待,这是组织停滞不前或不必要地暴露自己的一种方式。
2023年发布的NIST人工智能风险管理框架为思考这一问题提供了基础结构——将人工智能风险映射到四个功能:治理、映射、测量和管理。一个功能性的企业治理模型建立在这一逻辑之上,具有实用的风险等级:
| 等级 | 范围 | 控制 |
| 最小 | 内部工具,无敏感数据 | 注册,轻量级检查 |
| 有限 | 面向用户,中等风险 | 文档,提示审查,安全测试 |
| 高 | 受监管或高影响决策 | 正式风险评估,审计日志,严格变更控制 |
| 禁止 | 不可接受的用例 | 在设计和部署中被阻止 |
这为工程团队提供了他们从治理流程中很少得到的东西:清晰度。不是“我们应该做什么?”而是“这是哪个等级,它会触发什么?”
好的治理消除了模糊性。优秀的治理消除了辩论。
代码中的政策:从建议到可执行
在文档中编写的政策是建议性的。在管道中编码的政策是可执行的。
与基础设施在部署前验证类似,人工智能系统可以通过自动检查来验证用例是否注册,所需文档是否存在,评估结果是否达到定义的阈值,是否遵循最小特权访问敏感数据。这些检查在CI/CD中运行。它们不需要委员会。它们不依赖于任何人的记忆或善意。
Open Policy Agent——一个毕业的云原生计算基金会项目——展示了规则如何被版本化、审查和在工程生态系统中一致执行。这种模式是可以理解的。差距在于人工智能团队没有应用它。
最安全的人工智能系统不是拥有最好的政策的那个,而是技术上无法违反政策的那个。
LLM特定控制:事情变得有趣的地方
生成式人工智能引入了一类传统治理框架没有设计的风险——提示注入、输出操纵、工具滥用。这些不是边缘情况。它们是LLM工作的结构性属性,正如Unite.AI关于代理人工智能治理的报道所注意到的,随着人工智能系统从回答问题转向采取行动,治理差距变得更加明显。
针对GenAI系统的有效治理需要专门为LLM行为构建的控制:系统指令和用户输入的严格分离,受控的工具访问和允许列表,在执行前输出验证,防止数据外泄的防护措施,以及安全默认值以实现优雅的故障。
这些直接映射到OWASP Top 10 for LLM Applications中记录的漏洞类别——一个由600多名来自18个国家的专家贡献的社区驱动框架。LLM治理不关心模型知道什么,而关心系统允许它做什么。
证据是基础设施,而不是文档
审计员不相信意图。他们相信记录。
在一个治理可交付的系统中,证据是自动生成的:模型卡描述了预期用途和限制,数据文档涵盖了来源,评估报告显示了性能和已知风险,日志捕获了决策和更改。这些工件不为审计而存在。它们存在是因为系统需要它们才能运行。
最强的审计立场是证据在被要求之前已经存在。这不是理论——监管机构已经在朝这个方向发展。正如最近关于可辩护人工智能治理的分析所指出的,监管机构很快会问的问题不再仅仅是“你们保存了吗?”而是“你们能证明发生了什么,在哪个政策下,使用了哪些数据,并且有谁的授权吗?”
真正的论点:治理作为加速器
持久的神话是治理和速度是对立的。在实践中,设计不良的治理会减慢团队的速度。设计良好的治理会消除摩擦。
当控制被标准化,检查被自动化,期望被编码时,团队停止谈判,开始构建。发布变得更加可预测。决策不再需要来自一小群专家的英勇行为,他们已经记住了政策文档。
治理在基础设施中扩展。它在情绪中不扩展。
目标从来不是为了控制而控制。它是没有混乱的动力——并且做对了这一点的组织不是那些拥有最全面PDF的组织。它们是那些使正确的行为成为最容易的路径的组织。












