AI 治理：大多数公司面临的问题，少数公司的优势

企业 AI 正在以比任何人预期的更快的速度积累风险。AI 代理开始接触客户数据、生产代码和具有后果的商业决策，而在大多数组织中，它们受到为不同技术时代设计的控制的管理。同时，企业可能依赖的外部支持正在减少。领先的 AI 实验室已经 缩减了自愿的安全承诺，监管仍然在各司法管辖区内分散。信任负担落在了部署 AI 的公司身上，因为最终他们将是当负面结果出现时遭受损失的公司。

我与各个行业的公司进行战略 AI 工作，并每天与 CEO 和董事会交谈。我看到的模式是这样的：部署加速，而控制基础设施根本跟不上。这种模式如此一致，以至于我认为它是结构性的，而不是任何一家公司的失败，我将做出一个预测：我们距离一位 CEO 必须解释一个大错误使公司损失数百万美元的时间并不远，他们将把责任归咎于 AI。我会礼貌地建议，这不是借口。

好消息是我有幸看到少数公司对治理的态度不同，我相信这些公司正在建立长期的优势，这种优势会随着时间的推移而增长，而其他公司则有可能变得过时。了解少数公司的看法，首先需要了解当前的轨迹会通向哪里。

我们正面临一个问题

今天的部署规模足够小，以至于人工监督可以吸收风险。德勤最新的 企业 AI 现状研究发现，只有四分之一的受访组织将至少 40% 的 AI 实验移植到生产环境中。大多数企业仍然处于曲线的早期阶段，运行少数代理，仅用于狭窄的用例，并且有人员跟踪每个输出。

轨迹才是最重要的。随着部署规模从两个代理扩展到 20 个、200 个、2000 个，复杂性会增加。每个新代理都会带来自己的行为，以及与其接触的每个系统和其他代理的交互。在两个代理的情况下，信任是容易的：您知道团队，并且自己审查输出。在 20 个代理的情况下，信任必须成为一个过程，具有定义的所有者、测试和升级路径。它仍然可以起作用，但很难维持。在 200 个代理的情况下，非正式审查变得毫无意义，因为没有领导团队能够审查这么多活动。在 2000 个代理的情况下，人在循环中的角色基本上是无用的，因为代理、数据和商业流程之间的交互形成了一个超出手动监督范围的网络。在这种规模下，信任需要在规模上存在，并嵌入公司的技术架构中。

等待的代价

缺失的信任基础设施也是令人失望的回报的原因之一。在 普华永道最新的全球 CEO 调查中，56% 的首席执行官表示，AI 在过去一年中没有产生收入增加或成本降低。在我的经验中，即使报告的回报看起来也不太令人信服，一旦你检查了潜在的经济情况。大多数公司计算节省的小时并称之为投资回报率。节省的小时只会在组织将该容量转化为更有价值的东西时才会转化为财务回报：更大的产出、更好的质量、避免成本、更快的增长等等。

这种转化需要信任。组织只能在领导层信任接管较低价值工作的系统时，将人力判断转移到更高价值的工作中。没有这种信任，公司会积累技术债务，这种债务不会随着时间的推移而扩大，最终会对生产力产生重大影响。这是最坏的两全其美的局面：增加支出却几乎没有什么可显示的成果。信任是这些回报的基础。

电梯问题

信任和采用之间的联系并不是新鲜事物，我们可以追溯到 20 世纪中叶来寻找一个合理的参考点。 无人驾驶电梯的存在早于任何人愿意乘坐它们的时间。技术是可行的，但乘客会步入车厢，看到没有操作员，然后步出。发生变化的不是电梯，而是电梯周围的安全控制。在 1945 年操作员罢工关闭纽约各个办公大楼后，行业将信任工程化到机器本身：紧急停止按钮、电话线、在遇到阻力时重新打开的门，以及一个录制的声音解释如何操作。就在一代人之内，乘坐没有人类操作员的电梯变得如此平常，以至于步入带有人类操作员的电梯感觉过时。去掉人类操作员的障碍从来不是能力的问题。它是信任问题，行业通过在系统中构建可见的、可验证的控制并将其放在每位乘客都能看到的地方来解决了它。

企业 AI 正处于步入、步出的阶段。领导团队看到代理在没有人类操作员的情况下运行，并犹豫不决，这种犹豫是合理的：大多数组织尚未构建等同于停止按钮、电话线和不会关闭的门的控制。那些将这些控制构建到系统中的公司将是那些让人们、客户和监管者步入并留下的公司。

供应商只能承担部分责任

许多领导者希望他们的 AI 供应商能够承担信任负担。供应商可以提供模型级别的安全保障和安全控制，好的供应商确实会这样做。决定特定部署是否适合您的数据、监管义务、客户和风险承受能力仍然是您的工作，因为您的供应商缺乏做出这一决定的背景。他们从未见过您的义务，也没有办法为您可能遭受的不良结果定价。

供应商的安全承诺涵盖他们的模型，而不是您使用它的方式。这种承诺也不是永久的：过去一年已经表明，这些承诺可以被修订或撤回。受监管的行业早已为第三方模型解决了这个问题，所采取的标准是正确的：部署模型的机构拥有风险。

少数公司正在做什么

领先的公司正在采取三个措施：

1. 他们现在正在构建控制基础设施，规模适合他们计划达到的规模，而不是当前的规模，因为控制必须在需要它们的代理之前存在。
2. 他们在部署过程的开始而不是结束时嵌入风险分类和缓解，这样每个用例都被分类，并且从第一天开始，控制措施就与风险成比例。
3. 并且他们正在建立独立的治理结构，具有真正的权威来验证这些系统按预期行事，并且具有足够的灵活性来适应技术的发展。独立性使验证具有可信度。灵活性使其保持最新状态。

值得注意的是，很少有监管机构明确制定了有关使用和监督生成式 AI 的规则，但这并不意味着我们没有什么可以参考的指导方针。监管机构已经为传统模型制定了成熟的规则，我们可以使用这些规则作为参考。在四月，美联储、OCC 和 FDIC 发布了 修订后的模型风险指导，反映了几十年的实践经验，采取了基于原则的方法，包括模型清单、与风险成比例的风险控制、独立验证、持续监测和对供应商产品的企业责任，并指示机构将这些相同的做法应用于 AI 本身。信息很明确：有效的原则是众所周知的，正式的 AI 规则不会很快出现。等待监管明确的企业将在少数企业采取行动时等待。正是因为如此，受到严格监管的行业，通常被描述为行动迟缓，进入这一时代时具有先发优势。他们花费了几十年时间建立了每个人现在所需的信任机制，他们没有等待许可来使用它。

最重要的问题

分歧已经形成。大多数公司将治理视为成本：某种被吸收、忍受和最小化的东西。少数公司将治理视为基础设施，使他们能够将人员转移到更高价值的工作中，并带着信心扩大规模。每个领导团队都处于两者之间，无论他们是否有意识地选择了这一点，差距正在规模之前悄悄地扩大，这将暴露它。没有人会对今天步入电梯多次思考，因为信任已经被构建到电梯中。为 AI 做同样事情的公司将比仍在犹豫是否步入电梯的其他公司更快地扩大规模。