人工智能中的人类审查并非治理

很明显，人工智能风险的答案是“在循环中添加一个人”。但这个短语隐藏了困难的部分。

人工智能中的人类审查只有在循环被设计时才有效。否则，人类会成为三种失败之一：

• 瓶颈，因为审查人工智能输出需要与手动工作一样长的时间。
• 橡皮图章，因为审查员过载，无法看到证据，不能理解业务背景，并点击批准以保持队列移动。
• 或者第三种失败：崩溃区。通过在循环中添加一个人，机构指出一个负责人，但没有给予该人真正的控制权、时间、权威、停止系统的能力和改变下一次运行的途径。后果落在人类身上，而决策基础仍然不变。

这就是企业人工智能对话中出错的地方。我们讨论是否应该有人审查工作，但没有讨论如何设计审查。我们假设添加一个人就能创建治理。事实并非如此。 治理取决于审查员是否具有有意义的控制权、有意义的可见性和在决策后改进系统的能力。

人类审查很有价值，但只有当它被放置在判断至关重要的地方，并且有足够的背景来使判断有意义时才有效。

验证门槛不仅仅是一个审查步骤

门槛不是一个暂停按钮。它是一个验证界面。

当代理或自动化产生一个提议——草稿响应、推荐操作、分类、支付授权、案件路由、退款包或拒绝信——审查员应该立即了解即将发生什么以及为什么。

真正的验证门槛必须显示重要的内容：拟议操作、支持的证据、检查的规则、将要发生的业务转换、使用的权限、将要写入的审计记录、触发审查的不确定性或例外以及可用的选择：批准、编辑、拒绝或升级。

每个元素都有原因存在。拟议操作解释系统将要做什么。支持证据解释为什么。规则和权限显示推荐是否符合组织政策。不确定性告诉审查员为什么工作到达了人类。它们一起将审查从猜测转变为验证。

如果审查员必须手动重建所有这些，门槛就没有被建立起来。

门槛的目的是不仅仅在错误发生之前停止它们。其第二个目的更为重要。它捕获机构的判断。

这就是企业部署开始复合的地方。每个真正的批准、编辑、拒绝或升级决策都捕获机构的判断——但只有当门槛捕获为什么时才会发生。

批准不是数据，但验证是。

橡皮图章的点击捕获不到任何有用的信号。审查、编辑、拒绝或升级的决策带有原因代码，捕获一个信号，下一个系统版本可以从中学习。如果审查员在不看的情况下点击批准，系统就无法学习。如果审查员编辑、拒绝、升级并给出原因，机构就捕获了判断。

随着时间的推移，这些判断成为组织最有价值的资产之一。它们揭示政策不明确的地方、工作流程经常中断的地方、例外最常见的地方以及自动化应该变得更加自信或更加受限的地方。目标不是简单地自动化更多工作，而是通过捕获经验丰富的人如何行使判断来改进未来决策的质量。

问责需要不仅仅是一个命名的所有者

这种区别改变了机构应该如何思考问责的方式。

门槛是不够的。命名的所有者是不够的。审计日志是不够的。

问责需要后果接收：错误必须落在可以改变未来行为的地方。

在部署人工智能到有后果的工作之前，机构应该问五个问题：

1. 如果这个行动是错误的，谁将接收后果？
2. 那个人或系统在行动之前是否具有有意义的控制权？
3. 负责的所有者是否可以检查、约束、覆盖或停止代理或自动化？
4. 责任是否与所有者实际拥有的控制权成比例？
5. 下一次运行之前会发生什么变化：技能、规则、权限、工作流、自动化、验证门槛、原因代码、培训或信任类别？

没有有意义的控制权的人类门槛不是治理。它是一个崩溃区。

循环直到捕获的判断改变了什么：技能、规则、权限、升级阈值、自动化、测试、审查界面、培训计划、审计样本或信任类别。没有改变下一次运行的后果只是一个事件，而不是学习。机构在每次有意义的审查改变系统的下一个版本时就会改进，无论是通过完善政策、紧固权限、改进自动化还是加强验证体验本身。

防护栏防止失败。评估建立信任。

机构还需要区分防护栏和评估。它们解决了需要解决的不同问题。

1. 防护栏在运行时强制执行行为。模式检查、不安全参数阻塞器、权限检查、个人身份信息编辑、提示注入防御和工具使用限制存在于防止不安全行为发生之前。
2. 评估随着时间的推移衡量性能。它们检查质量、漂移、工具选择、升级质量、成本、延迟和政策合规性。它们告诉机构系统是否继续值得信任。

一个保护当前的决策，另一个改进未来的决策。

防护栏和评估服务不同的目的，因此负责的人也不同。平台执行政策。操作员评估结果。他们一起创建了反馈循环，允许系统在不牺牲治理的情况下改进。

系统检索政策、索赔记录、支持文档、先前的案例和组织的剧本。它准备了分类包，提出了严重程度，找到了缺失的证据，并在规则需要时打开了一个欺诈子案。调整员看到提出的移动、支持证据、原因代码、审计记录和批准的后果。与其从多个系统中重建案例，审查员可以专注于验证推荐本身。只有在验证之后，自动化才会更新案例、发出支付、请求额外文档或关闭工作。

索赔工作流程展示了它在实践中的工作原理。代理没有记住一个过程。它在一个已发布的图表中运行。

架构应该遵循工作

同样的原则适用于工作本身的组织。并非所有企业问题都具有相同的形状，治理应该反映这一点。有些工作从目标开始。有些工作从案例开始；有些工作从稳定的工作流开始。架构应该遵循工作，而不是相反。

目标驱动的部署从结果开始，而不是预先确定的路径。解决这个客户升级。降低此帐户的流失风险。调查这个欺诈信号。准备这个续约计划。目的地是明确的，但路线可能会随着新信息的出现而改变。主代理分解工作，使用批准的代理和工具，调用批准的自动化，并在受治理的边界内分配人类工作。其优势在于适应性。其风险在于适应性没有明确的约束就会变得不可预测。

这就是为什么灵活的系统需要更强的治理，而不是更少的治理。清晰的工作流边界、自动化权限、决策权、审计记录和升级规则变得更加重要，因为人工智能变得更加强大。代理有多少自由来确定自己的路径，机构就必须小心地定义代理可以操作的边界。

企业人工智能不会因为每个决策都有一个人类在循环中而成功。

它将会成功，因为机构学会了如何构建循环本身。