当人工智能正确而流程错误时

想象一下金融服务中常见的场景。一个团队部署人工智能来审查合同：数百页，重复的条款和通常需要员工数天才能完成的例行工作。模型识别出风险和正确的段落引用。然而，输出结果却不正确。

原来问题出在合同文件夹中，文件名为contract_v1.docx、contract_v2.docx、contract_final.docx、contract_final2.docx和contract_finalfinal_THIS_ONE.docx。

人工智能选择了最近保存的文件。但是，那个文件是一个较旧的版本，某人上周不小心打开并自动保存了它。

模型做了它被设计来做的事情。然而，流程却让它失望了。

当模型不是问题时

在我之前的文章中，我认为人工智能失败往往始于模型之外——在围绕它的治理、所有权和决策结构中。但是，治理只是问题的一部分。即使是一个治理良好的人工智能系统，如果其下的流程依赖于过时的文档、非正式的异常或为较慢的工作速度设计的批准路径，也会挣扎。

当人工智能系统产生一个糟糕的结果时，模型通常是第一个嫌疑人。也许它产生了幻觉、误解了任务或接收到一个弱的提示。但是，有时模型做了它应该做的事情。失败发生在提供其信息的流程中或无法对其输出采取行动的组织中。

部署人工智能揭示了始终存在但从未可见的流程问题——就像一个诊断工具。它暴露了人们以前通过不经思考的方式弥补的弱点：缺失的上下文、不明确的所有权和从未记录的非正式变通方法。

没有容量的速度

人工智能不仅加速输出，还加速了升级、决策请求和问题发现。模型实时标记一个异常，而不是在星期五下午有人终于有时间查看日志时。

组织不适应这种速度。批准流程、升级路径、决策权——所有这些都是针对人类速度进行的校准。当人工智能产生的输出速度超过组织可以吸收的速度时，可能会发生三种情况：

• 人工智能等待决策，消除了效率增益。
• 员工忽略其输出，返回到他们认为有效的旧流程。
• 员工在没有适当检查的情况下推进决策，因为他们感到有压力去维持速度。

一些员工返回到手动检查，因为它们感觉更安全。其他人在没有时间验证的情况下批准结果，因为他们感到有压力去维持技术所承诺的速度。在这两种情况下，组织为更快的输出付费，但没有变得更快地做出负责任的决定。

所有权也可能变得模糊。谁负责审查标记的异常、决定模型是否错误以及在多个团队参与时升级问题？没有明确的答案，人工智能继续在后台运行，产生没有人真正拥有的输出。

这反映了更广泛的组织问题。正如Forbes分析从2025年底观察到的，当技术改变工作流程的速度超过组织可以吸收的速度时，结果不是效率；而是过度工作。人工智能可能加速一个过程的某个阶段，但其价值仍然取决于周围的组织是否能够吸收和对其产生的内容采取行动。

没有写下的沉默知识

想象一下，马丁知道公司与供应商的合同包括一个关于低于2000欧元的付款的例外。它是在三年前口头同意的，但从未被记录下来。当公司部署人工智能来自动化付款批准时，系统阻止了付款——根据书面合同，这是正确的。

这是默示知识：组织知识存在于人们的头脑中，而不是在系统中。每家公司都有它。大多数公司不知道自己有多少这样的知识。

人工智能只能使用已使其可访问的知识。马丁的例外从系统的角度来看是不存在的。没有这种背景，其决策可能在技术上是正确的，但在操作上是错误的。

麦肯锡已经在代理人工智能部署中确定了同样的挑战。构建有效的代理人工智能需要公司编纂可能存在于标准程序中的专家实践——或者仅仅存在于员工的头脑中的默示知识。换句话说：人工智能部署可能是组织第一次看到流程依赖于马丁所知道的东西。

虚假的真相来源

人工智能输出中最危险的不是总是明显错误的输出。它可能是一个可信的、专业呈现的答案，产生自过时的信息。

多年来，许多部门都使用了同一份文档的多个版本，因为法律部门的简总是知道哪一个是权威的。遗憾的是，人工智能并不这样认为。

除非它被给予区分版本的规则，否则系统没有理由质疑它收到的文档。因此，人工智能审查运行正确——但是在错误的文档上。这可能比没有审查更糟糕，因为输出看起来是可信的。

一位经验丰富的员工可能知道真相在哪里，可以在混乱中找到方向。然而，系统需要一种可靠的方法来确定哪些信息是当前的、批准的和相关的。

默示知识、不可靠的文档和为人类速度输出设计的批准流程似乎是独立的问题。但是，它们共享同样的根源。它们都不是由人工智能创造的，但人工智能使它们更难以忽视。

在构建代理之前需要回答的问题

在部署人工智能代理之前，组织应该能够回答三个问题。

哪些决策依赖于从未被记录的知识？

这意味着要确定经验丰富的员工应用的异常、捷径和判断调用，而没有明确描述它们。仅仅依靠采访可能无法揭示所有这些知识。组织可能需要观察工作实际如何执行，并将其与官方流程进行比较。

系统如何识别当前、批准和相关的信息？

给代理访问更多文档并不能解决问题，如果它无法区分批准的合同和草稿，或是活动政策和过时的政策。版本控制、所有权、批准状态和保留规则必须足够清晰，以便系统能够确定哪个来源应该支配其决策。

现有的批准和升级流程是否能够吸收其输出的数量和速度？

团队应该估计代理可以完成的工作量，不仅要估计它可能创建的审查、异常和升级数量。 NIST人工智能风险管理框架建议明确定义人工智能系统的人类监督角色和职责。这些需要在系统部署之前设计为预期的数量——而不是在员工被其淹没之后。
这些问题不是回答一次就忘记的问题。流程会改变，文档会过时，未记录的异常会再次积累。因此，准备就绪不仅需要在启动之前建立，还需要在整个过程中维持。

人工智能准备从流程开始

人工智能准备不仅仅是对技术的测试。它是对组织是否使其流程足够明确以便技术能够在其中运行的测试。

因此，为组织准备人工智能涉及的不仅仅是选择一个模型或构建一个代理。它意味着阐明所有权、识别权威信息、记录异常并重新设计输出的审查、升级和采取行动的方式。

这是艰难的工作，但失败的部署最终会迫使组织做到这一点。唯一的变量是时间。