祖扎娜·德罗塔罗娃（Zuzana Drotárová）领导阿文加（Avenga）的商业分析，在捷克共和国和斯洛伐克的企业项目中监督约100名分析师。她专注于决定企业计划（包括人工智能）是否能在生产中实施的运营和决策结构。
想象一下金融服务中常见的场景。一个团队部署人工智能来审查合同：数百页，重复的条款和通常需要员工数天才能完成的例行工作。模型识别出风险和正确的段落引用。然而，输出结果却不正确。原来问题出在合同文件夹中，文件名为contract_v1.docx、contract_v2.docx、contract_final.docx、contract_final2.docx和contract_finalfinal_THIS_ONE.docx。人工智能选择了最近保存的文件。但是，那个文件是一个较旧的版本，某人上周不小心打开并自动保存了它。模型做了它被设计来做的事情。然而，流程却让它失望了。当模型不是问题时在我之前的文章中，我认为人工智能失败往往始于模型之外——在围绕它的治理、所有权和决策结构中。但是，治理只是问题的一部分。即使是一个治理良好的人工智能系统，如果其下的流程依赖于过时的文档、非正式的异常或为较慢的工作速度设计的批准路径，也会挣扎。当人工智能系统产生一个糟糕的结果时，模型通常是第一个嫌疑人。也许它产生了幻觉、误解了任务或接收到一个弱的提示。但是，有时模型做了它应该做的事情。失败发生在提供其信息的流程中或无法对其输出采取行动的组织中。部署人工智能揭示了始终存在但从未可见的流程问题——就像一个诊断工具。它暴露了人们以前通过不经思考的方式弥补的弱点：缺失的上下文、不明确的所有权和从未记录的非正式变通方法。没有容量的速度人工智能不仅加速输出，还加速了升级、决策请求和问题发现。模型实时标记一个异常，而不是在星期五下午有人终于有时间查看日志时。组织不适应这种速度。批准流程、升级路径、决策权——所有这些都是针对人类速度进行的校准。当人工智能产生的输出速度超过组织可以吸收的速度时，可能会发生三种情况： 人工智能等待决策，消除了效率增益。 员工忽略其输出，返回到他们认为有效的旧流程。 员工在没有适当检查的情况下推进决策，因为他们感到有压力去维持速度。 一些员工返回到手动检查，因为它们感觉更安全。其他人在没有时间验证的情况下批准结果，因为他们感到有压力去维持技术所承诺的速度。在这两种情况下，组织为更快的输出付费，但没有变得更快地做出负责任的决定。所有权也可能变得模糊。谁负责审查标记的异常、决定模型是否错误以及在多个团队参与时升级问题？没有明确的答案，人工智能继续在后台运行，产生没有人真正拥有的输出。这反映了更广泛的组织问题。正如Forbes分析从2025年底观察到的，当技术改变工作流程的速度超过组织可以吸收的速度时，结果不是效率；而是过度工作。人工智能可能加速一个过程的某个阶段，但其价值仍然取决于周围的组织是否能够吸收和对其产生的内容采取行动。没有写下的沉默知识想象一下，马丁知道公司与供应商的合同包括一个关于低于2000欧元的付款的例外。它是在三年前口头同意的，但从未被记录下来。当公司部署人工智能来自动化付款批准时，系统阻止了付款——根据书面合同，这是正确的。这是默示知识：组织知识存在于人们的头脑中，而不是在系统中。每家公司都有它。大多数公司不知道自己有多少这样的知识。人工智能只能使用已使其可访问的知识。马丁的例外从系统的角度来看是不存在的。没有这种背景，其决策可能在技术上是正确的，但在操作上是错误的。麦肯锡已经在代理人工智能部署中确定了同样的挑战。构建有效的代理人工智能需要公司编纂可能存在于标准程序中的专家实践——或者仅仅存在于员工的头脑中的默示知识。换句话说：人工智能部署可能是组织第一次看到流程依赖于马丁所知道的东西。虚假的真相来源人工智能输出中最危险的不是总是明显错误的输出。它可能是一个可信的、专业呈现的答案，产生自过时的信息。多年来，许多部门都使用了同一份文档的多个版本，因为法律部门的简总是知道哪一个是权威的。遗憾的是，人工智能并不这样认为。除非它被给予区分版本的规则，否则系统没有理由质疑它收到的文档。因此，人工智能审查运行正确——但是在错误的文档上。这可能比没有审查更糟糕，因为输出看起来是可信的。一位经验丰富的员工可能知道真相在哪里，可以在混乱中找到方向。然而，系统需要一种可靠的方法来确定哪些信息是当前的、批准的和相关的。默示知识、不可靠的文档和为人类速度输出设计的批准流程似乎是独立的问题。但是，它们共享同样的根源。它们都不是由人工智能创造的，但人工智能使它们更难以忽视。在构建代理之前需要回答的问题在部署人工智能代理之前，组织应该能够回答三个问题。哪些决策依赖于从未被记录的知识？这意味着要确定经验丰富的员工应用的异常、捷径和判断调用，而没有明确描述它们。仅仅依靠采访可能无法揭示所有这些知识。组织可能需要观察工作实际如何执行，并将其与官方流程进行比较。系统如何识别当前、批准和相关的信息？给代理访问更多文档并不能解决问题，如果它无法区分批准的合同和草稿，或是活动政策和过时的政策。版本控制、所有权、批准状态和保留规则必须足够清晰，以便系统能够确定哪个来源应该支配其决策。现有的批准和升级流程是否能够吸收其输出的数量和速度？团队应该估计代理可以完成的工作量，不仅要估计它可能创建的审查、异常和升级数量。 NIST人工智能风险管理框架建议明确定义人工智能系统的人类监督角色和职责。这些需要在系统部署之前设计为预期的数量——而不是在员工被其淹没之后。 这些问题不是回答一次就忘记的问题。流程会改变，文档会过时，未记录的异常会再次积累。因此，准备就绪不仅需要在启动之前建立，还需要在整个过程中维持。人工智能准备从流程开始人工智能准备不仅仅是对技术的测试。它是对组织是否使其流程足够明确以便技术能够在其中运行的测试。因此，为组织准备人工智能涉及的不仅仅是选择一个模型或构建一个代理。它意味着阐明所有权、识别权威信息、记录异常并重新设计输出的审查、升级和采取行动的方式。这是艰难的工作，但失败的部署最终会迫使组织做到这一点。唯一的变量是时间。
警告：问题不在于模型2023年，纽约市推出了MyCity聊天机器人，以帮助企业导航复杂的法规。这个想法很简单：使法律信息更容易获取。在实践中，该系统产生的答案不仅错误，而且具有法律误导性——从小费规则到住房歧视到付款法律。后来的审计发现，71.4%的用户反馈为负面。与其解决根本问题，不如添加免责声明。聊天机器人甚至在关闭前保持“测试版”状态超过两年。失败的原因不是技术问题。该系统在生产中崩溃，因为没有机制来确保准确性，没有明确的责任，也没有办法在事情出错时进行干预。这就是企业AI今天的模式：技术是有效的，但组织没有设置好可靠地运行它的机制。从试点到生产：一切都在哪里崩溃建立试点相对简单——选择一个用例，选择一个模型，准备数据，找到赞助商。然而，在生产中运行一个系统则完全是另一回事。差距就像跳入游泳池和从平流层跳下（如2012年Felix Baumgartner所做的）的区别——相同的基本物理学，但条件完全不同——而且失败的后果也完全不同。在生产中，AI进入了真正的决策流程，与客户互动，并产生了法律和运营后果。那就是差距开始出现的地方——不在模型中，而是在它的治理中。欧洲比大多数地区更早地暴露了这一问题。像EU AI法、GDPR和NIS2这样的法规并没有减慢采用速度——它们暴露了组织是否能够在现实约束下运行AI系统。2025年，55%的欧盟大型企业已经在使用AI。采用已经在大规模发生。挑战在于部署后会发生什么。在那时，基本的运营问题开始浮现。通常，没有人能回答这些问题：谁对AI输出和自主决策负责？当系统表现出意外行为时会发生什么？谁会在问题被媒体报道之前抓住它?责任在于公司，而不是技术。 加拿大航空公司的聊天机器人 给客户提供了关于丧亲之痛票价的错误信息。客户依赖于它，后来被拒绝退款。法庭裁定航空公司负责——聊天机器人不是一个独立的实体。同样的问题，从不同的角度来看： 麦当劳的McHire系统 暴露了近64,000名申请人的敏感数据。原因不是复杂的攻击——管理员登录使用“admin”和“123456”。系统看起来很先进。失败是基本的。当你在一个活跃的系统上添加治理时，已经太晚了。部署一个系统是一个技术决策。可靠地运行它是一个组织决策。而这就是大多数公司低估的部分。谁真正拥有AI风险？没有人。这是核心问题，然而也是最少被讨论的问题。IT管理基础设施。法律处理合规性。业务团队推动用例。但是，没有人拥有端到端的AI风险。这造成了两个直接的问题。 “启动”决策变慢——因为没有人愿意承担责任。 “停止”决策也同样变慢——因为没有人知道谁可以这样做。数据反映了这一点。 不到10%的AI用例 从试点到生产，而且大多数组织难以产生可衡量的业务影响。与此同时，许多组织已经在部署AI——但根据 治理成熟度调查，只有7%拥有成熟且一致应用的治理。为什么这会发生？因为大多数框架和公司政策定义了应该发生什么——而不是谁在重要时刻负责。当一个系统开始在星期五午夜产生不正确的输出时，问题不是理论性的。谁采取行动？谁有权决定?当规模扩大时，这只会变得更糟。一套系统可以通过非正式方式管理。当你有三十套系统时，责任分散在各个团队中，没有人有完整的图景。澳大利亚联邦银行 提供了一个明确的例子。该银行用AI语音机器人取代了45名客户服务工人，预计需求会下降。然而，需求并没有下降。电话量增加，经理介入处理过载，该银行不得不重新雇用所有45名员工。当被质疑时，它无法证明自动化已经减少了工作量。没有人在部署前验证假设。当这些假设失败时，没有人拥有结果。这就是责任真空在实践中的样子。拥有规则是不够的。你需要一个机制大多数组织并不缺乏政策。他们缺乏在事情出错时起作用的系统。一项政策定义了应该发生什么。一个机制决定了实际发生什么——当一个模型产生不正确的输出时，当一个供应商在后台更改某些内容时，或者当一个系统开始表现出意外行为时。这在生产中变得可见——当必须在现实条件下做出决定时。这些失败遵循一致的动态。在每种情况下，相同的运营差距以不同的形式出现。所有权优先每个部署的AI系统都需要一个明确负责的所有者——一个人，而不是一个团队或部门，有权批准、暂停和关闭它。没有它，快速部署和安全干预都是不可能的。如澳大利亚联邦银行的例子所示，明确所有权的缺乏直接导致了运营失败。数据和法律清晰度通常缺失许多系统在没有记录的数据流、验证的法律依据或关于一旦系统投入生产时适用的义务的清晰度的情况下启动。2025年，意大利监管机构对 DeepSeek 的行动阐明了这一点。问题不在于模型质量——而在于无法解释如何处理个人数据。结果是欧洲用户的服务中断。测试很少反映现实世界使用系统通常根据其性能良好的场景进行评估，但不针对其可能失败的案例。MyCity聊天机器人是一个明确的例子。基本边缘案例——关于劳动法、住房歧视或付款规则——在部署前没有被捕获。一旦暴露在真实用户面前，这些失败就立即变得公开了。测试不仅仅是关于性能——它是关于在用户、监管机构或记者之前识别系统可能失败的地方。干预不明确或太慢即使问题是可见的，也经常没有明确的触发器或权限来暂停或关闭系统。Zillow Offers 以大规模展示了这一点。该系统使用算法来定价和购买房屋。随着市场在2021年冷却，系统继续以高价购买。没有检测到漂移的机制，也没有明确的决策点来停止它。结果是损失超过8.8亿美元，并关闭了整个部门。监控不是所有权监控通常被简化为仪表板，但那不是防止失败的原因。重要的是定义的责任：谁跟踪信号，什么触发升级，谁被期望采取行动。德勤澳大利亚 的案例展示了缺乏明确责任时会发生什么。一个政府报告包括了编造的引用和不正确的法律引用，因为没有人明确负责在交付前验证输出。结果是部分退款和声誉损害。代理AI：即将到来的将更加困难生成AI产生输出。代理AI采取行动。这改变了整个风险。不再是评估单个响应——一条指令可以触发一系列跨系统的决策——API调用、数据访问、事务、更新——通常没有人在每个步骤进行干预。当事情出错时，问题不再是准确性。它是可追溯性。哪个步骤导致了问题？使用了什么数据？谁授权了该操作？在许多情况下，这些问题在事后很难回答。现有的差距变得至关重要。模糊的所有权、薄弱的监控和缺乏干预不仅持续存在——它们也会加剧。一个有缺陷的答案可以被纠正。一个有缺陷的行动可以在有人注意到之前产生后果。早期信号已经指向这个方向。 Gartner 估计，到2027年，超过40%的代理AI项目将被取消——不是由于模型限制，而是因为组织难以控制成本、风险和结果。这种模式与我们在部署后看到的生成AI相同。只是赌注更高。监管机构已经以一个简单的原则做出反应：自动化不会消除责任。对于组织来说，这意味着：如果所有权和控制权今天尚不明确，扩展到代理系统将不会解决这个问题。它会放大这个问题。运营它——否则失去它AI不再是限制因素。模型广泛可用，功能强大，日益商品化。真正的区别在于不是一个组织是否可以构建AI——而是它是否可以在启动后可靠地运行它。这就是大多数失败发生的地方——不在于如何构建系统，而在于如何运行系统。成功的组织将不是拥有最先进模型的组织。它们将是拥有最清晰的运营结构的组织。这可以直接测试。拿你的最重要的AI系统，并回答三个问题： 谁可以关闭它？ 你如何知道它何时失败？ 当它失败时会发生什么？ 如果这些答案不明确，该系统尚未准备好投入生产。模型可能已经准备好了。组织尚未准备好。
