人们不愿讨论的AI可靠性问题

关于AI可靠性的主导叙事很简单：模型出现幻觉。因此，为了让公司从中获得最大的效用，模型必须改进。更多的参数。更好的训练数据。更多的强化学习。更多的对齐。

然而，即使最先进的模型变得更加强大，可靠性辩论仍然不会消失。企业领导者仍然犹豫是否允许代理在核心系统中采取有意义的行动。董事会仍然会问：“我们能相信它吗？”

但是，幻觉并不是主要的模型问题。它们是一个上下文问题。我们要求AI系统在没有提供安全推理所需的结构化可见性的情况下在企业基础设施上运行。然后我们责怪模型当它猜测时。

真正的可靠性差距不在于权重，而在于信息层。

没有成像的外科医生

想象一个没有成像的外科医生。没有MRI。没有CT扫描。没有对周围组织的实时可视化。只有对解剖学的总体了解和一把手术刀。即使是最熟练的外科医生也会被迫推断。近似。依赖概率推理。

这就是企业AI代理现在正在做的事情。

当AI系统被要求修改工作流、更新ERP规则或触发工具的自动化时，它很少有环境的完整依赖图。它不知道哪个“未使用”的字段为下游仪表板提供了动力。它看不到哪个自动化引用了该验证规则。它无法可靠地模拟二阶影响。

所以它做了大型语言模型被训练做的事情：它预测。预测不是理解。预测没有结构化上下文，看起来像幻觉。

我们一直在框定错误的辩论

AI社区一直陷入以模型为中心的可靠性对话。关于缩放法的论文。关于思维链提示的研究。检索增强技术。评估基准。

所有这些都是必要的。所有这些都是有价值的。但是，请注意什么是缺失的：讨论企业系统拓扑。

在企业环境中，可靠性不仅仅意味着“模型生成正确的文本”。它意味着“系统进行的更改是安全的、可追溯的和可预测的”。

这是一个根本不同的要求。

当OpenAI和Anthropic 发布AI代理性能评估时，他们衡量推理任务、编码基准或知识回忆的准确性。这些都是有用的信号。然而，它们并没有衡量AI代理安全修改具有15年累积自动化债务的活跃收入系统的能力。

问题不是模型是否能写出语法正确的代码；而是AI是否理解代码部署的环境。

活系统积累熵

企业系统不是静态数据库。它们是活系统。每个新集成都会留下痕迹。每个活动都会引入一个字段。每个“快速解决方案”都会引入额外的自动化层。随着时间的推移，这些层以没有人完全理解的方式相互作用。

这是增长的功能。复杂的适应性系统自然会积累熵。来自MIT斯隆管理学院的研究长期以来一直强调了信息不对称如何在组织内加剧运营风险。同时，Gartner估计，数据质量差的平均成本每年为12.9万美元。

现在，想象一下在没有解决其结构不透明性的情况下将自主代理插入该环境。

我们不应该对不可预测的结果感到惊讶。代理不是恶意或愚蠢的。它是盲目的。它在黑暗中构建。

检索不足

有些人会认为，检索增强生成（RAG）解决了这个问题。给模型提供文档。提供模式描述。连接到API。

这有帮助。

但文档不是拓扑。

一个解释工作流“应该”如何运行的PDF与一个实时图不同，该图显示它如何与17个其他自动化相互作用。

企业现实很少与企业文档相符。

2023年发表在《计算机协会通信》上的研究发现，过时的文档是软件维护失败的主要原因。系统的演变速度超过了其叙事速度。

因此，即使我们为AI代理提供文档，我们经常给予他们一个部分或理想化的映射。

部分地图仍然会产生自信的错误。

代理层是真正的安全层

我们倾向于认为安全是对齐训练、防护栏、红队和策略过滤器。但在企业环境中，安全是上下文。它是知道：

• 哪些依赖于此字段？
• 哪个自动化引用了此对象？
• 哪些下游报告将会中断？
• 谁拥有此过程？
• 它是什么时候最后修改的？
• 在当前配置之前，历史更改是什么？

没有这一层，AI代理基本上是在黑盒中即兴发挥。有了这一层，它可以在采取行动之前模拟影响。

可靠性与幻觉之间的区别往往是可见性。

为什么模型被指责

为什么辩论如此集中在模型上？因为模型是可读的。我们可以衡量困惑度。我们可以比较基准分数。我们可以发布缩放曲线。我们可以讨论训练数据的质量。

企业内的信息拓扑要复杂得多。它需要跨职能协调。它需要治理纪律。它迫使组织面对自己系统的积累复杂性。

说“模型还不够好”比说“我们的基础设施不透明”要容易。

但是，当AI代理从内容生成转向操作执行时，这种框架变得危险。

如果我们仅将可靠性视为模型选择问题，我们将继续将代理部署到它们无法有效感知的环境中。

自治需要上下文

Anthropic最近关于多代理软件开发团队的实验表明，AI系统可以在提供结构化上下文和持久内存的情况下跨复杂任务协调。能力边界正在迅速发展。但是，没有环境感知的自治是脆弱的。

自动驾驶汽车不仅依赖于强大的神经网络。它还依赖于激光雷达、摄像头、映射系统和实时环境感知。模型只是感知堆栈中的一个层。

企业AI需要等效的激光雷达。不仅仅是API访问。不仅仅是文档。而是对系统依赖关系的结构化、动态理解。

在这种情况下不存在，关于幻觉的辩论将继续误诊根源。

隐藏风险：过度自信

当前框架中还有另一个微妙的风险。

随着模型的改进，其输出变得更加流畅、更具说服力、更有权威性。

流畅性放大了过度自信。

当代理在没有完整上下文的情况下自信地修改系统时，失败并不立即显现。它可能会在几周后以报告差异、合规差距或收入预测错误的形式出现。由于模型看起来很有能力，组织可能会高估其操作安全性。真正的故障模式是合理的计算错误。

合理的计算错误在黑暗中茁壮成长。

重新定义可靠性问题

我们不应该问：“模型足够好吗？”我们应该问：“代理是否具有足够的结构化上下文来安全地采取行动？”我们不应该衡量基准准确性，而应该衡量环境可见性。我们不应该讨论参数数量，而应该审计系统不透明度。

AI可靠性的下一个前沿不是更大的模型。它是更丰富的上下文层。

这包括：

• 企业系统的依赖关系图
• 实时更改跟踪
• 所有权映射
• 历史配置意识
• 执行前影响模拟

这些都不是光鲜的。这些都不会在社交媒体上流行。但这是可靠性将会取得的领域。

开着灯建设

企业领导者要求在授予代理操作权限之前需要可靠性是正确的。但是，前进的道路不是等待一个神话般的无幻觉模型。

这是投资于使智能行动成为可能的可见性基础设施。

我们不会允许一名初级管理员在不了解依赖关系的情况下更改生产系统。我们也不应该允许AI代理这样做。

目标？减少盲点。

当代理在结构化意识下运行时，幻觉率会下降，不是因为模型改变了，而是因为猜测表面减小了。

预测成为推理。推理成为模拟。模拟成为安全执行。

不可避免的转变

在接下来的五年里，AI堆栈将会分裂。一个层将专注于模型能力：推理深度、多模态流畅性和成本效率。另一个层将专注于信息/上下文拓扑：系统图、元数据智能和治理框架。

仅将可靠性视为模型选择练习的组织将会苦苦挣扎。

将可靠性视为架构属性的组织将会更快、更安全地移动。

关于幻觉的辩论将会显得很古怪。真正的故事将是关于可见性。

AI本身并不是鲁莽的。

它是在黑暗的房间里操作。

在我们解决这个问题之前，我们不是在构建智能系统。我们是在不透明的环境中构建强大的预测器。

而这意味着，尽管我们取得了所有的进步，AI仍然在黑暗中构建。