人工智能可靠性问题：无人愿意讨论的隐患

关于人工智能可靠性的主导叙事很简单：模型会产生幻觉。因此，为了让公司从中获得最大的效用，模型必须改进。增加更多参数，改进训练数据，增加强化学习，增加对齐度。

然而，即使最先进的模型变得更加强大，可靠性辩论仍然不会消失。企业领导者仍然犹豫是否允许代理在核心系统中采取有意义的行动。董事会仍然会问：“我们能相信它吗？”

但是，幻觉并不是主要的模型问题。它们是上下文问题。我们要求人工智能系统在没有提供结构化可见性的情况下在企业基础设施上运行。然后我们责怪模型当它猜测时。

真正的可靠性差距不在于模型的权重，而在于信息层。

没有成像的外科医生

想象一个没有成像的外科医生。没有MRI，没有CT扫描，没有实时的组织可视化。只有对解剖学的基本理解和一把手术刀。即使是最熟练的外科医生也会被迫推断。近似。依赖概率推理。

这就是企业人工智能代理现在正在做的事情。

当人工智能系统被要求修改工作流程、更新ERP规则或触发工具的自动化时，它很少有环境的完整依赖图。它不知道哪个“未使用”的字段为下游仪表盘提供了动力。它看不到哪个自动化引用了哪个验证规则。它无法可靠地模拟二阶影响。

所以它做了大型语言模型被训练做的事情：预测。预测不是理解。预测没有结构化上下文，看起来像幻觉。

我们一直在错误地定义辩论

人工智能社区一直陷入模型中心的可靠性对话中。关于尺度法的论文、链式推理提示的研究、检索增强技术、评估基准。

所有这些都是必要的、有价值的。但是，请注意什么是缺失的：企业系统拓扑的讨论。

在企业环境中，可靠性不仅仅意味着“模型生成正确的文本”。它意味着“系统做出的改变是安全的、可追溯的和可预测的”。

这是一个根本不同的要求。

当OpenAI和Anthropic 发布模型性能评估 时，他们衡量的是推理任务、编码基准或知识回忆的准确性。这些都是有用的信号。然而，它们并不能衡量人工智能代理在具有15年累积自动化债务的直播收入系统中安全修改的能力。

问题不是模型是否能写出语法正确的代码；而是人工智能是否理解代码部署的环境。

活系统积累熵

企业系统不是静态数据库。它们是活系统。每个新集成都会留下痕迹。每个活动都会引入一个字段。每个“快速解决方案”都会引入额外的自动化层。随着时间的推移，这些层以没有人完全理解的方式相互作用。

这是增长的功能。复杂适应系统自然会积累熵。来自MIT斯隆管理学院的研究长期以来一直强调了组织内部信息不对称如何加剧运营风险。同时，Gartner估计，数据质量差每年会让组织损失平均 $12.9百万。

现在，想象一下在不解决其结构不透明性的情况下将自治代理插入该环境中。

我们不应该对不可预测的结果感到惊讶。代理不是恶意的或愚蠢的。它是盲目的。它是在黑暗中建造的。

检索不足

有些人会认为，检索增强生成（RAG）解决了这个问题。给模型访问文档。给它模式描述。连接它到API。

这有帮助。

但文档不是拓扑。

一个解释工作流程“应该”如何操作的PDF与一个工作流程实际与17个其他自动化交互的实时图不同。

企业现实很少与企业文档相符。

2023年发表在Communications of the ACM上的研究发现，过时的文档是软件维护失败的主要原因。系统的演化速度比其叙述快。

所以，即使我们为人工智能代理提供文档，我们也经常给它们一个部分或理想化的图。

部分图仍然会产生自信的错误。

代理层是真正的安全层

我们倾向于认为安全是对齐训练、防护栏、红队和政策过滤器。但在企业环境中，安全是上下文。它是知道：

• 这个字段依赖于什么？
• 哪个自动化引用了这个对象？
• 哪个下游报告会破坏？
• 谁拥有这个过程？
• 它什么时候最后被修改？
• 哪些历史更改导致了当前配置？

没有这一层，人工智能代理基本上是在黑盒子中即兴发挥。有了这一层，它可以在采取行动之前模拟影响。幻觉和可靠性之间的区别往往是可见性。

为什么模型被责怪

为什么辩论如此集中在模型上？因为模型是可读的。我们可以衡量困惑度。我们可以比较基准分数。我们可以发布尺度曲线。我们可以辩论训练数据的质量。

企业内部的信息拓扑要复杂得多。它需要跨职能协调。它要求组织遵守治理纪律。它迫使组织面对自己系统的累积复杂性。

说“模型还不够好”比说“我们的基础设施不透明”要容易得多。

但当人工智能代理从内容生成转向操作执行时，这种框架变得危险。

如果我们仅将可靠性视为模型问题，我们将继续将代理部署到它们无法感知的环境中。

自主性需要上下文

Anthropic最近关于多代理软件开发团队的实验表明，当提供结构化上下文和持久内存时，人工智能系统可以在复杂任务中协调。能力边界正在迅速推进。但这种没有环境感知的自主性是脆弱的。

自动驾驶汽车不仅仅依赖强大的神经网络。它依赖于激光雷达、摄像头、映射系统和实时环境感知。模型只是一个更广泛的感知栈中的一个层。

企业人工智能需要激光雷达的等价物。不是仅仅API访问。不是仅仅文档。但是系统依赖关系的结构化、动态理解。

在这种理解存在之前，关于幻觉的辩论将继续误诊根源。

隐藏风险：过度自信

当前框架中还有另一个微妙的风险。

随着模型的改进，它们的输出变得更加流畅、更具说服力、更权威。

流畅性放大了过度自信。

当代理在没有完整上下文的情况下自信地修改系统时，失败并不是立即显现的。它可能在几周后以报告差异、合规差距或收入预测错误的形式出现。因为模型看起来很有能力，组织可能会高估其操作安全性。真正的故障模式是合理的错误计算。

合理的错误计算在黑暗中茁壮成长。

重新定义可靠性问题

我们不应该问：“模型足够好吗？”我们应该问：“代理是否具有足够的结构化上下文来安全地采取行动？”我们不应该衡量基准准确性，我们应该衡量环境可见性。我们不应该辩论参数数量，我们应该审计系统不透明度。

人工智能可靠性的下一个边疆不仅仅是更大的模型。它是更丰富的上下文层。

这包括：

• 企业系统的依赖图
• 实时更改跟踪
• 所有权映射
• 历史配置意识
• 执行前影响模拟

这些都不是光鲜的。但这是可靠性将被赢得的地方。

开着灯建造

企业领导者要求可靠性之前授予代理操作权限是正确的。但是，前进的道路不是等待一个没有幻觉的神话模型。

这是投资使智能行动成为可能的可见性基础设施。

我们不会让初级管理员在不知道依赖关系的情况下更改生产系统。我们也不应该让人工智能代理这样做。

目标？减少盲点。

当代理具有结构化意识时，幻觉率会下降，不是因为模型改变了，而是因为猜测表面缩小了。

预测变成了推理。推理变成了模拟。模拟变成了安全执行。

不可避免的转变

在接下来的五年里，人工智能栈将分裂。一个层将专注于模型能力：推理深度、多模态流畅度和成本效率。另一个层将专注于信息/上下文拓扑：系统图、元数据智能和治理框架。

仅将可靠性视为模型选择练习的组织将会苦苦挣扎。

将可靠性视为架构属性的组织将会更快、更安全地前进。

关于幻觉的辩论将会显得很古雅。真正的故事将是关于可见性。

人工智能本身并不是鲁莽的。

它是在黑暗中运行。

在我们解决这个问题之前，我们并没有在构建智能系统。我们是在不透明的环境中构建强大的预测器。

这意味着，尽管取得了所有进展，人工智能仍然是在黑暗中构建。