自主代理需要的不仅仅是 AI 可观察性

随着公司使用 AI 代理来思考、行动和启动工作流程，开发一个计划来监控和管理它们变得至关重要。

当 AI 系统的各个组件开始做出自己的决定时，仅仅依靠可观察性是不够的，无法确保操作的稳定性、安全性和可靠性。

为了有效地管理企业中的 AI 代理，业务必须弥合问题识别和行动之间的差距。这意味着不仅仅是观察问题，还要积极地预防它们。

自主代理的出现

企业 AI 的初始浪潮是基于提示的系统；用户提出一个查询，模型响应，然后交换结束。虽然这些早期技术基本上是反应性的，但它们对搜索、副驾驶、内容创建和摘要很有帮助。

然而，下一波浪潮不同。自主 AI 代理不仅反应，还会根据目标进行推理，选择工具，提取信息，采取行动，并启动工作流程。它们有时与其他代理或系统合作，并越来越多地作为公司内部的运营参与者，而不是仅仅作为人类指令的接口层。

这种变化很重要，因为它影响了 AI 的运营特性。团队不再只是关注模型输出，而是管理动态系统，可以立即影响客户、员工、基础设施、业务流程和其他应用程序。

代理的能力

代理的能力与其发展而来。代理可以选择下一步要做什么，分解目标为步骤，并在不同级别完成活动。通过调用 API、查询数据库、搜索内部系统、更新记录和启动下游操作，代理协调工作流程。通过集成提示、记忆、业务规则、检索信息和实时操作信号，代理还可以做出基于上下文的判断。

更高级的代理可以识别工作流程何时失败、重试、升级问题或将作业转发给人类审查员。在 CRM、票务、云基础设施、内部知识库、可观察性平台和业务应用程序中，代理可以独立运行。我们预计这些技能将继续迅速扩展。

企业如何整合自主 AI 代理

代理正在被整合到越来越多的组织运营中，并且越来越接近运营流程，在那里速度、准确性、安全性和治理至关重要。其中一些运营包括：客户服务和案例处理、事件响应和 IT 运营、DevOps 和站点可靠性工作流程、代码修复和软件开发、运营和供应链规划等。

新兴的运营威胁

然而，随着代理变得越来越独立，企业必须应对一种新的运营风险。

• 糟糕的选择不仅仅被建议，还经常被执行
• 小错误可以迅速传播到其他链接系统
• 现实世界的行动可以由幻觉触发
• 代理可能偏离业务意图、政策或合规性
• 多个组件之间的交互可以导致故障
• 自动化决策可以比人类评估更快地做出决定

虽然团队可能会观察到症状，但他们还必须能够理解系统行为背后的原因。企业 AI 需要可靠性控制，而不仅仅是可观察性。

AI 系统的复杂性

如今，AI 驱动的系统很少是一个单独的模型。它们是分布式、分层的系统，由许多相互作用的组件组成，包括：

• 基础模型（LLM）
• 微调或特定任务的小型语言模型（SLM）
• 嵌入模型
• 向量数据库
• 检索管道和 RAG 组件
• 提示模板和提示编排层
• 训练和评估数据集
• 防护栏和策略层
• 代理和工作流程
• 工具调用系统
• 遥测（即日志、指标和跟踪）
• 人工审查检查点

风险

每个组件都会增加一种不同的故障模式，而它们之间的交互作用会增加更多的复杂性。即使系统在基础设施层面上看起来很强大，但仍可能做出糟糕的选择并产生令人满意的结果，同时在表面下积累运营风险。

一些相关风险包括：数据管道引入的低质量或损坏的输入，基础设施瓶颈降低了可靠性，危害或错误的结果，以及对人类审查的运营瓶颈。进一步复杂化问题的是，具有多个代理或步骤的系统可能会以不立即显现的方式失败。

AI 可观察性

传统的监控不足以理解提示行为、检索质量、模型漂移、代理执行通道或 AI 行为与下游业务或运营影响之间的联系。

这就是 AI 可观察性 的用途。AI 可观察性使团队能够通过收集、关联和评估 AI 系统生成的输入、输出、期望行为和决策信号来理解 AI 系统在生产环境中的工作方式。这是必不可少的，因为 AI 系统是分散的、非确定性的和非常依赖上下文的。

AI 可观察性提供了对 AI 工作流程的端到端洞察，使得使用它的团队能够理解提示、模型、检索层、工具和下游系统在执行期间如何相互作用。

AI 可观察性使得监控性能和行为成为可能，包括延迟、成本、令牌使用、吞吐量、错误率、模型行为和输出质量指标。它跟踪和分析复杂代理工作流程中的执行路径，并展示了结果是如何跨多个步骤和依赖关系达成的。

AI 可观察性还可以通过暴露模型、管道、基础设施或用户面向结果中的异常行为来发现运营和 AI 信号中的异常。它加速了诊断，当出现问题时，并通过将 AI 特定操作纳入系统遥测（日志、指标、跟踪和事件）来简化根因分析。

可观察性不足

尽管可观察性是一种必不可少的商业实践，但它具有固有的局限性。

可观察性是诊断性的，而不是预防性的；团队可以了解出了什么问题，但不一定知道如何防止它再次发生。了解代理过去的行为并不自动转化为对代理未来的行为的控制。

在复杂的非确定性系统中，可观察性往往会用数据淹没团队，导致不确定性。可观察性通常以解释而不是操作答案结束。即使团队意识到问题的存在，但他们可能缺乏必要的自动化、防护和控制回路来采取纠正措施。

这就产生了一个运营差距。企业可能能够发现漂移、糟糕的结果、危险的行为或降低的生产力，但他们可能仍然无法防止它再次发生、减轻其影响或保持自主系统在安全的操作参数内。

这意味着团队继续以反应性方式运作。他们在出现问题时使用手动干预，在事后调查事件，并依靠人工劳动来弥补系统变得更快、更自主的局限性。

AI 可靠性的概述

AI 可靠性超出了仅仅观察问题。它是一种确保 AI 系统在现实世界的生产环境中安全、可靠、可预测和成功运行的学科。AI 可靠性理解和管理围绕 AI 的整个系统。它弥合了检测和行动之间的差距。

AI 可靠性关注整个 AI 驱动系统是否可以在合理的运营约束下长期运行，而不仅仅是模型是否提供了准确的响应。质量、安全性、恢复力、可解释性、策略合规性、成本效益和运营稳定性都是等式的一部分。

从检测到预防的转变

AI 可靠性减少了识别问题和处理问题之间的时间。它将对话从“出了什么问题？”转变为“我们的 AI 将如何快速改进？”采用以下技术可以实现可观察性从被动观察到主动预防的转变：

• 在模型、数据和基础设施中关联信号以识别问题
• 在影响之前预测问题检测
• 在概率 AI 系统中验证所有输入和输出以发现微妙的行为变化
• 创建一个反馈循环，检测生产中的不良输出并使用它来生成微调数据以提高底层模型的准确性
• 多代理工作流跟踪，以确保可以将复杂操作的点连接起来
• 定义人工在循环中的代理工作流，以实现安全的响应和自动补救

弥合控制和观察之间的差距

企业可以从整合可见性和控制的框架中受益，这需要比在生成性 AI 之上添加一个可观察性层更进一步。可靠性平台可以在确定性和非确定性系统中识别、预测、解释和帮助控制问题。

一个可靠的 AI 运营框架应包括：

• IT 系统和 AI 系统的集成遥测
• 代理工作流和系统依赖关系的端到端跟踪
• AI 特定行为和质量跟踪（提示和评估）
• 高级异常检测，无论来源如何
• 因果推理和根因分析
• 自适应环境的自动警报，不需要手动阈值
• 策略执行和防护栏
• 人工在循环中的评估，用于重要或重要的操作
• 工作流自动化和补救协调
• 使用预测分析来防止问题发生
• 将异常检测与改进的 AI 模型质量连接起来的反馈循环

促进 AI 功能

AI 系统依赖于基础设施、服务、数据管道和运营例行程序；它们不会自行故障。团队可以通过将 AI 和 IT 可靠性相结合来获得完整的图景。

薄的 LLM 包装器不应成为可信平台的基础。为了识别和修复其他生成性 AI 只工具可能忽略的问题，应考虑各种 AI 技术，包括无监督 AI、预测 AI、因果 AI 和生成性 AI。这种技术的组合通常被称为“复合 AI”。

生成性 AI 擅长总结自然语言。它最适合需要在非结构化数据中进行推理或与人类交互的情况。但这并不适用于生产环境中大多数可靠性问题的形状。

预测 AI 集中于使用异常检测算法识别早期信号，以便在它们成为停机、糟糕的客户体验或昂贵的故障之前。

因果 AI 有助于确定真实的根因，以揭示检索质量、模型行为、基础设施缓慢、上游数据漂移或下游系统故障是否导致性能下降。

无监督 AI 自动发现数据中的隐藏模式、结构或异常，而无需人工指导。它在可靠性方面优于生成性 AI，因为它专注于在复杂、未分类的数据中找到隐藏的结构，以对相似项进行分组或发现关系。

当风险、模糊性或业务影响很大时，运营 AI 代理必须能够在保持人工参与以实现可靠运营的同时自动化反应。

通过使用生产环境中实际用户数据的强化学习，AI 模型可以在每次遇到中增强对特定业务上下文的理解。

甚至最先进的系统也超出了警报；闭环补救从每次事件中学习，自动化已识别的反应，并启动安全措施。

为自主 AI 系统做准备

企业可以通过以下几种方式为自主 AI 系统做准备。首先，代理应该被视为运营系统，而不是生产力工具。一旦代理具有采取行动的能力，它就成为业务运营的重要组成部分，应该得到适当的监管。

团队可以立即记录来自模型、提示、工具、工作流程、基础设施和用户结果的信号，方法是instrument代理。这项基本的监控不应延迟，直到代理成为业务的重要组成部分。

在代理被广泛部署之前，建立可靠性标准也至关重要。安全性、延迟、错误率、幻觉风险、策略合规性和业务影响的可接受阈值应在设计中纳入，而不是事后引入。

将 AI 行为与支持它的底层系统和过程联系起来，允许企业将 AI 和 IT 运营相结合。使用不同的工具进行基础设施监控和模型监控会产生盲点。

平台工程、SRE、安全、数据、AI 团队和业务所有者必须共同合作，以提供可靠的 AI 运营，而自主系统则超越了传统的孤立。

每个事件、异常和险些发生的事故都会通过将反馈循环纳入运营流程来增强系统，使企业能够从生产行为中持续学习。

最后，选择专为控制而设计的平台至关重要，而不仅仅是观察。随着 AI 代理变得更加自主，企业将从集成了可观察性、预测、解释和行动的系统中受益。成功地从识别问题转变为安全控制结果的组织将是赢家。

结论

AI 在企业环境中的业务运营系统已经不再仅仅是一种工具。在现实世界的生产环境中，为 AI 系统添加可靠性可以保证安全、稳定、可预测和高效的运营。