自主代理需要超越 AI 可观察性

随着公司使用 AI 代理来思考、行动和启动工作流程，开发一个计划来监控和管理它们变得至关重要。

当 AI 系统的各个组件开始做出自己的决定时，仅仅依靠可观察性是不够的，无法确保操作的稳定性、安全性和可靠性。

为了有效地管理企业中的 AI 代理，业务必须弥合问题识别和行动之间的差距。这不仅仅是观察问题，还需要积极地预防它们。

自主代理的出现

企业 AI 的初始浪潮是基于提示的系统；用户提出一个问题，模型响应，然后交互结束。虽然这些早期技术基本上是反应性的，但它们对搜索、副驾驶、内容创建和总结很有帮助。

然而，下一波浪潮不同。自主 AI 代理不仅反应，还会根据目标进行推理、选择工具、提取信息、采取行动和启动工作流程。它们有时与其他代理或系统合作，越来越多地作为公司内部的运营参与者，而不仅仅是人类指令的接口层。

这种变化很重要，因为它影响了 AI 的运营特性。团队不再仅仅关注模型输出，而是管理能够瞬间影响客户、员工、基础设施、业务流程和其他应用程序的动态系统。

代理的能力

代理的能力随着时间的推移而演变。代理可以选择下一步要做什么，将目标分解为步骤，并在不同级别完成活动。通过调用 API、查询数据库、搜索内部系统、更新记录和启动下游操作，代理可以协调工作流程。通过整合提示、记忆、业务规则、检索信息和实时运营信号，代理还可以做出基于上下文的判断。

更先进的代理可以识别工作流程何时失败、重试、升级问题或将作业转发给人类审查员。在 CRM、票务、云基础设施、内部知识库、可观察性平台和业务应用程序中，代理可以独立运行。我们预计这些技能将迅速扩展。

企业如何整合自主 AI 代理

代理正在被整合到越来越多的组织运营中，并且越来越接近运营流程，在那里速度、准确性、安全性和治理至关重要。其中一些运营包括：客户服务和案例处理、事件响应和 IT 运营、DevOps 和站点可靠性工作流程、代码更正和软件开发、运营和供应链规划等。

新兴的运营威胁

然而，随着代理变得越来越独立，企业必须应对一种新的运营风险。

• 糟糕的选择不仅仅是建议，而是经常执行
• 小错误可以快速传播到其他链接系统
• 真实世界的行动可以由幻觉触发
• 代理可能偏离业务意图、政策或合规性
• 多个组件之间的交互可以导致故障
• 自动决策可以比人类评估更快地做出决定

虽然团队可能会观察到症状，但他们还必须能够理解系统行为背后的原因。企业 AI 需要除了可见性之外的可靠性控制。

AI 系统的复杂性

今天的 AI 驱动系统很少是一个单独的模型。它们是分布式、分层的系统，由许多交互的组件组成，包括：

• 基础模型（LLM）
• 微调或特定任务的小型语言模型（SLM）
• 嵌入模型
• 向量数据库
• 检索管道和 RAG 组件
• 提示模板和提示编排层
• 训练和评估数据集
• 防护栏和政策层
• 代理和工作流程
• 工具调用系统
• 遥测（即日志、指标和跟踪）
• 人工审查检查点

风险

每个组件都增加了不同的故障模式，而它们之间的交互又增加了更多的复杂性。即使系统在基础设施层面上看起来很强大，但它仍然可能做出糟糕的选择并产生令人满意的结果，同时在表面下积累运营风险。

一些相关风险包括：数据管道引入的低质量或损坏的输入，基础设施瓶颈降低了可靠性，危险或错误的结果，以及对人类审查的运营瓶颈。更复杂的是，具有多个代理或步骤的系统可能以不立即显现的方式失败。

AI 可观察性

传统的监控不足以理解提示行为、检索质量、模型漂移、代理执行通道或 AI 行为与下游业务或运营影响之间的联系。

这就是 AI 可观察性 的用处。AI 可观察性使团队能够通过收集、关联和评估输入和输出、期望行为以及由这些系统生成的决策信号来理解 AI 系统在生产中的工作方式。这是必不可少的，因为 AI 系统是分散的、非确定性的和极其依赖上下文的。

AI 可观察性提供了对 AI 工作流程的端到端洞察，使得利用它的团队能够理解提示、模型、检索层、工具和下游系统在执行期间如何交互。

AI 可观察性使得监控性能和行为成为可能，包括延迟、成本、令牌使用、吞吐量、错误率、模型行为和输出质量指标。它跟踪和分析复杂代理工作流程中的执行路径，并演示了结果如何跨多个步骤和依赖关系达成。

AI 可观察性还可以通过暴露模型、管道、基础设施或用户面向结果中的异常行为来发现运营和 AI 信号中的异常。它加速了诊断，当出现问题时，使根因调查更容易通过将 AI 特定操作包含在系统遥测（日志、指标、跟踪和事件）中。

可观察性不足

尽管可观察性是一种必不可少的商业实践，但它具有固有的局限性。

可观察性是诊断性的，而不是预防性的；团队可以了解出了什么问题，但不一定知道如何阻止它再次发生。了解代理过去的行为并不自动转化为对代理未来行为的控制。

对于复杂的非确定性系统， 可观察性经常会用数据淹没团队，导致不确定性。可观察性通常以解释而不是操作答案结束。即使团队意识到问题，但他们可能没有必要的自动化、防护措施和控制回路来采取纠正措施。

这就产生了一个运营差距。企业可能能够发现漂移、糟糕的结果、危险行为或降低的生产力，但他们可能仍然无法阻止它再次发生、减轻其影响或保持自主系统在安全的运行参数内。

这意味着团队继续以反应性方式运作。他们在出现问题时使用手动干预，事后调查事件，并依赖人工劳动来弥补系统变得更快、更自主的缺陷。

AI 可靠性的概述

AI 可靠性超出了仅仅观察问题。它是一门确保 AI 系统在现实世界的生产环境中安全、可靠、可预测和成功运行的学科。AI 可靠性理解和管理围绕 AI 的整个系统。它弥合了检测和行动之间的差距。

AI 可靠性关注的是整个 AI 驱动系统是否可以在合理的运营约束下长期运行，而不仅仅是模型是否提供了准确的响应。质量、安全性、恢复力、可解释性、政策合规性、成本效益和运营稳定性都是等式的一部分。

从检测到预防的转变

AI 可靠性减少了识别问题和处理问题之间的时间。它将对话从“出了什么问题？”转变为“我们的 AI 将如何改进？”采用以下技术可以将可观察性从被动观察转变为主动预防：

• 关联模型、数据和基础设施的信号以识别问题
• 在影响之前预先检测问题
• 在概率 AI 系统中验证所有输入和输出以检测微妙的行为变化
• 创建一个反馈回路，检测生产中的不良输出并使用它来生成微调数据以提高底层模型的准确性
• 多代理工作流程跟踪以确保可以连接数据演化为复杂操作的点
• 定义人工在循环代理工作流程中用于安全响应和自动补救

弥合控制和观察之间的差距

企业可以从整合可见性和控制的框架中受益，这需要比简单地在生成性 AI 之上添加一个可观察性层更高的东西。可靠性平台可以在确定性和非确定性系统中识别、预测、解释和帮助控制问题。

一个可靠的 AI 运营框架应包括：

• IT 系统和 AI 系统的集成遥测
• 代理工作流程和系统依赖关系的端到端跟踪
• AI 特定行为和质量跟踪（提示和评估）
• 高级异常检测，无论来源如何
• 因果推理和根因分析
• 自适应环境的自动警报，不需要手动阈值
• 政策执行和防护栏
• 人工在循环审查重要或重大的行动
• 工作流程自动化和补救协调
• 使用预测分析来预防问题的发生
• 将异常检测与改进的 AI 模型质量连接起来的反馈回路

促进 AI 功能

AI 系统依赖于基础设施、服务、数据管道和运营例行程序；它们不会自行故障。团队在将 AI 和 IT 可靠性结合起来时获得了完整的图景。

薄的 LLM 包装器不应成为可信平台的基础。为了识别和修复其他生成性 AI 只工具可能忽略的问题，应考虑各种 AI 技术，包括无监督 AI、预测 AI、因果 AI 和生成性 AI。这种技术的组合通常被称为“复合 AI”。

生成性 AI 擅长总结自然语言。它最适合需要通过非结构化数据推理或与人类交互的情况。但这并不适用于生产环境中大多数可靠性问题的形状。

预测 AI 专注于使用异常检测算法识别早期信号，以便在它们成为停机、糟糕的客户体验或昂贵的故障之前。

因果 AI 有助于确定真实的根因，以揭示检索质量、模型行为、基础设施缓慢、上游数据漂移或下游系统故障是否导致性能下降。

无监督 AI 自主地发现数据中的隐藏模式、结构或异常，而无需人工指导。它在可靠性方面优于生成性 AI，因为它专注于在复杂、未分类的数据中找到隐藏的结构，以对相似项目进行分组或发现关系。

当风险、不确定性或业务影响显著时，运营 AI 代理必须能够在保持人工参与可靠运营的同时自动化反应。

通过使用生产中的实际用户数据来强化学习，AI 模型可以在每次遇到中增强对特定业务上下文的理解。

甚至最先进的系统也超越了警报；闭环补救从每次事件中学习、自动化识别的反应并启动安全措施。

为自主 AI 系统做准备

企业可以通过以下几种方式为自主 AI 系统做准备。首先，代理应该被视为运营系统，而不是生产力工具。一旦代理具有采取行动的能力，它就成为业务运营的重要组成部分，并且应该得到适当的监管。

团队可以通过立即对模型、提示、工具、工作流程、基础设施和用户结果进行监控来记录信号。这项基本监控不应延迟，直到代理成为业务的重要组成部分。

在代理被广泛部署之前，建立可靠性标准也至关重要。安全性、延迟、错误率、幻觉风险、政策合规性和业务影响的可接受阈值应在设计中纳入，而不是事后引入。

将 AI 行为与支持它的底层系统和流程联系起来，使企业能够整合 AI 和 IT 运营。使用不同的工具进行基础设施和模型监控会产生盲点。

平台工程、SRE、安全、数据团队、AI 团队和业务所有者必须共同努力，提供可靠的 AI 运营，并且自治系统超越了传统的孤立。

通过将反馈回路纳入运营，业务可以从生产行为中持续学习，每个事件、异常和险些发生的事件都会增强系统。

最后，选择旨在控制而不仅仅是观察的平台至关重要。随着 AI 代理变得更加自治，企业将从整合可观察性、预测、解释和行动的系统中受益。能够从识别问题转变为安全控制结果的组织将是赢家。

结论

AI 在企业中现在是一个运营系统，而不仅仅是一个工具。在现实世界的生产环境中，向 AI 系统添加可靠性可以保证安全、稳定、可预测和高效的运营。从识别问题到安全控制结果将是赢家。结论 AI 在企业中现在是一个运营系统，而不仅仅是一个工具。在现实世界的生产环境中，向 AI 系统添加可靠性可以保证安全、稳定、可预测和高效的运营。