从正常运行时间到体验：AI 驱动的现代可观测性转变

2001 年，IBM 撰写了一份自治 IT 宣言。自治计算的愿景将自我管理细分为四大支柱：自我优化、自我修复、自我配置和自我保护。当 IBM 提出这一 IT 远景时，我正就职于 Microsoft。我们通过提出诸如自治数据中心等技术构想作出响应，但最终，这仍是一个远超时代的梦想。没有实际手段将该愿景变为现实。

在我任职 Microsoft 的时期，我曾是 Clippy 团队的一员。尽管这个动画回形针助手因过于侵扰而臭名昭著，但其背后的理念是合理的：计算机应主动帮助人类完成工作。我们当时缺乏足够的计算能力和人工智能来实现它。25 年后，我们终于做到了。

从服务水平到体验水平

可观测性的概念并非起源于 IT。1960 年，匈牙利裔美国工程师兼数学家 Rudolf E. Kálmán 创造了“\”observability\””（可观测性）一词，用以描述系统通过其输出能够被测量的程度。随后，2013 年，Twitter 采用了该术语，在一系列博客文章中实际上表明，传统监控通过他们所拥有的所有商业现成工具，旨在服务于不同的技术时代，无法适用于微服务规模的架构。

可以把它比作医生检查患者。医生可以测量脉搏、测量血压，并观察其他外部特征，以间接评估患者的内部健康状况。在 IT 领域，我们也需要如此。当患者的脉搏出现微弱波动时，我们需要弄清这是否意味着肾脏或肝脏出现问题。在 Twitter 20 年前所处理的运营规模和复杂度（当时公司仅为 1 亿实时推文和信息流用户提供服务）下，可观测性需要不同的工具和监控方法。

如今的系统规模更大、复杂度更高，依赖于内容分发网络、缓存与分发位图、字体、JavaScript 文件等遍布全球的资源。真正洞悉真实应用的性能并非易事。

当 IT 在凌晨四点被呼叫时，必须有人起床并判断问题是硬盘坏道导致，还是恶意攻击者试图渗透并破坏基础设施。究竟是哪一种并不重要：归根结底，他们的职责是保证所有系统持续运行。值得庆幸的是，如今评估应用健康时，我们可以收集所有可用的遥测数据：每个网络设备、每个应用、数千个即插即用的集成、通过 JIRA 或 Atlassian 的工单流以及众多其他信号。

这正是体验级目标（XLO）发挥作用的地方。您可能听说过服务水平协议（SLA）和服务水平目标（SLO），但 XLO 更进一步，衡量客户和员工是否获得他们期望的体验水平。这关乎质量，而不仅仅是正常运行时间。从技术角度看，实现 XLO 的唯一途径是实现从网卡（NIC）到终端用户设备的全链路可视化。

去年十月，AWS US-EAST-1 宕机。Catchpoint 在亚马逊公开承认之前 16 分钟检测到该问题。拥有此可视化的客户能够在用户感受到故障影响之前作出响应。

可观测性的承诺类似于“烟雾熊”：在火灾发生前先检测到烟雾。若实现得当，可观测性能够在草原火焰演变成吞噬加州 Palisades 的大火之前将其扑灭。烟雾熊是早期预警系统，无论烟雾来源是 AWS、Oracle、GCP、Microsoft Azure，还是基础设施中的其他异常，都能及时发现。

AI 扩展安全系统规模

没有人工操作员能够监控当今的基础设施系统。唯一能够在大规模下监控系统、每日摄取 PB 级日志数据和万亿级指标的方式是使用 AI。

例如，假设您想跟踪磁盘的读写性能或网络环境中的输入/输出或数据包缓冲区溢出。您可以使用动态阈值来定义正常状态，或采用确定性方法查看过去一周、一个月、一年或任意时间范围的时间序列数据，并建立正常性能阈值。完成此统计分析后，您可以将阈值设定为均值上下两个标准差，这样当出现超出该范围的情况时，就会触发性能异常的警报。

然而，高度复杂的系统每天可能会收到数千条警报。仪表盘开始闪烁，人员也被呼叫。筛选所有这些警报并不是人力的有效利用。事实上，Vectra 估计组织平均每天收到 2,992 条安全警报，其中 63% 未得到处理。

AI 工具可以将每天成千上万的警报削减到仅仅几十个。我记得有一次，单台机器上的单个 NIC 出现问题，导致了 2,000 条下游警报。得益于 AI，客户能够进行警报关联并更快地进行根因分析，结果发现此时此刻的一个问题导致公司整个仪表盘全部变红。

AI 正在让 IT 再次变得令人兴奋

在 Cisco 于 2023 年收购 Splunk 后，我休息了一段时间。在接下来的两年里，我看到我的朋友和前同事们创办公司，利用 AI 实现了五年前甚至无法想象的应用。（记住，如果 ChatGPT 是一个人类孩子，它相当于三岁。）

IT 团队需要在警报响起之前发现烟雾，而不是更多需要盯着的仪表盘。他们。 在某种程度上，这正是 IBM、Twitter，甚至微软的 Clippy 一直在尝试解决的问题。

这就是我决定重新投入的原因。技术终于达到一个阶段，我们可以兑现可观测性和自主 IT 的最初承诺。