为什么令牌成本无法说明企业级人工智能是否发挥作用

企业级人工智能正经历一个熟悉的周期。起初，各组织全力投入，选择规模最大、能力最强的模型，因为这项技术令人兴奋，而账单还没有到来。等账单真的到来，团队的反应也同样可以预料：开始限制使用、减少试验，并寻找成本更低的模型。

Databricks 联合创始人兼首席执行官 Ali Ghodsi 将这一周期的早期阶段称为“令牌最大化”，也就是把消耗更多令牌视为取得进展的证据。更重要的阶段是“价值最大化”，即弄清楚这笔支出带来了什么，并将资源投向真正重要的工作。

这并非只是给成本优化换了个新名称。成本优化关注的是组织如何减少支出，而价值最大化关注的是如何从支出中获得更多回报。随着人工智能从孤立的试验走向企业日常运营，这一区别将变得愈发重要。

规模最大的模型并不总是最合适的模型

许多组织在启动人工智能项目时，几乎每项任务都使用当时可用的最强大模型。在早期试验阶段，这种做法合情合理：团队当时正努力了解这项技术能做到什么，而且模型能力比结果的可预测性更重要。

然而，随着部署范围扩大，每个请求都使用前沿模型的成本变得难以证明合理。有些组织的应对方式是限制使用，或要求团队减少使用，但一刀切的限制可能会压制有益的试验，也会抑制真正的浪费。

一种更成熟的做法正在形成。团队开始将较小的专用模型用于日常工作，同时把能力更强的模型留给需要复杂推理或失败代价高昂的任务。随着时间推移，一些组织也可能在自己的基础设施中部署模型，以便更好地控制成本、性能和敏感数据。

关键问题不在于大模型还是小模型更好，而在于模型是否适合这项工作，以及其产出是否足以证明生成结果所需的总成本合理。

令牌反映的是活动量，而非价值

大多数企业人工智能仪表板都围绕用量构建。它们会显示用了多少令牌、由哪些模型处理，以及组织花了多少钱。这些数字固然必要，却无法揭示相关工作是否产生了有用的结果。

一个消耗令牌数量翻倍的团队，不一定创造了两倍的价值。它可能是在处理更困难的工作、使用了能力过强且没有必要的模型，或者依赖一个反复重试失败任务的智能体。如果一项工作负载能够避免服务中断、解决客户问题，或为员工节省数小时宝贵时间，那么即使模型成本很高，它仍可能是一笔极佳的投资。

多年来，可观测性领域也一直存在同样的问题，只不过衡量单位是千兆字节，而非令牌。起初，团队什么数据都收集，因为最大限度地提高可见性似乎是最稳妥的策略。随着存储和处理费用上涨，他们开始对数据采样、缩短保留时间，并舍弃上下文信息，以控制开支。

在这两种情况下，面对成本上升，人们往往选择减少工作量。组织真正需要的，是识别哪些活动有价值、哪些属于浪费，以及哪些活动可以在不牺牲结果的前提下变得更高效。

实际成本不止于推理

一次模型调用很少能涵盖完整的人工智能工作负载。智能体可能会检索文档、查询数据库、搜索遥测数据、调用外部服务，并在给出答案之前触发新的应用程序或基础设施活动。

设想一个智能体正在调查某次部署后结账延迟为何增加。它可能会检查日志、比较指标、查看追踪记录、检索部署记录，并分析下游服务。如果最初的推测行不通，它可能会调整时间范围，改用不同的服务名称搜索，并追查几种其他可能原因。

因此，一条人工指令可能触发数百项由机器生成的操作。这些操作会消耗计算资源、存储读写资源、网络容量和第三方 API 配额，但这些开销未必会显示在组织的模型支出仪表板中。

这意味着，看似便宜的模型也可能支撑着昂贵的工作流程。能力更强的模型每次调用可能成本更高，却能用更少的步骤得出正确结论，从而减少重试次数和配套基础设施需求。只有观察完整任务，才能进行这样的比较。

关联活动、成本与结果

要实现价值最大化，组织就必须关联三类往往被分别衡量的信息。

第一类是 AI 活动，包括模型选择、令牌消耗、延迟、工具调用、重试和并行分支。第二类是这些活动产生的基础设施成本和财务成本，包括算力、存储、网络使用、数据库负载和外部 API 费用。第三类是结果，它应表明工作是否成功完成，以及是否有人认为结果有用。

并非所有结果都需要换算成精确的金额。采用实用的衡量方式或许就足够了，例如答案是否被采纳、是否需要有人返工、事件是否得到更快解决，或自动化工作流是否无需干预便顺利完成。

例如，一项事件调查可能会生成数百条查询，但只要能帮助工程师将关键服务恢复时间提前 30 分钟，就可能是值得的。规模小得多的工作流也可能仍然造成浪费，例如它生成的报告无人阅读。单看令牌消耗，无法区分这两种情况。

组织一旦能够将活动与结果联系起来，就可以有意识地决定在哪里使用前沿模型、哪些场景使用较小的模型就足够，以及哪些工作流需要重新设计。

了解情况，不应以放弃控制权为代价

要了解 AI 的价值，就需要访问敏感上下文。提示词、模型生成内容、源代码、客户信息和生产环境遥测数据，都可能属于同一工作流。

组织不应仅仅为了了解 AI 系统的运行表现，就不得不将这些信息导出到外部服务。让衡量变得有用的提示词和生产环境上下文，可能恰恰也是安全、隐私和合规团队不允许离开组织环境的信息。

因此，企业领导者应当询问：其 AI 数据和可观测性数据在哪里处理、谁能够访问、会保留多长时间，以及分析能否在现有安全边界内进行。良好的治理离不开可见性，但这种可见性不能带来新的数据控制问题。

将分析留在底层数据附近，也更容易把 AI 活动与其影响的应用、基础设施和业务流程联系起来。只有获得这种完整视图，团队才能了解自己不仅花了多少钱，还获得了什么回报。

以价值而非规模为优化目标

在企业 AI 发展的下一个阶段取得成功的组织，不一定是使用令牌最多或花费最少的组织，而是能够看清哪些模型和工作负载带来了有意义的结果，并据此指导部署的组织。

这要求我们不再局限于孤立的模型成本仪表板。团队需要观察从用户请求到模型调用、工具、基础设施，再到最终结果的完整路径，同时确保敏感信息受到适当的组织控制。

令牌最大化曾是一个有益的阶段，因为它鼓励了尝试，也展现了 AI 的能力。接下来必须践行价值最大化：综合考量可见性、成本和结果，让组织在继续尝试的同时，不失去对支出或数据的控制。

企业 AI 不必因为第一批账单已经到来就缩小规模，而是需要更加审慎：投入应与难度相匹配，模型应与任务相匹配，支出则应与可衡量的价值相匹配。