报告

《推理经济性评分卡》对将 GPU 利用率作为 AI 性能指标提出质疑

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
要点GPU利用率无法区分有生产力的输出与昂贵的上下文重建。
查看更多
  • GPU利用率无法区分有生产力的输出与昂贵的上下文重建。
  • 该评分卡衡量的是相对于电力、机架空间和成本的有效吞吐量,而非芯片活动。
  • 在基准测试中,共享NVMe缓存将上下文重新计算降至预填充周期的6.8%。

GPU 忙碌并不一定意味着它高效产出了。这正是《推理经济性评分卡》提出的观点。这项由NAND Research和WEKA开展的新研究,提出了一种更全面的评估方式,用于衡量运行生产环境 AI 的基础设施。

该框架将关注重点从芯片活动转向在服务目标内交付的有效产出,并以耗电量、机架空间和成本作为衡量依据。随着 AI 智能体进行长时间对话、调用工具并反复回溯先前的上下文,这一框架也愈发重要。推理服务器可能耗费大量算力来重建上下文,但其利用率仪表盘看起来仍然一切正常。

在发布消息的同时,WEKA 还重点介绍了一项与 Nebius 合作、使用 NVIDIA HGX B300 硬件开展的 8 小时基准测试,并发布工作负载跟踪数据和工具,供其他人复现这一比较。该评分卡是一套拟议中的评估框架,并非业界既定标准。WEKA 赞助了这项研究,而其存储技术也受益于这一评估思路。

为什么 GPU 利用率会掩盖代价高昂的重复工作

推理是运行训练好的模型以生成回答的过程。在生成新 token 之前,模型会先处理输入内容和对话历史,这一阶段称为预填充。在此过程中,模型会创建键值缓存(KV 缓存):这是一种注意力机制的中间数据,可让模型在对话继续时复用先前的计算结果。

存放这类缓存的最佳位置是 GPU 的高带宽内存,即 HBM。但 HBM 还必须容纳模型权重和其他工作数据。长时间会话和并发用户可能迫使服务器清除已缓存的上下文,以腾出空间。

当用户或智能体再次返回时,服务器可能不得不重新处理旧 token,以重建缺失的缓存。这并不意味着模型永久丢失了对话内容,而是基础设施丢弃了可复用的表示,因此必须付出代价将其重新构建出来。

这就造成了衡量上的误区。重新处理昨天的上下文会让 GPU 保持活跃,就像生成有用的新回答一样。利用率仍是有价值的诊断指标,但仅凭它无法告诉运营人员客户获得了多少有效工作成果。

推理经济性评分卡的衡量内容

评分卡要求进行至少持续 8 小时的连续测试,以充分暴露短时间演示可能无法发现的行为。比较时必须保持模型、精度、工作负载、并发量、缓存条件、质量门槛和服务级别目标不变。衡量范围涵盖整个服务运行栈,并须披露冷却和设施运营开销。

只有符合质量和服务目标的成功输出,才计入有效吞吐量。失败的请求、重试、超时和丢弃的输出必须明确列出,不能从计算中隐去。

指标 可反映的情况
每瓦特 token 数 电力转化为有效模型输出的效率。
每机架 token 数 部署在特定物理空间内可交付的输出量。
每次推理的成本 系统处理一次成功请求所需的费用。
GPU 有效吞吐量 在服务目标内交付的有效产出,而非芯片的原始活动量。
首 token 时间和端到端延迟 用户等待响应开始和完成所需的时间。
内存效率 系统利用稀缺内存容量的效率。
运营密度 部署和运营限制对可用容量的影响。
智能体并发能力 系统支持多个活跃智能体工作负载的能力。
上下文保留能力 随着工作负载增长,系统保留可复用会话上下文的能力。

吞吐量与有效吞吐量之间的区别尤为重要。服务器生成的 token 更多,却未能赶上客户要求的响应时限,其实用性可能不如一套看起来速度较慢、但能始终按时响应的系统。同样,只有当更大的缓存所带来的收益超过额外的存储、网络和运营费用时,才具有经济吸引力。

共享存储如何扩展 KV 缓存

WEKA 的基准测试技术说明介绍了 NeuralMesh 与 Augmented Memory Grid:这套方案将可复用的 KV 数据保存在共享 NVMe 存储中,使其不再局限于 GPU 自身的内存。NVMe 是一种高性能接口,常用于闪存驱动器。

在这种设计中,缓存成为服务基础设施可通过网络读取的资源,而不必反复在 GPU 上重建。RDMA(远程直接内存访问)和 NVIDIA GPUDirect Storage 有助于通过从存储到 GPU 的直连数据通路传输数据,减少 CPU 的参与。

这其中的权衡在于,是传输已有数据,还是重新计算。足够快速的存储通路可以让读取数据比重建较长的历史记录成本更低。这种优势取决于缓存复用率、上下文长度、并发量以及整个数据通路的速度;对于工作数据已经能装入 HBM 的短请求,情况则有所不同。

八小时基准测试的实际结果

这项由 Nebius 与 WEKA 联合开展的测试使用了一台配备八块 GPU 的 HGX B300 服务节点,运行 DeepSeek-V4-Pro。测试回放工作负载取自 5,000 多条真实智能体轨迹,维护了一个包含 512 个活跃会话的池,并使用允许 32 个请求并发处理的调度器。活跃会话数和同时处理的请求数是不同的指标。

WEKA 报告称,在八小时测试期间,采用其共享缓存的服务每 GPU 小时输出的 token 数是仅使用 HBM 时的 3.7 倍。在成功完成的请求中,97% 在五秒内生成了首个 token,而基线为 44%。在基线中,重新计算此前遇到的上下文占用了 60% 的预填充周期;使用共享缓存时,这一比例为 6.8%。

额外缓存使用了分布在一个八节点集群中的 NVMe 驱动器,尽管报告中的服务结果来自单个 GPU 节点。因此,按 GPU 归一化后的增益并不能证明总成本或能耗也相应降低:相关计算必须将支撑这些服务的资源纳入考量。

基线同样重要。技术说明称,测试进行时,尚无适用于该模型的 DRAM 卸载实现。这些结果是将受测配置与仅使用 HBM 的服务方式进行比较,并不能证明它优于所有其他缓存架构。

开放轨迹让对比更有参考价值

WEKA 的开源项目 kvlab能够捕获并回放智能体会话的结构,包括时间安排和缓存复用模式,同时不分发原始对话或源代码内容。其加载器的使用说明收录于 NVIDIA 的 AIPerf 工具集中,公告还提到该项目与 SemiAnalysis 的 AgentX 基准测试集成。

保留暂停间隔、逐渐增长的历史记录以及相关的智能体活动,有助于揭示一连串互不相关的合成提示词可能无法反映的缓存压力。这类回放衡量的是服务行为;仅凭回放本身,无法证明智能体是否正确完成了业务任务。

对企业而言,推理经济性评分卡的核心价值在于更清晰地界定成功:在现有资源范围内,以所需的质量和速度提供有用的响应。随着智能体处理的上下文越来越多、运行时间越来越长,让 GPU 保持忙碌只是一个起点。对商业价值真正重要的是最终交付给客户的工作成果。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。