Supermicro推出面向长上下文 AI 的共享 KV 缓存存储

Supermicro 于 2026 年 11 月 5 日与 IBM 和 NVIDIA宣布推出 KV 缓存存储解决方案，旨在将可复用的 AI 推理上下文迁移至共享存储中，使其不再受限于 GPU 内存。公司表示，在联合测试中，针对 130,000 个令牌的提示词，首令牌生成时间最高可快 56 倍。

该方案结合了采用 AMD EPYC 9005 处理器的 Supermicro Petascale 全闪存存储服务器、IBM Storage Scale 软件、NVIDIA Dynamo 推理框架以及 Spectrum-X 以太网网络。该方案面向多轮对话和智能体应用、编程助手、多模态 AI，以及长上下文检索增强生成。大型代码库、文档、图像和对话历史可能产生超出 GPU 和 CPU 内存承载能力的键值状态。

在不同请求间复用上下文

预填充会将经过令牌化的提示词转换为模型使用的中间键值状态。持久化这些状态后，后续请求便可复用上下文，而不必重新计算。该架构提供高可用存储层，可供多个 GPU 节点和集群共享访问，并支持在不中断服务的情况下扩展缓存容量。

Dynamo 增加了缓存感知路由，将预填充与解码分离，并通过其 KV Block Manager 和 NIXL 传输库将缓存块卸载至存储。IBM Storage Scale Erasure Coding Edition 在 NVIDIA 的内存层级中提供共享 G4 存储层。

基准测试结果与测试条件

一份于 2026 年 6 月 5 日发布、并于 2026 年 8 月 20 日最后更新的 IBM Redbooks 参考架构报告称，在 130,000 个令牌的情况下，GPU 重新计算耗时 32.14 秒，而使用存储支持的缓存耗时 0.570 秒。这些既有测试数据为此次发布提供了依据，并非 11 月新发布的研究结果。

另一项包含 200 个请求的测试采用 28 个并发连接，使用了 100 条不同的提示词，共计 2,400 万个令牌和 825 GB 的 KV 缓存数据。Redbook 报告称，吞吐量从每秒 0.19 个请求升至每秒 4.26 个请求，总处理时间则从 1,048.56 秒降至 46.94 秒。测试开始时缓存为空，因此随着复用逐步增加，整个测试的平均值仍包含冷启动阶段。

在邻居噪声测试中，另外四个客户端产生了 200 GB/s 的竞争性网络 I/O。启用缓存的系统保持每秒 3.6 个请求的处理速度，并在 55.56 秒内完成 200 个请求。Redbook 将此结果描述为：与网络状况理想时的缓存测试结果相比，吞吐量下降了 18%。

所有推理测量均来自一台 Supermicro GPU 客户端节点，该节点配备四块 NVIDIA RTX PRO 6000 GPU，并连接至一个包含八个节点的 Petascale 存储集群。软件栈采用 Dynamo v0.9.0+、vLLM v0.14.1、NVIDIA AIPerf，以及 openai/gpt-oss-120b 模型。GPU 内存和系统 DRAM 缓存层均已禁用，以便单独测量共享 G4 层。

网络余量与部署规模规划

测试网络采用三台 Spectrum-X SN5600 交换机组成的脊叶架构。Redbook 报告称，面向客户端的带宽最高为 80 GB/s，而八节点存储系统的读取吞吐量最高可达 315 GB/s。这意味着，配置的瓶颈在于客户端网络，而非存储层的全部读取能力。

Redbook 的规模规划示例中，小型概念验证部署采用四个存储节点，测试过的中型配置采用八个节点，大型 AI 工厂则采用 16 个或更多节点。合适的设计取决于容量、带宽、并发量、模型规模和工作负载等因素。Supermicro 表示，其整机机架集成和现场部署服务可将部署时间从数周缩短至数天。

此次发布将此前已有文档记录且经过联合验证的架构打包用于部署，但其性能提升适用于特定模型、提示词组合、并发级别和网络条件。部署时的核心问题在于，存储容量和客户端带宽是否与实际的上下文复用需求相匹配：如果客户端网络无法传输更多数据，那么增加存储读取余量也无法提升推理性能。