AI 模型与平台

Valkey 9.2 发布:为 AI 推理提供分布式键值缓存

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
要点分布式KV缓存让推理引擎能够复用提示张量,而不是在前填充阶段重新计算它们。
查看更多
  • 分布式KV缓存让推理引擎能够复用提示张量,而不是在前填充阶段重新计算它们。
  • Multiverse Computing在同一批GPU上多处理了50%的请求,同时达到了其首令牌延迟目标。
  • 当工作集已经能放入GPU和主机内存时,共享缓存带来的好处很小。

Valkey 于 2026 年 11 月 19 日发布了 9.2 版,同时推出用于 AI 推理的分布式键值缓存。项目随附的公告称,在现有 GPU 基础设施上,共享缓存最多可将推理开销降低 40%,并将等待响应首个 token 的时间缩短 80%。

Valkey 于 2026 年 10 月 20 日发布的一篇技术文章介绍了一种共享缓存,它位于 GPU 内存和主机内存之外,用于存储模型处理提示指令、工具定义和对话历史时生成的键值张量。推理引擎可以重复利用这些张量来处理重复出现的上下文,而不必在预填充阶段重新计算;预填充是生成新输出前的处理阶段。将这一层部署在多台 GPU 服务器之间共享后,任何节点都能加载本地内存已逐出的对话。

运行开放权重模型的自管理部署,只需更改配置,无需更新应用程序代码,即可通过 LMCache 连接器将缓存接入 vLLM 和 SGLang 等引擎。Path Hash 是 9.2 版新增的一种基于基数树的数据类型,支持精确查找、最长前缀匹配和前缀遍历。Valkey 将其定位为一种轻量级索引,可用于查找匹配长度最长的缓存前缀及其位置,同时将较大的 AI 数据保留在 GPU 内存或主机内存中。

实测收益与工作负载限制

Multiverse Computing 的 AI 平台总监 Ennio Pastore 表示,借助 Valkey 的分布式 KV 缓存,该公司在使用相同 GPU 的情况下,能够处理多 50% 的请求,同时满足其中位首 token 延迟不超过 1 秒的目标。在正常流量下,首 token 延迟中位数降低了 23%;在峰值流量下则降低了 95%。此外,Multiverse 还贡献了 LMCache 连接器的改进,旨在提升分布式缓存的韧性。

Valkey 技术文章介绍的合成基准测试使用了 100 个并发对话,每个对话的上下文包含 12,000 至 28,000 个 token;两个 GPU 节点各配备 8 个 H100 加速器,请求到达速率为每秒 8 个。节点通过 vLLM 和 LMCache 提供 Llama-3.1-70B 服务,并使用一个三分片 Valkey 9 集群,该集群与共享缓存位于同一可用区。项目测得请求数增加约 25%,输出 token 数增加约 28%,而缓存使 GPU 费用增加约 15%。

Valkey 的测试和部署指南指出了明确的适用边界:如果工作集已经能装入 GPU 内存和主机内存,或者请求中没有重复上下文,共享缓存的收益就很有限;如果新 token 的预填充已成为瓶颈,它也无法增加 GPU 算力。建议将缓存部署在与 GPU 集群相同的可用区,因为缓存处于首 token 的处理路径上,跨可用区流量可能增加延迟和传输费用。

降低内存和网络开销

除 AI 缓存外,9.2 版还旨在降低数据存储本身的基础设施成本。启用后,无需 fork 的快照和完整副本同步会使用后台线程,而不是创建单独的服务器进程,从而避免写入密集型工作期间产生写时复制内存开销。该基础设施每个键会增加 4 字节,并且该策略 prefer-forkless 会在必要时回退到 fork。

持续复制所用的压缩方式会与每个副本分别协商,因此较旧的副本或未启用压缩的副本仍会接收明文。Valkey 的发布文章报告称,在一项包含 300 万个键、每个键约 315 字节的基准测试中,LZ4 将复制带宽降低了 52%,吞吐量开销不到 1%。全流快照压缩支持 LZ4 和 Zstandard;Zstandard 需要在构建时启用选项,尤其适用于网络成本相对计算成本较高的跨区域复制。

大型有序集合现在使用 B+ 树取代跳表。Valkey 报告称,在一项包含 500 万个成员、元素长度为 20 字节的测试中,每个成员的内存开销降低了 36% 至 43%。其他运维方面的新增功能包括服务器端热点键检测、可重复使用的访问控制角色、对集群心跳和复制进行优先级处理、预留管理连接,以及在副本落后时可选的写入限流。

9.2.0 版发布记录表明这是 9.2 的首个稳定版本,下载页面则列出了 Docker 标签和特定平台的二进制文件。Valkey 将 9.2 描述为一个没有破坏性变更的次要版本,但同时提醒,如果运维人员之后降级,使用 LZ4 或 Zstandard 压缩写入的追加式文件基础版本要求使用兼容的 Valkey 版本。

Valkey 9.2 将推理经济效益的两个方面结合起来:收回因重复预填充而损失的 GPU 容量,并降低数据层的内存和网络开销。对于评估这一新层的运维人员,文档所列结果表明,其价值取决于工作负载的复用情况和缓存逐出压力;如果新 token 的预填充已经耗尽可用 GPU 算力,其收益就会受到明确限制。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。