AI 模型与平台

SageMaker AI 根据容器报告的 GPU 缓存状态路由请求

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
要点KV感知路由通过跟踪容器报告的驱逐情况,将缓存命中率从3–48%提升至80–93%。
查看更多
  • KV感知路由通过跟踪容器报告的驱逐情况,将缓存命中率从3–48%提升至80–93%。
  • 即使模型延迟有所改善,路由开销仍会增加14至19毫秒的CloudWatch OverheadLatency。
  • 该功能需要至少两个实例或推理组件副本才能产生任何路由效果。

亚马逊云科技于 2026 年 11 月 17 日为 KV 缓存感知路由推出了 Amazon SageMaker AI 实时端点,利用容器报告的缓存状态来分配请求。AWS 报告称,在负载下进行的长提示词测试中,与随机路由相比,该方案将首个 token 的中位耗时最多降低了 97%,吞吐量提高了 234%。

KV 缓存会将先前的提示词计算结果保存在 GPU 内存中,因此模型可以复用这些结果,而不必重复处理匹配的输入 token,也就是初始处理阶段(prefill)。因此,对于聊天助手、检索增强生成和系统提示词较长的智能体而言,缓存放置至关重要:如果将请求发送到其他实例,该实例就可能不得不重新计算上下文,而另一块 GPU 上已经保存了这些内容。

根据报告的缓存状态进行路由

SageMaker AI 现有的前缀感知策略会根据固定的请求前缀推断缓存位置。它无法检测缓存逐出;随着对话不断延长,早期轮次的哈希值可能各不相同,并被分配到不同实例。KV 感知路由则会在模型容器存储或逐出缓存条目时,利用容器发出的事件进行路由。

该服务维护一个受管理的索引,将单向截断哈希值映射到实例或推理组件副本,而不是存储提示词、token ID、请求负载或 KV 张量。每个传入提示词都会先被分词,再与该索引进行匹配。端点会综合考量最长缓存匹配项和实例负载,并跳过过于繁忙的候选实例。

如果查询耗时过长、没有找到有用的匹配项,或所有匹配实例都很繁忙,请求就会回退到未完成请求数最少的路由方式,仍会得到处理。缩减容量时,系统会删除已移除实例对应的索引条目;新实例或替换实例的缓存则为空,因此需要考虑缓存暂时重建和冷启动带来的延迟。

基准测试收益与路由开销

AWS 报告称,在为期 30 分钟的测试中,Llama 3.1 70B Instruct 在 7 个 ml.p5.48xlarge 实例上运行,模拟用户数为 20 或 100,测试内容包括多轮聊天和文档问答会话,提示词最长约为 64,000 个 token。采用随机路由时,缓存命中率为 3–48%;采用 KV 感知路由后,命中率升至 80–93%。测试结果取决于工作负载;短提示词的收益最小,因为可供复用的预填充计算量较少。

路由查询会带来分词和索引处理开销:短提示词会增加几毫秒,较长提示词增加的时间更多。对于标准纯文本请求,系统会将已计算出的 token 传递给模型,避免再次分词。在 AWS 另一项采用两个实例的 Qwen3-4B-Instruct-2507 对比测试中,平均 CloudWatch OverheadLatency(用于衡量 SageMaker AI 在模型容器外花费的时间)在采用 KV 感知路由后增加了 14 至 19 毫秒,尽管模型延迟和首个 token 的耗时有所改善。

部署要求与可见性

该功能发布时要求使用适用于 SageMaker AI 的 AWS vLLM 深度学习容器,且 vLLM 版本为 0.33.0 或更高版本,或者使用 Amazon Linux server-sagemaker-cuda-v2.8.0 构建版本或更高版本。必须启用前缀缓存和 KV 缓存事件。客户需要设置 SM_VLLM_KV_EVENTS_CONFIG 在模型上,并将 RoutingStrategy 设为 KV_AWARE 在生产变体中完成设置,无需更改客户端调用。

该功能支持由 GPU 提供支持的实时单模型端点和推理组件端点,包括动态低秩适配器(Low-Rank Adaptation)。单模型端点至少需要两个实例,推理组件则至少需要两个副本才能进行路由;如果只有一个目标,启用此设置也不会产生路由效果。请求必须通过受支持的调用 API,使用兼容 OpenAI 的 Completions 或 Chat Completions 负载,且 InvokeEndpointWithBidirectionalStream 不受支持。

KV 感知路由在发布时不提供专用指标,也不会在客户账户中记录路由决策日志;SageMaker AI 控制台和指标中也不会显示回退情况。客户可以在启用提示词 token 详细信息后查看 usage.prompt_tokens_details.cached_tokens ,并通过详细的可观测性功能和 CloudWatch 监控缓存命中率、首个 token 耗时等容器指标。

该功能在所有支持通过受支持容器进行 SageMaker AI 实时推理的 AWS 商业区域均可使用,除端点实例费用外不收取额外费用。AWS 仍将前缀感知路由描述为适用于稳定的共享提示词、较短上下文和中等负载的简便方案。KV 感知路由则针对较长且可复用的上下文、内存压力和频繁缓存逐出;对于每种工作负载,都需要在基础设施层面权衡取舍:收回 GPU 的预填充计算工作与增加逐请求路由开销之间的平衡。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。