AI 模型与平台
AWS 将托管式 NVIDIA Dynamo 引入 SageMaker HyperPod 推理服务

要点Dynamo的解耦拓扑使预填充池和解码池能够独立扩展,同时两者仍加载完整的模型权重。
查看更多
- Dynamo的解耦拓扑使预填充池和解码池能够独立扩展,同时两者仍加载完整的模型权重。
- AWS的2.05倍吞吐量提升比较的是不同并发水平下受延迟约束的结果,而非不受限制的最大值。
- 托管HyperPod自动化协调和恢复,但将拓扑和GPU分配的权衡留给经测量的工作负载行为。
Amazon Web Services 于 2026 年 11 月 17 日宣布,Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,可托管多节点和分离式模型服务;同时公布的基准测试结果显示,在 AWS 的延迟目标范围内,其每块 GPU 的输出 token 吞吐量是符合条件的聚合式服务最高值的 2.05 倍。
这项新增功能旨在解决大型语言模型服务中的两项限制:一是将模型权重和可复用的键值(KV)缓存装入 GPU 内存,二是在长提示词处理与 token 生成共用 GPU 时,避免前者拖慢后者。AWS 以 GLM-5.3 说明了内存压力:仅其 8 位浮点(FP8)权重就超过单台 ml.p5.48xlarge 实例的 640 GB GPU 内存,且这还没有计入 KV 缓存和运行时开销。
HyperPod 为该框架提供托管基础设施,包括 Elastic Fabric Adapter (EFA) 网络、协调式 GPU 调度、对节点、GPU 和 EFA 的运行状况监控,以及节点替换。HyperPod 负责管理节点替换,同时由编排组件重新创建受影响的工作进程。
分离式服务与 KV 感知路由
Dynamo 是一个开源分布式推理框架,可与 vLLM、SGLang 和 TensorRT-LLM 配合使用。其分离式拓扑通过前端将请求路由至预填充工作进程(负责处理提示词)和解码工作进程(负责生成 token)。这两类工作进程池可以独立扩缩容和调优,但都需要加载完整的模型权重;KV 缓存则通过 EFA 在两者之间传输。
聚合式服务在同一个工作进程中运行这两个阶段。在这两种拓扑中,工作进程既可以运行于单个实例,也可以跨多个实例运行,并通过张量并行和流水线并行将模型分配到多个 GPU 上。Dynamo 的 KV 感知路由器会考虑可复用的前缀缓存和工作进程当前负载。AWS 表示,复用前缀可以减少提示词的重复计算并缩短首 token 时间,而根据负载进行路由则有助于避免个别工作进程过载。
带延迟约束的基准测试
Qwen3-235B-A22B-FP8 的对比测试在两台 p5en.48xlarge 实例上运行 Dynamo 和 TensorRT-LLM,共使用 16 块 H200 GPU。AIPerf 生成的请求包含 4,000 个输入 token 和 200 个输出 token。AWS 仅保留符合以下条件的实测数据点:首 token 时间的第 90 百分位低于 1 秒,且中位生成速度至少达到每位用户每秒 50 个 token。
AWS 报告称,在并发数为 80 时,分离式服务达到每块 GPU 每秒输出 207 个 token;相比之下,符合条件的聚合式服务最高结果是在并发数为 32 时达到每块 GPU 每秒 101 个 token。因此,这一对比反映的是不同并发水平下、受延迟约束的吞吐量,而非任一拓扑在不受限制情况下的最高吞吐量。
另一项 Qwen3.5-397B-A17B-FP8 测试使用 Dynamo 和 vLLM,对比了单台 p5en.48xlarge 实例上的 8 块 H200 GPU 与分布在两台实例上的 GPU(每台 4 块),并保持模型、并行方式和工作负载配置不变。AWS 报告称,在并发数为 32 且前缀复用率较高时,双节点配置达到每块 GPU 每秒输出 126.4 个 token,相当于单节点吞吐量的 99.1%。该模型可以装入单台实例,实际中通常不会拆分部署,因此这项测试为评估跨越节点边界对吞吐量的影响提供了受控基线。
托管配置与资源规划
用户有两种配置方式。现有 Dynamo 用户可以提供一份 DynamoGraphDeployment 清单,用于描述服务图,并自行管理存储、网络、Pod 放置、端点、TLS、注册和自动扩缩容。另一种 InferenceEndpointConfig 方式采用 dynamoSpec 来设置托管端点,并通过 Kubernetes 事件驱动自动扩缩容(KEDA)支持任一种服务拓扑。该方式默认使用 vLLM,提供 KV 感知路由和副本数量的默认设置,并通过 SageMaker 端点支持兼容 OpenAI 的接口。
该附加组件会安装 Dynamo 的自定义资源定义以及服务和调度组件,运行时则由 AWS Deep Learning Containers 提供。在托管方式下,HyperPod Inference Operator 会从 Amazon S3 或 FSx 暂存权重,并生成 DynamoGraphDeployment。Grove 负责协调相关的 Pod 组,而 KAI Scheduler 采用 Gang 调度,确保每个多节点工作进程的 Pod 一起放置。要采用受支持的 Dynamo 版本,必须更新该附加组件。
AWS 以 GLM-5.3 为例,具体说明了 GPU 分配方式的选择。其聚合式配置在两台 ml.p5.48xlarge 实例上运行一个模型工作进程副本,采用 16 路张量并行,并配置两个前端副本。分离式配置则设置一个预填充副本和两个解码副本,每个副本跨两台实例运行,总计使用六台实例。不同的副本数量表明,部署可以为提示词处理和 token 生成分配不同规模的容量,而不必对一个合并的工作进程池进行扩缩容。
AWS 建议在进行基准测试前先验证 EFA 通信,测试具有代表性的提示长度、输出长度和前缀复用情况,根据服务级别目标调整并发度,并依据测得的瓶颈调整拓扑和工作进程分配,然后再更改引擎设置。
HyperPod 现在承担了更多协调和故障恢复工作,但基准测试条件和部署示例表明,托管式运维并不能消除推理服务中的权衡。实用的配置仍取决于实测的提示处理和文本生成情况、工作进程池之间的 GPU 分配,以及工作负载对延迟和成本的优先级。












