AI 模型与平台
AWS 通过单一端点跨区域路由 HyperPod 推理请求

要点全局网关在现有的 Pod 级 Inference Gateway 路由之上增加了一个集群选择层。
查看更多
- 全局网关在现有的 Pod 级 Inference Gateway 路由之上增加了一个集群选择层。
- 运维人员调整四个加权信号,其中包括权重为 0.40 的 RegionProximity,以在延迟与韧性之间取得平衡。
- AWS 表示该网关不会记录或存储提示或补全内容,并且仅通过 PrivateLink 进行路由。
AWS 于 2026 年 11 月 20 日推出了 Amazon SageMaker HyperPod 全局推理网关,为客户提供一个托管端点,用于处理发往单个 AWS 区域或多个区域内已注册 HyperPod 集群的推理请求。该服务根据容量、队列、距离和错误信号选择集群,并在集群不可用时自动故障转移。
此次发布在现有的 SageMaker HyperPod 推理网关之上增加了第二层路由。集群级网关仍会根据键值(KV)缓存利用率和队列深度等信号选择单个模型 Pod;新增的全局层则先选择集群,Pod 的选择方式保持不变。
AWS 正在解决容量利用率问题:当一个集群已满负荷运行、请求排队等待时,其他地方已经配置好的 GPU 可能仍处于闲置状态。AWS 举例说明,若要在两个区域的五个集群中部署四个模型,按模型分别提供服务就需要客户端跟踪 20 个端点。集群级网关可将端点数量降至五个,而全局网关只需一个。托管层免去了为此类路由构建和维护负载均衡器、DNS 及跨区域网络的需求,并可在流量高峰时将请求分流至有可用容量的集群。
可配置的集群选择
运营者通过启用 spec.globalRouting 在其现有的 InferenceGatewayConfig,然后调用 CreateGlobalInferenceGateway 并指定要归为一组的集群。发布集群后,客户账户中会创建网络负载均衡器、虚拟私有云(VPC)端点服务和证书资源。未发布的集群无法成功添加。
客户端向区域端点发送符合 OpenAI 格式且使用 AWS Signature Version 4(SigV4)签名的请求。网关对调用方进行身份验证并选择健康的集群;AWS PrivateLink 在区域内或跨区域传输请求,随后由集群的推理网关选择模型 Pod。SageMaker 负责运行路由集群、私有端点、证书验证、运行状况检查、身份验证和速率限制;每个集群上由服务管理的发布器则提供负载指标。
对于每个请求,网关会根据以下四项可配置的信号为健康的集群评分:
| 信号 | 衡量内容 | 默认权重 |
|---|---|---|
KVHeadroom |
集群上可用的 KV 缓存和 GPU 内存 | 0.20 |
QueueDepth |
集群的拥塞程度 | 0.25 |
RegionProximity |
集群与网关所在区域之间的距离 | 0.40 |
ErrorRate |
集群近期失败的请求 | 0.15 |
如果客户要覆盖默认设置,必须为全部四项权重赋值,数值范围为 0.0 至 1.0,且总和必须为 1.0;也可以将某项权重设为零以停用相应信号。 UpdateGlobalInferenceGateway 更改权重后,新请求会采用新的权重设置,无需重新配置资源;正在处理的请求则会继续使用旧设置直至完成。AWS 表示,对于优先考虑弹性而非距离的工作负载,可以提高 ErrorRate 并降低 RegionProximity.
故障转移与隐私保护
网关会对每个集群进行运行状况检查;发生故障后,它会将流量切换至次优集群,无需更改客户端设置,并在集群恢复后逐步将其重新纳入服务。除非流式传输已经开始,否则失败的请求会在另一个集群上重试一次;如果没有健康的集群,网关会返回 HTTP 503。添加健康集群不会改变端点,也不会影响其他集群;移除集群则会停止接收新请求,但会让正在处理的请求完成。
IAM 分别控制标准调用和流式调用;如果使用客户的 JSON Web Token,则该令牌会包含在 SigV4 签名中。请求仅通过 AWS PrivateLink 到达集群。AWS 表示,网关不会记录或存储提示词或生成内容。删除全局网关会使其端点停止服务,但各集群端点仍会继续提供服务。
Bagelcode 的 AI 平台副总裁 Jinhyung Park 在 AWS 的公告中表示,测试版通过网关将请求路由到两个区域,并在其中一个集群无法继续提供模型服务时仍能持续处理请求。这样一来,该公司的小型平台团队无需构建或维护自己的路由层,也能实现跨区域故障转移。
可用性与迁移
该服务已在 13 个区域推出:美国东部(弗吉尼亚北部和俄亥俄州)、美国西部(加利福尼亚北部和俄勒冈州)、南美洲(圣保罗)、欧洲(法兰克福、爱尔兰、伦敦和斯德哥尔摩)以及亚太地区(东京、孟买、新加坡和悉尼)。
AWS 建议仅使用单个集群的客户继续使用集群推理网关端点,并在添加第二个集群时采用全局服务。在客户端迁移期间,现有的各集群端点会继续提供服务;如果网关仅包含同一区域内的集群,工作负载也可以继续留在该区域。已发布但未加入任何网关的集群不会接收流量,即使其网络负载均衡器仍在运行并产生费用。
通过将地理邻近性、容量和故障信号纳入同一策略,该服务使利用原本闲置的 GPU 容量成为一项配置决策,而非另一个独立的网络项目。












