AI 模型与平台

AWS 通过单一端点跨区域路由 HyperPod 推理请求

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
要点全局网关在现有的 Pod 级 Inference Gateway 路由之上增加了一个集群选择层。
查看更多
  • 全局网关在现有的 Pod 级 Inference Gateway 路由之上增加了一个集群选择层。
  • 运维人员调整四个加权信号,其中包括权重为 0.40 的 RegionProximity,以在延迟与韧性之间取得平衡。
  • AWS 表示该网关不会记录或存储提示或补全内容,并且仅通过 PrivateLink 进行路由。

AWS 于 2026 年 11 月 20 日推出了 Amazon SageMaker HyperPod 全局推理网关,为客户提供一个托管端点,用于处理发往单个 AWS 区域或多个区域内已注册 HyperPod 集群的推理请求。该服务根据容量、队列、距离和错误信号选择集群,并在集群不可用时自动故障转移。

此次发布在现有的 SageMaker HyperPod 推理网关之上增加了第二层路由。集群级网关仍会根据键值(KV)缓存利用率和队列深度等信号选择单个模型 Pod;新增的全局层则先选择集群,Pod 的选择方式保持不变。

AWS 正在解决容量利用率问题:当一个集群已满负荷运行、请求排队等待时,其他地方已经配置好的 GPU 可能仍处于闲置状态。AWS 举例说明,若要在两个区域的五个集群中部署四个模型,按模型分别提供服务就需要客户端跟踪 20 个端点。集群级网关可将端点数量降至五个,而全局网关只需一个。托管层免去了为此类路由构建和维护负载均衡器、DNS 及跨区域网络的需求,并可在流量高峰时将请求分流至有可用容量的集群。

可配置的集群选择

运营者通过启用 spec.globalRouting 在其现有的 InferenceGatewayConfig,然后调用 CreateGlobalInferenceGateway 并指定要归为一组的集群。发布集群后,客户账户中会创建网络负载均衡器、虚拟私有云(VPC)端点服务和证书资源。未发布的集群无法成功添加。

客户端向区域端点发送符合 OpenAI 格式且使用 AWS Signature Version 4(SigV4)签名的请求。网关对调用方进行身份验证并选择健康的集群;AWS PrivateLink 在区域内或跨区域传输请求,随后由集群的推理网关选择模型 Pod。SageMaker 负责运行路由集群、私有端点、证书验证、运行状况检查、身份验证和速率限制;每个集群上由服务管理的发布器则提供负载指标。

对于每个请求,网关会根据以下四项可配置的信号为健康的集群评分:

信号 衡量内容 默认权重
KVHeadroom 集群上可用的 KV 缓存和 GPU 内存 0.20
QueueDepth 集群的拥塞程度 0.25
RegionProximity 集群与网关所在区域之间的距离 0.40
ErrorRate 集群近期失败的请求 0.15

如果客户要覆盖默认设置,必须为全部四项权重赋值,数值范围为 0.0 至 1.0,且总和必须为 1.0;也可以将某项权重设为零以停用相应信号。 UpdateGlobalInferenceGateway 更改权重后,新请求会采用新的权重设置,无需重新配置资源;正在处理的请求则会继续使用旧设置直至完成。AWS 表示,对于优先考虑弹性而非距离的工作负载,可以提高 ErrorRate 并降低 RegionProximity.

故障转移与隐私保护

网关会对每个集群进行运行状况检查;发生故障后,它会将流量切换至次优集群,无需更改客户端设置,并在集群恢复后逐步将其重新纳入服务。除非流式传输已经开始,否则失败的请求会在另一个集群上重试一次;如果没有健康的集群,网关会返回 HTTP 503。添加健康集群不会改变端点,也不会影响其他集群;移除集群则会停止接收新请求,但会让正在处理的请求完成。

IAM 分别控制标准调用和流式调用;如果使用客户的 JSON Web Token,则该令牌会包含在 SigV4 签名中。请求仅通过 AWS PrivateLink 到达集群。AWS 表示,网关不会记录或存储提示词或生成内容。删除全局网关会使其端点停止服务,但各集群端点仍会继续提供服务。

Bagelcode 的 AI 平台副总裁 Jinhyung Park 在 AWS 的公告中表示,测试版通过网关将请求路由到两个区域,并在其中一个集群无法继续提供模型服务时仍能持续处理请求。这样一来,该公司的小型平台团队无需构建或维护自己的路由层,也能实现跨区域故障转移。

可用性与迁移

该服务已在 13 个区域推出:美国东部(弗吉尼亚北部和俄亥俄州)、美国西部(加利福尼亚北部和俄勒冈州)、南美洲(圣保罗)、欧洲(法兰克福、爱尔兰、伦敦和斯德哥尔摩)以及亚太地区(东京、孟买、新加坡和悉尼)。

AWS 建议仅使用单个集群的客户继续使用集群推理网关端点,并在添加第二个集群时采用全局服务。在客户端迁移期间,现有的各集群端点会继续提供服务;如果网关仅包含同一区域内的集群,工作负载也可以继续留在该区域。已发布但未加入任何网关的集群不会接收流量,即使其网络负载均衡器仍在运行并产生费用。

通过将地理邻近性、容量和故障信号纳入同一策略,该服务使利用原本闲置的 GPU 容量成为一项配置决策,而非另一个独立的网络项目。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。