AI 模型与平台

Amazon SageMaker AI 新增正式推出的区域故障切换路由器

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
要点该路由器将故障转移工程转移到SageMaker AI中,但客户仍需为其他地方的备用容量付费。
查看更多
  • 该路由器将故障转移工程转移到SageMaker AI中,但客户仍需为其他地方的备用容量付费。
  • 健康评分忽略模型延迟,因此即使端点响应缓慢,只要返回成功响应,其流量仍会保留。
  • 客户无法设置权重阈值或故障转移时机,因为该路由器自动控制所有路由决策。

Amazon Web Services 于 2026 年 11 月 19 日在 Amazon SageMaker AI 中正式推出跨区域推理路由,让应用能够调用一个路由器,在本地容量不足时访问 AWS 各区域和账户中现有的模型服务资源。

SageMaker AI 端点在单个区域和账户中运行。当自动扩缩无法添加所需的实例类型时,即使同一模型在其他位置仍有闲置容量,请求也可能遭遇限流或超时。此前,使用托管端点的客户必须自行构建跨区域路由,包括故障检测、安全重试、恢复处理和跨账户访问。

新的区域推理路由器为每个逻辑模型使用一个命名路由目标。一个目标可以组合来自不同区域和账户的实时端点与推理组件,也可以只包含异步端点。应用通过路由器调用该目标。模型、端点配置、实例池、容器和自动扩缩均保持不变,而直接 InvokeEndpoint 调用仍可继续使用。路由器不会创建容量、部署模型或扩缩端点,因此每个目标都必须已在其所在区域运行。

健康信号决定故障切换

路由器优先选择所在区域内健康的目标,并在多个健康的本地区域目标之间均匀分配请求。其健康评分依据各目标所在区域测得的近期请求情况:服务器错误、限流和超时会降低评分,平台错误造成的降幅最大,而输入无效等由请求引起的故障则不会影响评分。评分不考虑模型延迟,因此,只要端点持续成功返回响应,就会继续获得流量。SageMaker AI 会发布 healthy, overloaded 以及 degraded 状态到 CloudWatch;过载的目标会失去部分流量,而性能下降的目标只会保留少量流量,以便路由器检测其是否恢复。

AWS 表示,持续出现错误后,流量会在约一分钟内开始转移;对于流量较少的目标,转移可能需要更久。目标恢复后,流量会在几分钟内逐步返回。客户无法设置权重、回退顺序、阈值或故障切换时间。如果远程目标的健康信息过时,路由器会将流量保留在其所在区域。

实时推理的重试范围较窄。只有在模型未运行时,路由器才会在另一个目标上进行一次重试,包括发生限流、503 错误、模型尚未就绪、流量上限拒绝或目标访问被拒绝的情况。对于超时、500 错误或模型错误,路由器绝不会重试。异步请求会先尝试本地目标,再依次尝试每个符合条件的目标,每个目标仅尝试一次,直至某个目标接受请求。

每个实时响应都会标明提供服务的目标 InvokedRoutedResourceArn 并提供一个 RoutingReason 的 local-preferred, capacity-available, failover 或 only-healthy。CloudWatch 中的 OpenTelemetry 指标还会提供各目标的请求数和错误数、目标处理时长、路由器和跨区域网络开销,以及健康状况。异步响应不会标明目标,但 CloudWatch 指标会显示请求被发送到了哪里。

容量与访问控制仍由端点所有者管理

溢出流量可能导致接收端点遭遇限流。默认情况下,实时端点可以接收任意数量的跨区域流量。端点所有者可选择设置上限,指定经过负载测试的每实例调用速率,以及可供其他区域使用的最大百分比。可用额度会随处于服务状态的实例数量变化,包括自动扩缩带来的变化。按照 AWS 的示例,每实例每秒 50 次调用、20% 的上限和 4 个实例,允许每秒处理 40 个跨区域请求;新增 2 个实例后,每秒可处理 60 个。

只有来自其他区域的请求会计入该上限,来自端点所在区域的调用绝不会因此受到限流。超出上限的请求会在模型运行前被拒绝,并在其他位置重试一次;如果没有目标能够接受请求,应用就会收到限流错误。端点上的所有推理组件共用该上限。

对于跨账户目标,两个账户都必须授权请求。端点策略可以将访问权限限制为一个指定的路由器;对于调用方无法直接调用的端点,路由器也不会授予其访问权限。

部署限制与定价

该服务已在大多数 AWS 商业区域正式推出,但 me-south-1 和 me-central-1 除外,支持实时和异步推理。该服务不支持响应流式传输。实时请求最多有约一分钟的时间等待目标响应;实时负载大小最高可达 6 MB;每个路由器最多支持 20 个路由目标,每个目标最多可配置 10 个目标端点。

路由器本身是区域性的,因此 AWS 建议在两个区域创建路由器,并在客户端切换,以提高入口点的韧性。还需要明确配置数据驻留边界,因为请求可能会在路由器所在区域或任何已注册目标所在区域处理。

不收取额外的路由费用。无论请求是直接发送,还是经由路由器发送,客户都按 SageMaker AI 端点和推理组件的标准费率付费;路由器指标和查询则按 CloudWatch 的标准费率收费。

此次发布将故障切换工程工作交由 SageMaker AI 处理,但核心的计算经济性取舍仍由客户承担:当某个区域的容量不足时,要继续提供服务,仍取决于客户是否愿意为另一个区域的可用推理容量付费并妥善部署该容量。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。