AIモデルとプラットフォーム
AWS、単一のエンドポイントから複数リージョンにまたがるHyperPod推論をルーティング

要点グローバルゲートウェイは、既存のポッドレベルのInference Gatewayルーティングの上にクラスタ選択層を追加します。
もっと見る
- グローバルゲートウェイは、既存のポッドレベルのInference Gatewayルーティングの上にクラスタ選択層を追加します。
- 運用者は、レイテンシーと回復性のバランスを取るために、RegionProximityを0.40とする4つの重み付きシグナルを調整します。
- AWSは、ゲートウェイがプロンプトや補完を記録または保存せず、PrivateLink経由でのみルーティングすると述べています。
AWSは2026年11月20日、Amazon SageMaker HyperPodのグローバル推論ゲートウェイを発表しました。このサービスにより、顧客は単一または複数のAWSリージョンに登録されたHyperPodクラスター全体の推論リクエストを、1つのマネージドエンドポイントで処理できます。サービスは、容量、キュー、近接性、エラーの各シグナルを使ってクラスターを選択し、クラスターが利用できなくなった場合は自動的にフェイルオーバーします。
今回の発表により、既存のSageMaker HyperPod推論ゲートウェイの上位に、第2のルーティング層が追加されます。クラスター単位のこのゲートウェイは、キー・バリュー(KV)キャッシュの使用率やキューの深さなどのシグナルを使って、引き続き個々のモデルポッドを選択します。新しいグローバル層は、ポッドの選択方法を変えずに、まずクラスターを選択します。
AWSが解決を目指すのは、容量利用の問題です。あるクラスターが飽和状態でリクエストがキューに滞留する一方、別の場所ではすでにプロビジョニング済みのGPUがアイドル状態になることがあります。2つのリージョンにまたがる5つのクラスターで4つのモデルを提供する例では、モデルごとにサービスを運用する場合、クライアントは20個のエンドポイントを管理する必要があります。クラスター単位のゲートウェイを使えば5個に減り、グローバルゲートウェイなら1個になります。このマネージド層により、このルーティングのためにロードバランサー、DNS、リージョン間ネットワークを構築・維持する必要がなくなり、ピーク時のトラフィックを空き容量のあるクラスターに振り分けられます。
クラスター選択を設定可能に
オペレーターは、参加する各クラスターで有効にして公開し spec.globalRouting 既存の InferenceGatewayConfigその後、呼び出し CreateGlobalInferenceGateway グループ化するクラスターを指定します。公開すると、顧客のアカウント内にネットワークロードバランサー、仮想プライベートクラウド(VPC)エンドポイントサービス、証明書リソースが作成されます。公開されていないクラスターは、正常に追加できません。
クライアントは、AWS Signature Version 4(SigV4)で署名したOpenAI互換のリクエストをリージョナルエンドポイントに送信します。ゲートウェイは呼び出し元を認証して正常なクラスターを選択し、AWS PrivateLinkがリージョン内またはリージョン間でリクエストを転送します。その後、クラスターの推論ゲートウェイがモデルポッドを選択します。SageMakerは、ルーティングフリート、プライベートエンドポイント、証明書の検証、ヘルスチェック、認証、レート制限を運用します。また、各クラスターに配置されるサービス管理のパブリッシャーが負荷メトリクスを提供します。
リクエストごとに、ゲートウェイは次の4つの設定可能なシグナルを使って、正常なクラスターをスコアリングします。
| シグナル | 測定対象 | デフォルトの重み |
|---|---|---|
KVHeadroom |
クラスターで利用可能なKVキャッシュとGPUメモリ | 0.20 |
QueueDepth |
クラスターの混雑度 | 0.25 |
RegionProximity |
クラスターとゲートウェイのリージョン間の距離 | 0.40 |
ErrorRate |
クラスターで直近に発生したリクエストの失敗 | 0.15 |
デフォルト値を変更する場合は、4つすべての重みを0.0から1.0までの値で設定し、その合計を1.0にする必要があります。値を0にすれば、シグナルを無効にできます。 UpdateGlobalInferenceGateway 重み付けを変更すると、新しいリクエストには再プロビジョニングなしで変更が適用される一方、処理中のリクエストは古い設定のまま完了します。近接性よりも耐障害性を優先するワークロードでは、重みを高めて ErrorRate また、引き下げる RegionProximity.
フェイルオーバーとプライバシー
ゲートウェイはすべてのクラスターをヘルスチェックし、障害が発生すると、クライアント側の変更なしに次善のクラスターへトラフィックを切り替えます。復旧したクラスターは段階的にトラフィックへ復帰します。リクエストに失敗した場合、ストリーミングが開始されていなければ、別のクラスターで1回だけ再試行します。正常なクラスターが残っていない場合、ゲートウェイはHTTP 503を返します。正常なクラスターを追加してもエンドポイントは変わらず、ほかのクラスターにも影響しません。一方、クラスターを削除すると新しいリクエストの受け付けは停止しますが、処理中のリクエストは完了まで継続します。
IAMでは、通常の呼び出しとストリーミング呼び出しを別々に制御します。顧客のJSON Web Tokenを使用する場合、そのトークンはSigV4署名内に含まれます。リクエストはAWS PrivateLink経由でのみクラスターに到達します。またAWSによると、ゲートウェイはプロンプトや生成結果をログに記録したり保存したりしません。グローバルゲートウェイを削除すると、そのエンドポイントは停止しますが、クラスターごとのエンドポイントは引き続き稼働します。
BagelcodeのAIプラットフォーム担当バイスプレジデント、Jinhyung Park氏は、AWSの発表で、ベータテストではゲートウェイを通じて2つのリージョン間でリクエストをルーティングし、1つのクラスターでモデルを提供できなくなった後もサービスを継続できたと述べました。これにより、同社の少人数のプラットフォームチームは、独自のルーティング層を構築・維持することなく、リージョン間のフェイルオーバーを実現できました。
提供地域と移行
このサービスは13のリージョンで利用できます。米国東部(バージニア北部、オハイオ)、米国西部(カリフォルニア北部、オレゴン)、南米(サンパウロ)、欧州(フランクフルト、アイルランド、ロンドン、ストックホルム)、アジア太平洋(東京、ムンバイ、シンガポール、シドニー)です。
AWSは、単一クラスターを利用している顧客に対し、クラスターの推論ゲートウェイエンドポイントを引き続き使用し、2つ目のクラスターを追加する際にグローバルサービスを導入するよう推奨しています。クライアントの移行中もクラスターごとの既存エンドポイントは引き続きリクエストを処理します。また、単一リージョン内のクラスターだけを含むゲートウェイであれば、ワークロードをそのリージョン内にとどめられます。公開済みのクラスターがどのゲートウェイにも追加されていない場合、ネットワークロードバランサーは稼働し続けて料金が発生するものの、そのクラスターにトラフィックは届きません。
近接性、容量、障害の各シグナルを1つのポリシーにまとめることで、このサービスは、これまで利用されていなかったGPU容量の活用を、独立したネットワーク構築プロジェクトではなく、設定上の判断として実現します。












