AWS、GPU認識ルーティング向けSageMaker HyperPod Inference Gatewayを発表

Amazon Web Servicesは2026年9月18日にAmazon SageMaker HyperPod Inference Gatewayを発表しました。これは、既存のHyperPodインフラ上でAmazon EKS向けの単一のマネージドアドオンとしてデプロイできる、KubernetesネイティブかつGPU認識ルーティングシステムで、大規模言語モデルの推論に対応します。AWSは、このゲートウェイがファーストトークンのレイテンシを最大82％削減できると述べています。

ゲートウェイの背後にあるルーティング課題

AWSによると、ラウンドロビンや最小接続数といったデフォルトのKubernetesロードバランシングアルゴリズムはGPUの状態を把握できません。具体的には、どのPodがKVキャッシュを飽和させているか、どのPodが長コンテキスト生成の途中にあるか、そしてリクエストが必要とするLoRAアダプタがメモリにロードされているかが分からないのです。同社は、稼働中のPodの背後にリクエストが蓄積し、アイドル状態のリソースが未使用のままになること、トラフィックが急増するとファーストトークンのレイテンシが4秒を超えてスパイクすること、利用率が不均一かつ予測不能になること、そしてオペレーターがこれを補うために過剰にプロビジョニングすることがあると述べました。AWSは、チャットボットユーザーがファーストトークンの取得に4.4秒待つ代わりに、800ミリ秒未満で取得できるシナリオを例示しました。

二層アーキテクチャ

このゲートウェイは、Kubernetesネイティブのプリミティブ上に構築された二層設計を採用しています。AWSは、リアルタイムのGPUシグナルを利用して、すべての推論リクエストを最適なPodに割り当てると述べました。Tier 1は、各HyperPodまたはEKSクラスターに直接、amazon-sagemaker-hyperpod-inferenceアドオンとしてインストールされ、すべてがオープンソースのGateway API Inference Extension上に構築された3つのコンポーネントで構成されます。レイヤー7プロキシであるEnvoy Gatewayは、受信したHTTPSトラフィックを終端し、クラスターごとに単一のプライベートエンドポイントを公開します。Body-Based Routerは、受信したOpenAI互換のリクエストボディを検査し、modelフィールドを抽出して適切なモデルプールへルーティングするため、1つのゲートウェイで複数のモデルを提供できます。

Endpoint Pickerは、すべてのモデル提供PodからリアルタイムのPrometheusメトリクスを取得し、KVキャッシュ使用率、キュー深度、LoRAアダプタの常駐状況、プレフィックスキャッシュのヒット率、実行中リクエストといったスコアラーに対して重み付けされたスコアリングアルゴリズムを適用します。各スコアラーは設定可能な重みを持ち、レイテンシに敏感なチャットとスループット重視のバッチ処理など、特定のワークロードに合わせてルーティング動作を調整できます。

Tier 2であるGlobal Inference Routerは、近日リリース予定とされています。AWSは、複数のクラスターやリージョンにまたがるフリート全体の調整機能として、クロスクラスターフェイルオーバー、グローバルレートリミット、コスト認識型トラフィックシェーピングを追加すると発表しました。Tier 2はTier 1の上に構築され、各クラスターの個別ゲートウェイは引き続きローカルルーティングを担当します。

デプロイ、障害処理、可観測性

デプロイは、単一のaws eks create-addonコマンドと、モデルとルーティング動作を定義する宣言的なInferenceGatewayConfigカスタムリソース1つで構成され、既存のモデルサーバーデプロイはPodラベルを通じて検出されます。AWSは、インストールにサイドカーやサービスメッシュ、アプリケーションコードの変更が不要であると述べました。ゲートウェイはHTTP上で標準的なOpenAI互換エンドポイントを公開します。AWSによれば、既存のクライアントコードは変更なしで動作し、SDKの変更や推論トラフィックのSigV4署名も不要です。

共有ベースモデル上でファインチューニングされたLoRAアダプタを提供するワークロードに対して、Endpoint PickerのLoRA Affinity Scorerは、要求されたアダプタがGPU メモリに既に常駐しているPodへリクエストをルーティングします。もし該当するPodが存在しない場合は、最も空き容量の大きいPodへリクエストが送られます。AWSは、これによりアダプタのスワップレイテンシが排除されると述べました。

文書化された障害動作には、Pod障害、プール枯渇、クラスター障害、リージョン障害が含まれます。Pod障害時には、Endpoint Pickerは古いメトリクスを持つPodを除外し、健全なPodへルーティングし、メトリクスが復帰すると自動的に回復します。プールが枯渇した場合、ゲートウェイはRetry-Afterヘッダーを付けたHTTP 429を返し、オートスケーリングが容量を追加します。クラスター障害時には、Global Inference Routerが古いハートビートを検知し、35秒以内にトラフィックをリダイレクトし、クラスターが再導入される際に徐々にトラフィックを増加させます。リージョン障害時には、クロスリージョンルーティングが自動的に有効化され、AWSはこれによりレイテンシは上昇するものの可用性への影響はないと述べました。

ゲートウェイは、Pod、プール、クラスター、フリートの各レベルでメトリクスを出力します。PodレベルではPrometheusを通じてKVキャッシュ使用率、キュー深度、実行中リクエスト、アダプタ常駐状況を提供し、プールレベルではPrometheusとGrafanaを通じてリクエスト総数、遅延ヒストグラム、トークン数を提供します。クラスターレベルではAmazon CloudWatchを通じて平均KVキャッシュ、エラー率、P99レイテンシを提供し、フリートレベルではCloudWatchを通じてルーティング決定、フェイルオーバーイベント、レートリミットヒット数を提供します。

AWSが報告したベンチマーク結果

AWSは、8Bから235Bパラメータの4つのモデルを、H100 GPU搭載のp5.48xlargeインスタンスとA10G GPU搭載のg5インスタンス上でベンチマークしたと述べました。すべてのトラフィックは内部のApplication Load Balancerを経由してルーティングされ、実運用リクエストの経路と一致させ、専用のクライアントノードグループが制御された負荷を生成し、モデルサーバーは別のサーバーノードグループで分離されました。各結果は、チューニングなしのゲートウェイのデフォルトルーティング構成を使用し、同一モデルレプリカ上のKubernetesラウンドロビンベースラインと比較して測定されたとAWSは説明しています。

報告された結果では、混在世代GPUフリートがLlama-3.1-8BのP95およびP99レイテンシをそれぞれ97％削減し、スループットを8％向上させ、Qwen3-32Bではそれぞれ98％と97％削減し、スループットを50％向上させました。バーストトラフィック下では、Llama-3.1-70BがP95とP99でそれぞれ94％と98％の削減を示し、スループットが12％増加しました。一方、Qwen3-235BはP95レイテンシが同等で、P99が89％低減しました。共有プロンプトプレフィックスを使用した場合、Llama-3.1-8BのP95とP99レイテンシはそれぞれ26％と43％低下しました。

AWSは、トラフィックが安定した完全に均一なフリートにおいて、ゲートウェイの性能がラウンドロビンと同等であると述べ、比較可能な結果は実行間のばらつき以内の差と定義しました。同社は、改善効果が最も大きいのはラウンドロビンが最も苦戦する混在ハードウェア、バースト需要、共有プロンプトプレフィックスのケースであると述べています。

可用性とロードマップ

AWSは、ゲートウェイがKubernetes Gateway APIおよびそのInference Extensionに準拠しており、単一のカスタムリソース定義を通じて構成でき、vLLM、SGLang、TGIを含む任意のOpenAI互換モデルサーバーと互換性があると説明しています。管理はkubectl、GitOps、Helm、ArgoCDを通じて行われ、インストール、アップグレード、ロールバックはEKSアドオンのライフサイクルで処理されます。

Tier 1のクラスター単位ルーティングは、2026年9月18日現在、インフェレンスアドオンが利用可能なリージョンで提供されています。Global Inference Routerに加えて、AWSのロードマップに名前が付けられた項目として、カナリアトラフィック分割があり、これはInferenceModelRewriteカスタムリソースを使用して新しいモデルバージョンへ一定割合のトラフィックをルーティングします。また、フローコントロールではリクエストをCritical、Standard、Sheddableに分類し、バンドごとの入場制御を行う機能が予定されています。