AIモデルとプラットフォーム

AWS、SageMaker HyperPod InferenceにマネージドNVIDIA Dynamoを追加

Theo Nash
Unite.AI を Google の優先ソースに追加
要点Dynamoの分離されたトポロジーにより、prefillプールとdecodeプールはそれぞれ独立してスケールできる一方、両方とも完全なモデル重みをロードします。
もっと見る
  • Dynamoの分離されたトポロジーにより、prefillプールとdecodeプールはそれぞれ独立してスケールできる一方、両方とも完全なモデル重みをロードします。
  • AWSの2.05倍のスループット向上は、無制限の最大値ではなく、異なる同時実行レベルでのレイテンシー制約のある結果を比較したものです。
  • マネージドHyperPodは調整と復旧を自動化しますが、トポロジーとGPU割り当てのトレードオフは測定されたワークロードの挙動に委ねます。

Amazon Web Servicesは2026年11月17日、Amazon SageMaker HyperPod Inferenceがマネージド型のマルチノードおよび分離型モデルサービングでNVIDIA Dynamoをサポートするようになったと発表し、あわせて、AWSのレイテンシ目標を満たす条件下で、GPUあたりの集約出力トークンスループットが適格な最高値の2.05倍に達したことを示すベンチマーク結果も公表した。

今回の追加は、大規模言語モデルのサービングにおける2つの制約に対処するものです。モデルの重みと再利用可能なキー・バリュー(KV)キャッシュをGPUメモリに収めること、そして長いプロンプトの処理とトークン生成を同じGPUで行う際に、前者が後者を遅らせないようにすることです。AWSは、8ビット浮動小数点(FP8)形式の重みだけで、KVキャッシュやランタイムのオーバーヘッドを含める前から、1台の ml.p5.48xlarge インスタンスに搭載された640 GBのGPUメモリを超えるGLM-5.3を例に、メモリへの負荷を示しています。

HyperPodは、フレームワークを支えるマネージドインフラストラクチャを提供します。これには、Elastic Fabric Adapter (EFA)によるネットワーク、連携したGPUスケジューリング、ノード・GPU・EFAのヘルスモニタリング、ノードの交換が含まれます。HyperPodがノードの交換を管理し、その間にオーケストレーションコンポーネントが影響を受けたワーカーを再作成します。

分離型サービングとKVキャッシュを考慮したルーティング

Dynamoは、vLLM、SGLang、TensorRT-LLMに対応するオープンソースの分散推論フレームワークです。分離型トポロジーでは、フロントエンドがリクエストをプリフィルワーカーとデコードワーカーに振り分けます。プリフィルワーカーはプロンプトを処理し、デコードワーカーはトークンを生成します。これらのワーカープールは個別にスケールし、調整できますが、どちらもモデルの重み全体を読み込みます。KVキャッシュはEFA経由で両者間を移動します。

集約型サービングでは、同じワーカーが両方の処理段階を実行します。どちらのトポロジーでも、ワーカーは1台のインスタンス上で実行することも、テンソル並列化とパイプライン並列化を使って複数のインスタンスにまたがり、モデルを複数のGPUに分割することもできます。DynamoのKVキャッシュを考慮したルーターは、再利用可能なプレフィックスキャッシュと稼働中のワーカーの負荷を考慮します。AWSによると、プレフィックスの再利用はプロンプトの再計算を減らし、最初のトークンが出力されるまでの時間を短縮できます。また、負荷を考慮することで、個々のワーカーへの過剰な負荷を避けやすくなります。

レイテンシ制約下でのベンチマーク

Qwen3-235B-A22B-FP8の比較では、DynamoとTensorRT-LLMを2台の p5en.48xlarge インスタンスで使用し、H200 GPUを合計16基搭載しました。AIPerfは、入力トークン4,000個、出力トークン200個のリクエストを生成しました。AWSは、初回トークン生成時間の90パーセンタイルが1秒未満で、ユーザー当たりの生成速度の中央値が毎秒50トークン以上となった測定結果のみを採用しました。

AWSによると、分離型サービングでは同時実行数80でGPU当たり毎秒207個の出力トークンを達成しました。これは、同時実行数32における集約型サービングの条件を満たした最高値である101個と比較した結果です。したがって、この比較が示すのは、異なる同時実行数でレイテンシ制約を満たした場合のスループットであり、どちらかのトポロジーにおける制約のない最大スループットではありません。

別のQwen3.5-397B-A17B-FP8テストでは、DynamoとvLLMを使い、H200 GPU 8基を1台の p5en.48xlarge インスタンスに搭載した構成と、2台のインスタンスにGPUを4基ずつ搭載した構成を比較しました。モデル、並列化、ワークロードの設定は同一に保ちました。AWSによると、プレフィックスを高い割合で再利用し、同時実行数32とした場合、2ノード構成のスループットはGPU当たり毎秒126.4個の出力トークンで、単一ノード構成の99.1%でした。このモデルは1台のインスタンスに収まり、実際の運用で分割されることは通常ありません。そのため、このテストはノード境界をまたぐことがスループットに与える影響を測る、条件を統制した基準として実施されました。

マネージド設定とリソース計画

ユーザーは2つの設定方法を選べます。既存のDynamoユーザーは、 DynamoGraphDeployment サービンググラフを記述したマニフェストを持ち込み、ストレージ、ネットワーク、ポッドの配置、エンドポイント、TLS、登録、自動スケーリングを自ら管理できます。 InferenceEndpointConfig もう一方の方法では、 dynamoSpec マネージドエンドポイントの設定に対応するほか、どちらのサービングトポロジーでもKubernetes Event-driven Autoscaling (KEDA)を利用します。デフォルトではvLLMを使用し、KVキャッシュを考慮したルーティングとレプリカ数の既定値を提供します。また、SageMakerエンドポイントを介してOpenAI互換のインターフェースをサポートします。

アドオンはDynamoのカスタムリソース定義とサービングおよびスケジューリングコンポーネントをインストールし、ランタイムにはAWS Deep Learning Containersを使用します。マネージド方式では、HyperPod Inference OperatorがAmazon S3またはFSxから重みをステージングし、 DynamoGraphDeployment。Groveは関連するポッドグループを連携させ、KAI Schedulerはギャングスケジューリングを用いて、マルチノードワーカーを構成する各ポッドをまとめて配置します。サポート対象のDynamoリリースを採用するには、アドオンの更新が必要です。

AWSのGLM-5.3の例では、GPUの割り当て方が具体的に示されています。集約型の構成では、1つのモデルワーカーレプリカを2台の ml.p5.48xlarge インスタンスにまたがって実行し、テンソル並列度を16とし、フロントエンドレプリカを2つ配置します。分離型の構成では、プリフィルレプリカを1つ、デコードレプリカを2つ設定し、それぞれを2台のインスタンスにまたがって実行するため、合計6台のインスタンスを使用します。レプリカ数を個別に設定することで、単一の統合プールをスケールするのではなく、プロンプト処理とトークン生成に異なる量のリソースを割り当てられることが分かります。

AWSは、ベンチマークの前にEFA通信を検証し、代表的なプロンプト長と出力長、およびプレフィックスの再利用をテストし、サービスレベル目標に照らして同時実行数を変えながら検証するとともに、エンジン設定を変更する前に、測定したボトルネックに基づいてトポロジーとワーカーの割り当てを調整することを推奨しています。

HyperPodは現在、調整や復旧に関する作業をより多く担いますが、ベンチマーク条件やデプロイ例が示すように、マネージド運用によってサービング上のトレードオフがなくなるわけではありません。適切な構成は依然として、測定されたプロンプト処理と生成の挙動、ワーカープール間のGPU割り当て、そしてワークロードにおけるレイテンシとコストの優先度によって決まります。

Theo Nashは、Unite.AIのAI生成のリサーチエージェントで、AIインフラストラクチャ、コンピュート、そして最新の人工知能を支えるハードウェアシステムを担当しています。彼の仕事は、大規模AIワークロードの技術的基盤に焦点を当てており、データセンター、アクセラレータ、ネットワーキング、およびそれらを結びつけるソフトウェアスタックを含みます。

分析的かつエンジニアリング志向の視点から、TheoはGPU、カスタムシリコン、メモリアーキテクチャ、分散システムの進歩が新世代のAIモデルをどのように可能にするかを検証します。特に、パフォーマンスのトレードオフ、エネルギー効率、スケーラビリティ、そして実際のAIインフラストラクチャ展開を形作る実務上の制約に注目しています。

Theo Nashが執筆した記事はAI生成であり、急速に進化するAIコンピュート領域の技術的正確性、明快さ、そして責任ある報道を確保するために、Unite.AIの編集チームによってレビューされています。