AIモデルとプラットフォーム
SageMaker AI、コンテナが報告するGPUキャッシュ状態を用いてリクエストをルーティング

要点KV対応ルーティングは、コンテナが報告するエビクションを追跡することで、キャッシュヒット率を3~48%から80~93%に向上させます。
もっと見る
- KV対応ルーティングは、コンテナが報告するエビクションを追跡することで、キャッシュヒット率を3~48%から80~93%に向上させます。
- ルーティングのオーバーヘッドにより、モデルのレイテンシが改善されても、CloudWatchのOverheadLatencyに14~19ミリ秒が追加されます。
- この機能がルーティング効果を持つには、少なくとも2つのインスタンスまたは推論コンポーネントのコピーが必要です。
Amazon Web Servicesは2026年11月17日、コンテナが報告するキャッシュ状態に基づいてリクエストを振り分けるKVキャッシュを考慮したルーティングを、Amazon SageMaker AIのリアルタイムエンドポイント向けに導入しました。AWSによると、負荷がかかった状態で長いプロンプトを用いたテストでは、ランダムルーティングと比べて初回トークン生成までの時間の中央値が最大97%短縮し、スループットが234%向上しました。
KVキャッシュは、以前のプロンプト処理の結果をGPUメモリに保持するため、モデルは一致する入力トークンの初期処理(プレフィル)を繰り返さずに再利用できます。このため、チャットアシスタント、検索拡張生成、長いシステムプロンプトを使用するエージェントでは、キャッシュの配置が重要です。リクエストを別の場所に送ると、別のGPUにすでに保持されているコンテキストを、インスタンスが再計算しなければならない場合があります。
報告されたキャッシュ状態に基づくルーティング
SageMaker AIの既存のプレフィックス認識型戦略は、固定されたリクエストのプレフィックスからキャッシュの所在を推定します。この方式ではキャッシュの削除を検知できず、会話の初期ターンでは、会話が進むにつれてハッシュ値が異なり、別々のインスタンスに振り分けられることがあります。一方、KVキャッシュを考慮したルーティングでは、キャッシュ項目が保存または削除されるたびに、モデルコンテナから送られるイベントを利用します。
このサービスは、プロンプト、トークンID、リクエストペイロード、KVテンソルを保存するのではなく、一方向ハッシュの短縮値をインスタンスまたは推論コンポーネントのコピーに対応付けた、管理対象のインデックスを維持します。受信した各プロンプトはトークン化され、そのインデックスと照合されます。エンドポイントは、キャッシュに一致する最長の部分とインスタンスの負荷を比較し、負荷が高すぎる候補を除外します。
照合に時間がかかる場合、有用な一致が見つからない場合、または一致するすべてのインスタンスがビジー状態の場合、リクエストは未処理リクエスト数が最も少ないインスタンスに振り分けられ、引き続き処理されます。スケールイン時には削除されたインスタンスのインデックス項目が取り除かれます。一方、新規または置換されたインスタンスのキャッシュは空の状態で始まるため、一時的なキャッシュ再構築やコールドスタートによるレイテンシーを考慮する必要があります。
ベンチマークでの性能向上とルーティングのオーバーヘッド
AWSによると、30分間のテストでは、7台のml.p5.48xlargeインスタンス上でLlama 3.1 70B Instructを実行し、20人または100人のユーザーをシミュレートしました。複数ターンのチャットや文書に関する質疑応答を行い、プロンプトの長さは約64,000トークンに達しました。キャッシュヒット率は、ランダムルーティング時の3~48%から、KVキャッシュを考慮したルーティング時には80~93%に上昇しました。結果はワークロードによって異なり、短いプロンプトでは再利用できるプレフィル処理が少ないため、効果が最も小さくなりました。
ルーティング時の照合処理には、トークン化とインデックス処理のオーバーヘッドが加わります。短いプロンプトでは数ミリ秒、長いプロンプトではそれ以上かかります。標準的なテキストのみのリクエストでは、計算済みのトークンをモデルに渡すため、二度目のトークン化を回避できます。AWSが別途実施した、2台のインスタンスを使うQwen3-4B-Instruct-2507の比較では、SageMaker AIがモデルコンテナの外部で費やす時間を測定するCloudWatch OverheadLatencyの平均値は、KVキャッシュを考慮したルーティングによって14~19ミリ秒増加しました。その一方で、モデルのレイテンシーと初回トークン生成までの時間は改善しました。
導入要件と可視性
提供開始時点では、この機能を利用するには、vLLM 0.33.0以降を搭載したSageMaker AI向けAWS vLLM Deep Learning Container、またはAmazon Linux server-sagemaker-cuda-v2.8.0 のビルド以降が必要です。プレフィックスキャッシュとKVキャッシュイベントを有効にする必要があります。お客様は、 SM_VLLM_KV_EVENTS_CONFIG モデルで設定し、 RoutingStrategy を KV_AWARE 本番バリアントで設定します。クライアント側の呼び出しを変更する必要はありません。
GPUを搭載したリアルタイムの単一モデルエンドポイントと推論コンポーネントエンドポイントに対応し、動的なLow-Rank Adaptationアダプターもサポートします。ルーティングを利用するには、単一モデルエンドポイントでは少なくとも2つのインスタンス、推論コンポーネントでは2つのコピーが必要です。振り分け先が1つだけの場合、この設定によるルーティング効果はありません。リクエストには、サポート対象の呼び出しAPIを通じて、OpenAI互換のCompletionsまたはChat Completionsペイロードを使用する必要があります。また、 InvokeEndpointWithBidirectionalStream はサポートされていません。
KVキャッシュを考慮したルーティングでは、提供開始時点で専用メトリクスや、顧客アカウント単位のルーティング判断ログは追加されません。また、フォールバックはSageMaker AIコンソールやメトリクスには表示されません。お客様は、 usage.prompt_tokens_details.cached_tokens プロンプトトークンの詳細を有効にしたうえで確認でき、詳細なオブザーバビリティ機能とCloudWatchを通じて、キャッシュヒット率や初回トークン生成までの時間などのコンテナメトリクスを監視できます。
この機能は、サポート対象のコンテナを使用したSageMaker AIのリアルタイム推論に対応するすべてのAWS商用リージョンで利用でき、エンドポイントのインスタンス料金以外の追加料金はかかりません。AWSは引き続き、共有プロンプトが安定しており、コンテキストが短く、負荷が中程度の場合には、プレフィックス認識型ルーティングがよりシンプルな選択肢だと説明しています。KVキャッシュを考慮したルーティングは、再利用可能な長いコンテキスト、メモリ不足、頻繁なキャッシュ削除に対応します。各ワークロードでは、GPUのプレフィル処理を再利用して得られる効果と、リクエストごとに追加されるルーティングのオーバーヘッドとの間で、具体的なインフラ上のバランスを取る必要があります。












