AIモデルとプラットフォーム
AWS、SageMaker AIの推論エンドポイントでデフォルトのモニタリングを有効化

要点デフォルトのモニタリングは、ユーザーが事前にしきい値を設定する必要なく、レイテンシのドリフトとアイドル状態のGPUを検出します。
もっと見る
- デフォルトのモニタリングは、ユーザーが事前にしきい値を設定する必要なく、レイテンシのドリフトとアイドル状態のGPUを検出します。
- 検出結果はエージェント型のSageMaker Studioワークフローを開始し、本番環境の変更前に別のコンピュート上で代替案をベンチマークします。
- モニタリングは追加のGPUコストがかからず、OPT_OUT_TRACKING環境変数を通じて無効化できます。
Amazon Web Services(AWS)は2026年11月19日、対象となるAmazon SageMaker AIの生成AI推論エンドポイントでデフォルトのモニタリングを有効化しました。レイテンシーの変化、アイドル状態のGPU容量、推論処理の最適化の見落としに関するAWS Healthの検出結果が追加されます。
vLLMのサービングコンテナとGPUインスタンスを使用するエンドポイントでは、モニタリングの設定は不要です。リクエストやレスポンスの内容ではなく、エンドポイント単位のレイテンシー、GPU使用率、サービング構成を読み取ります。対象となるのは、デプロイ後にトラフィック量、プロンプトの長さ、サービングソフトウェア、モデルのリソース要件が変化することで生じる、徐々に進む性能の変化です。
今回の発表は、AWSが2026年4月22日に導入した、生成AI推論を最適化するための推奨機能を拡張するものです。このワークフローでは、コスト、レイテンシー、スループットのいずれを目標とするかを選び、最大3種類のインスタンスタイプを比較したうえで、NVIDIA AIPerfを使って実際のGPU上で構成をベンチマークできます。また、既存の本番環境エンドポイントのベンチマークにも対応します。新たなレイヤーにより、ユーザー主導のこの意思決定プロセスに、継続的な監視と通知が加わります。
モニタリングで検出される内容
レイテンシーの変化に関する検出結果では、エンドポイント自身の直前の1週間を基準に、エンドツーエンドのレイテンシーの中央値(p50)と、最初のトークンが出力されるまでの時間の中央値を比較します。過去のデータを基準とするため、ユーザーがあらかじめしきい値を設定する必要はありません。検出を受けて実施するベンチマークでは、テンソル並列化の設定や、別のインスタンスタイプまたはサイズをテストします。
その他の検出対象には、使用率が大幅に低い状態が続くGPU、対応しているものの無効になっている投機的デコード、チューニングされていないGPUカーネル、新しい性能改善や重大度が「重大」または「高」の脆弱性に対するパッチが適用されていないサービングコンテナがあります。未使用の容量がある場合、ベンチマークでは、観測されたピーク時のトラフィックを基に、より安価なインスタンスタイプや小さいサイズをテストします。構成のテストでは、状況に応じて、現在の設定と、投機的デコードを有効にした設定、チューニング済みカーネル、または更新済みコンテナを比較します。
AWSが示す例は手順を説明するためのものであり、全エンドポイントを対象にした測定結果ではありません。一例では、最初のトークンが出力されるまでの時間の中央値が前週比で約200ミリ秒増加しています。別の例では、最も使用率の高いGPUでさえ、1週間の大半において容量の12%以下しか使用していません。
ヘルスアラートからベンチマークまで
検出結果はAWS Healthとメールで通知されます。各エンドポイントに対し、該当するすべての検出結果をまとめた通知が一度に最大1件送られます。AWSは、1つのアカウントが一度に受け取る通知の数を制限しており、通知はエンドポイントが属するAWSリージョンごとに送信されます。
通知には、何が観測されたのか、それがレイテンシー、容量、コストにどう関係するのか、推奨される対応が記載されます。推定値は推定値であることが明示されます。これは観測結果であり、ベンチマークが完了したことを示すものではありません。通知内のアクションを選ぶと、対象のエンドポイントと観測されたトラフィックがあらかじめ入力された状態で、SageMaker Studioのエージェント型エクスペリエンスが開きます。
ユーザーが確認すると、エージェントはエンドポイントのモデルと、そのメトリクスから導き出したトラフィックプロファイルを使って、編集可能なSageMaker Python SDKノートブックを生成します。ノートブックでは、推奨設定のジョブにAWS Healthのイベントをタグ付けし、結果を検出内容と関連付けて追跡できるようにします。このジョブは別のコンピューティングリソースを使い、レスポンスタイム、スループット、トークン100万個あたりのコストについて、現在の構成と代替案を比較します。ユーザーが結果を適用するまでは、本番環境の設定は変更されません。
AWSは、選択した構成をまず本番環境の1つのバリアントに適用し、既存の構成をロールバック用に維持することを推奨しています。検出結果への対応を保留または却下することも通常の選択肢であり、通知はAWS Healthのイベント履歴に残ります。
料金とオプトアウトの設定
モニタリングに追加のGPU料金はかかりません。ベンチマークには通常のSageMaker AI料金、または既存の機械学習用リザベーションが適用されます。検出結果に対応するには、SageMaker Studioドメインに加え、推奨ジョブの実行とエンドポイントの更新に必要なAWS Identity and Access Managementの権限、ベンチマーク用インスタンスの十分なクォータが必要です。
ユーザーはAWS User Notificationsを通じて通知の配信を管理でき、月次実行など、推奨の定期実行を任意で設定できます。また、次の設定を行うと OPT_OUT_TRACKING モデルコンテナに環境変数を設定すると、そのエンドポイントのエンジンメトリクス、GPUメトリクス、起動時の構成情報の収集が停止し、通知も送信されなくなります。
最適化に対応しているからといって、必ず効果が得られるとは限りません。AWSによると、投機的デコードの結果は同時実行数やプロンプトとレスポンスの長さによって変わり、ピーク時とオフピーク時でも異なる場合があります。この点が、機能の実際的な役割を示しています。デフォルトのテレメトリが警告を発し、ベンチマークによって、期待されるコスト削減や高速化が重要なトラフィック条件でも実現するかどうかを判断します。












