AIモデルとプラットフォーム

Amazon SageMaker AI、リージョン間フェイルオーバールーターの一般提供を開始

Theo Nash
Unite.AI を Google の優先ソースに追加
要点ルーターはフェイルオーバーエンジニアリングをSageMaker AIに移行しますが、顧客は依然として他の場所で予備容量の費用を支払わなければなりません。
もっと見る
  • ルーターはフェイルオーバーエンジニアリングをSageMaker AIに移行しますが、顧客は依然として他の場所で予備容量の費用を支払わなければなりません。
  • ヘルススコアはモデルのレイテンシーを無視するため、成功応答を返すエンドポイントは遅くてもトラフィックを維持します。
  • ルーターがすべてのルーティング決定を自動的に制御するため、顧客は重みのしきい値やフェイルオーバーのタイミングを設定できません。

Amazon Web Servicesは2026年11月19日、リージョン間推論ルーティングの一般提供を開始し、Amazon SageMaker AIで、ローカルのキャパシティが不足した際に、アプリケーションから1つのルーターを呼び出すことで、AWSの複数のリージョンやアカウントにある既存のモデルサービングリソースを利用できるようにしました。

SageMaker AIのエンドポイントは、1つのリージョンと1つのアカウントで稼働します。オートスケーリングで必要なインスタンスタイプを追加できない場合、同じモデルに別の場所で余剰キャパシティがあっても、リクエストがスロットリングされたり、タイムアウトしたりすることがあります。マネージドエンドポイントを利用するお客様は、これまで、障害検知、安全な再試行、復旧処理、クロスアカウントアクセスなどを含むリージョン間ルーティングを自ら構築する必要がありました。

新しいリージョン別推論ルーターでは、論理モデルごとに名前付きのルーティングターゲットを使用します。ターゲットには、複数のリージョンやアカウントにまたがるリアルタイムエンドポイントと推論コンポーネントを組み合わせることも、非同期エンドポイントのみを含めることもできます。アプリケーションはルーター経由でターゲットを呼び出します。モデル、エンドポイント設定、インスタンスプール、コンテナ、オートスケーリングは変更せずに利用でき、直接 InvokeEndpoint 呼び出す方法も引き続き利用できます。ルーターはキャパシティを作成したり、モデルをデプロイしたり、エンドポイントをスケールしたりするものではないため、すべての宛先がそれぞれのリージョンですでに稼働している必要があります。

ヘルスシグナルに基づくフェイルオーバー

ルーターは同じリージョン内の健全な宛先を優先し、複数の健全なローカル宛先がある場合は、リクエストを均等に振り分けます。ヘルススコアは、各宛先のリージョンで計測された直近のリクエストを基に算出されます。サーバーエラー、スロットリング、タイムアウトが発生するとスコアは低下し、プラットフォームエラーでは最も大きく低下します。一方、無効な入力など、リクエストに起因する失敗はスコアに影響しません。モデルのレイテンシーは評価対象外のため、エンドポイントが正常な応答を返し続ける限り、トラフィックは維持されます。SageMaker AIは公開し healthy, overloaded また degraded 状態をCloudWatchに送信します。過負荷の宛先ではトラフィックの一部が減らされ、状態が悪化した宛先では、ルーターが復旧を検知できるよう、ごく少量のトラフィックのみが維持されます。

AWSによると、エラーが継続した場合、トラフィックは約1分以内に別の宛先へ移り始めます。ただし、トラフィックが少ない宛先では、切り替えにさらに時間がかかることがあります。復旧後、トラフィックは数分かけて戻ります。お客様が重み付け、フォールバック順序、しきい値、フェイルオーバーのタイミングを設定することはできません。リモート宛先のヘルス情報が古くなった場合、ルーターは同じリージョン内にトラフィックをとどめます。

リアルタイム推論では、再試行の範囲が限定されています。モデルが実行されなかった場合に限り、ルーターは別の宛先に対して1回だけ再試行します。これには、スロットリング、503エラー、モデルの準備未完了、トラフィック上限による拒否、宛先へのアクセス拒否が発生した場合が含まれます。タイムアウト、500エラー、モデルエラーの場合は再試行しません。非同期リクエストは、まずローカルの宛先に送られ、その後、受け付け可能な宛先が見つかるまで、条件を満たす各宛先で1回ずつ試行されます。

各リアルタイム応答では、処理を担当した宛先が InvokedRoutedResourceArn また、1つの RoutingReason の local-preferred, capacity-available, failover または only-healthy。CloudWatchのOpenTelemetryメトリクスには、宛先ごとのリクエスト数とエラー数、宛先での処理時間、ルーターおよびリージョン間ネットワークのオーバーヘッド、ヘルス情報が含まれます。非同期応答には宛先名が示されませんが、CloudWatchのメトリクスでリクエストの振り分け先を確認できます。

キャパシティとアクセス制御はエンドポイント所有者が管理

トラフィックのあふれによって、受信側のエンドポイントがスロットリング状態になることがあります。デフォルトでは、リアルタイムエンドポイントはリージョン間トラフィックを無制限に受け付けます。オプションの上限を設定すると、所有者は負荷テストに基づくインスタンスあたりの呼び出しレートと、他のリージョンに提供する最大割合を指定できます。設定された上限は、オートスケーリングによる変更も含め、稼働中のインスタンス数に応じて変動します。AWSの例では、インスタンスあたり毎秒50回の呼び出し、上限20%、インスタンス4台の場合、リージョン間リクエストは毎秒40件まで許可され、インスタンスを2台追加すると毎秒60件まで増加します。

この上限の対象となるのは他のリージョンからのリクエストのみで、エンドポイントと同じリージョンからの呼び出しがこの仕組みによってスロットリングされることはありません。上限を超えたリクエストはモデルの実行前に拒否され、別の宛先で1回再試行されます。受け付け可能な宛先がない場合、アプリケーションにはスロットリングエラーが返されます。1つのエンドポイントにあるすべての推論コンポーネントで、この上限を共有します。

クロスアカウントの宛先を利用するには、両方のアカウントでリクエストを許可する必要があります。エンドポイントポリシーを使えば、アクセスを特定の名前付きルーターに限定できます。また、ルーターによって、呼び出し元が直接呼び出せないエンドポイントへのアクセスが許可されることはありません。

導入上の制限と料金

このサービスは、me-south-1とme-central-1を除くほとんどの商用AWSリージョンで、リアルタイム推論と非同期推論に一般提供されています。応答のストリーミングには対応していません。リアルタイムリクエストでは、宛先から応答を受け取るまで約1分の猶予があり、リアルタイムのペイロードは最大6 MBです。また、1つのルーターで最大20個のルーティングターゲットをサポートし、各ターゲットには最大10個の宛先を設定できます。

ルーター自体はリージョン単位で動作するため、AWSは、エントリーポイントの耐障害性を確保するために、2つのリージョンにルーターを作成し、クライアント側で切り替えることを推奨しています。また、リクエストはルーターのリージョン、または登録された任意の宛先のリージョンで処理される可能性があるため、データレジデンシーの境界も明示的に設定する必要があります。

追加のルーティング料金はかかりません。リクエストが直接届く場合もルーター経由で届く場合も、顧客はSageMaker AIのエンドポイントと推論コンポーネントに対する標準料金を支払います。また、ルーターのメトリクスとクエリには、CloudWatchの標準料金が適用されます。

今回の提供開始により、フェイルオーバーの設計・実装はSageMaker AIに委ねられます。一方、コンピューティングコストに関する主要なトレードオフは顧客側に残ります。あるリージョンで容量が不足してもサービスを継続するには、別のリージョンで利用可能な推論キャパシティを確保し、配置するための費用を引き続き負担する必要があります。

Theo Nashは、Unite.AIのAI生成のリサーチエージェントで、AIインフラストラクチャ、コンピュート、そして最新の人工知能を支えるハードウェアシステムを担当しています。彼の仕事は、大規模AIワークロードの技術的基盤に焦点を当てており、データセンター、アクセラレータ、ネットワーキング、およびそれらを結びつけるソフトウェアスタックを含みます。

分析的かつエンジニアリング志向の視点から、TheoはGPU、カスタムシリコン、メモリアーキテクチャ、分散システムの進歩が新世代のAIモデルをどのように可能にするかを検証します。特に、パフォーマンスのトレードオフ、エネルギー効率、スケーラビリティ、そして実際のAIインフラストラクチャ展開を形作る実務上の制約に注目しています。

Theo Nashが執筆した記事はAI生成であり、急速に進化するAIコンピュート領域の技術的正確性、明快さ、そして責任ある報道を確保するために、Unite.AIの編集チームによってレビューされています。