AIモデルとプラットフォーム
AWS、HyperPodにトレーニング検証とハングジョブ検出機能を追加

要点HyperPodは現在、ハードウェアの健全性を確認するだけでなく、GPUが実際に正しいトレーニング結果を計算することを検証します。
もっと見る
- HyperPodは現在、ハードウェアの健全性を確認するだけでなく、GPUが実際に正しいトレーニング結果を計算することを検証します。
- 15分のハング検出ルールにより、停止した32インスタンスのジョブの無駄が約16,900ドルから約530ドルに削減されます。
- Slurmのハング検出はデフォルトでオフのままであり、ルールファイルが欠けているとジョブは通知なしに監視されないままになります。
Amazon Web Servicesは2026年11月18日、数値計算上の学習障害、Kubernetesの障害、個々のノードが正常に見える状態でもGPU容量を消費しかねない停止中のSlurmジョブを対象とする、Amazon SageMaker HyperPod向けの3つの信頼性機能を発表しました。
HyperPodはすでにハードウェアエラーを監視し、詳細な診断チェックを実行して、インスタンス間の通信をテストしている。また、障害のあるノードを自動的に復旧する機能も備えている。しかし、こうした制御機能では、GPUが正しいトレーニング結果を計算しているか、ジョブが進行中か、あるいはジョブが依存するKubernetesサービスが稼働しているかは確認できない。
AWSのコスト例は、潜在的な損失の大きさを示している。32台のml.p5.48xlargeインスタンス(NVIDIA H100 GPUを256基搭載)で8時間ハングすると、2,048 GPU時間が無駄になり、米国東部(バージニア北部)におけるHyperPodの概算オンデマンド料金であるインスタンス1時間あたり約66ドルに基づくと、コストは約16,900ドルに達する。15分で検出するルールを設定すれば、ジョブをキャンセルしてSlurmが再キューに入れられるため、このケースのコストを約530ドルに抑えられる。
トレーニングの正確性を検証
MultiNodeTrainingValidationは、Amazon Elastic Kubernetes Service(EKS)がオーケストレーションするクラスター向けに、HyperPodの詳細なヘルスチェックを拡張する。対象となるのは、Elastic Fabric Adapter (EFA)に対応したNVIDIA GPUインスタンスグループだ。Tiny Megatronテストでは、各インスタンスのすべてのGPUで固定のMegatron-LMワークロードを実行する。一方、Megatronテストでは、同じ種類のインスタンス間でEFAを介して同一のワークロードを実行する。トレーニング損失が非数値(NaN)または無限大になった場合、あるいは制限時間内に実行が完了しなかった場合、そのインスタンスは失敗と判定される。
インスタンスグループの作成時または更新時にチェックを実行できるほか、グループ全体または選択したインスタンスに対してオンデマンドで、APIを通じて実行することもできる。 StartClusterHealthCheck API。結果はCloudWatchログとノードラベルに表示される。失敗したインスタンスにはラベルが付けられ、自動ノード復旧が有効な場合は再起動または置き換えが行われる。プロビジョニング中に失敗した場合は、顧客のジョブがその容量を使用できるようになる前に、これらの処理が実行される。
AWSがml.p5.48xlargeインスタンス2台で実施したテストでは、2つのトレーニングチェックによって、所要時間が1時間28分の詳細なヘルスチェック全体に約8分が追加された。チェックが完了するまでインスタンスはワークロードを受け付けられないため、追加のプロビジョニング時間を容量計画に織り込む必要がある。固定ワークロードに合格すれば、正しくトレーニングが行われたことは確認できるが、顧客自身のトレーニングジョブが収束することまでは保証されない。
クラスターの障害とジョブを関連付ける
HyperPod Kubernetes Resource Monitoring Agentは、EKSクラスターごとに1つのポッドとして実行され、GPUリソースを消費しないようCPUノードを優先する。このエージェントは、ノードの状態と割り当て可能なGPUまたはEFAデバイス、重要なインフラストラクチャーポッド、必須のDaemonSet、HyperPodPyTorchJobおよびKubeflowのトレーニングジョブを監視する。KubernetesのWarningイベントとNormalイベントで障害や復旧を記録し、構造化されたJSON形式のCloudWatchログに履歴を保持するとともに、失敗したジョブを関連するポッドやノードに結び付ける。
このエージェントは状況を報告するだけで、ノードの再起動やジョブの再実行は行わない。ハードウェア障害への対処はヘルスモニタリングエージェントと自動ノード復旧が引き続き担い、ジョブの再起動はHyperPodトレーニングオペレーターが引き続き処理する。
オプションのNCCL統合にはバージョン2.24以降が必要であり、AWSの実装では、参加する各ポッドの信頼性、可用性、保守性(RAS)リスナーを30秒ごとにポーリングする。各ポッドからの報告を集約し、ジョブ単位で正常、低下、異常の状態を判定する。リスナーへの接続には、ポッドIPへのバインドが必要となり、ポッドネットワーク上でTCPポート28028が公開される。AWSは、モニタリングを有効にする前に、ジョブ内のポッド間の通信を維持しながら、ポートへのアクセスをエージェントに限定するKubernetes NetworkPolicyを適用するよう推奨している。
進行が止まったSlurmジョブを検出する
Slurm機能を使用するには、2026年11月10日以降にリリースされたHyperPod Slurm Amazon Machine Imageが必要だ。この機能はデフォルトでは無効で、ジョブごとに有効化するには、次の HYPERPOD_HANG_RULES 環境変数を設定する。この変数は、すべてのコンピュートノードで同じパスから読み取れるルールファイルを指定する。トレーニングスクリプトやコンテナを変更する必要はなく、PyTorch、TensorFlow、JAX、カスタムスクリプトで利用できる。
デフォルトの検出機能は、ジョブの出力とGPUの稼働状況を監視し、GPUがメモリを保持したままアイドル状態なのに出力が停止している場合や、GPUの状態にかかわらず出力が長時間途絶えた場合を検出する。カスタムの正規表現ルールを使えば、デフォルトの検出を置き換えたり、定期的な進捗メッセージを必須にしたり、エラーパターンが現れた時点で直ちにハングと判定したりできる。どの方法にも検出できないケースがある。デフォルトの検出では、進行していないのにGPUを使い続けるジョブを見逃すことがある一方、カスタムルールでは、パターンで定義されていないハングを検出できない。
検出されると、次の内容が書き込まれる。 HANG_DETECTED CloudWatchへのイベント。デフォルトの notify アクションではジョブを実行したままにする。 cancel 一方、Slurmによる再キューをクラスターの MaxBatchRequeue 上限まで許可する。ただし、次の設定を指定して投入されたジョブは --no-requeue キャンセルされたままとなる。これは自動再開とは別の機能だ。自動再開は、ハードウェア障害の後に終了したジョブを再起動するものであり、リソースが割り当てられたまま進行しないジョブを再起動するものではない。
ルールファイルが存在しない場合、または無効な場合は、 CONFIG_ERROR CloudWatchにイベントを記録し、ジョブは監視されないままとなる。エラーは記録されず sbatch, squeue 、ジョブ出力にもエラーは残らない。エージェントはルールファイルの所有者を確認しないため、別のユーザーがファイルを置き換えて、そのファイルを使用するジョブの検出やキャンセルの動作を変更できないよう、AWSはファイルと親ディレクトリに制限の厳しいアクセス権を設定することを推奨している。
今回の追加機能により、ハードウェアの健全性に加えて、トレーニングの正確性とジョブの進捗状況も把握できるようになり、キャパシティが無駄になる際にログを手作業で再構成する必要性が減る。一方で、運用上の負担も生じる。GPUの稼働時間を無駄にしないためには、より長いプロビジョニング確認、CloudWatchによる監視、慎重に調整した検出ルールが必要となる。特に、自動キャンセルを行う場合は、ハング状態と通常のチェックポイント処理や評価の空白時間とを見分けなければならない。












