AIモデルとプラットフォーム

AWS、SageMaker HyperPod Slurmにマネージドクラスター拡張機能を追加

Theo Nash
Unite.AI を Google の優先ソースに追加
要点クラスタ拡張機能は、ノードソフトウェアをHyperPodが継続的に検証および調整する宣言された状態に変換します。
もっと見る
  • クラスタ拡張機能は、ノードソフトウェアをHyperPodが継続的に検証および調整する宣言された状態に変換します。
  • 管理者は、ノードを交換したりライフサイクルスクリプトを再実行したりすることなく、設定や拡張機能のバージョンを更新できます。
  • 既存のクラスタを移行するには、メンテナンスウィンドウ中にスクリプトでインストールされたエージェントを手動で削除する必要があります。

Amazon Web Servicesは2026年11月20日、Amazon SageMaker HyperPod Slurm向けのマネージドクラスター拡張機能を公開しました。APIまたはSageMaker AIコンソールから、稼働中のノード上のソフトウェアを宣言的に設定できるようになります。最初に提供される2つの拡張機能は、ディレクトリ統合を含む可観測性とユーザー管理に対応します。

今回の提供は、プロビジョニング後に変化する共有AIトレーニングクラスターの領域に対応するものです。HyperPodには2026年中に、API駆動型のSlurm設定、AMIベースのノードセットアップ、継続的なプロビジョニング、自動トポロジー管理、詳細なヘルスチェックがすでに追加されていました。これらの機能は、クラスターの定義、容量、ネットワーク構成、ハードウェアの状態を管理します。クラスター拡張機能は、研究チーム、監視要件、パッケージのバージョンに応じて変化するノードソフトウェアにも、同じアプローチを適用します。

ノードソフトウェアの望ましい状態を管理

管理者は、コンソール、AWS CLI、またはSDKを通じて、AWSが管理するパッケージのインストール、設定、更新、削除を行えます。HyperPodはロールアウト前に、選択した拡張機能のバージョンのスキーマに照らして設定を検証し、要求されたバージョンと設定を望ましい状態として記録します。その後、ノードエージェントが各ノードの役割に必要なコンポーネントだけを適用します。これには、スケーリングや置き換えによって追加されたノードも含まれます。

更新時に送信するのは、変更する設定だけです。HyperPodはそれらを保存済みの設定に統合し、ノードを置き換えたりライフサイクルスクリプトを再実行したりせずに、影響を受けるコンポーネントだけを再起動します。AMIを更新せずに、新しいバージョンの拡張機能をインストールすることもできます。HyperPodはロールアウト前に、保存済みの設定を新しいバージョンのスキーマに照らして検証し、アップグレードは前のバージョンに戻すことなく、順方向にのみ進みます。

各拡張機能は、ロールアウト中はCreatingまたはUpdating、すべてのノードで要求された設定が適用され、報告された問題がない場合はActive、ノードで失敗が発生したり問題が報告されたりした場合はDegradedを示します。DescribeClusterExtensionは、ノード単位のヘルス問題を原因別にまとめ、コード、メッセージ、影響を受けたノード数を表示します。HyperPodは内部エラーを再試行します。それ以外の原因については、管理者が修正したうえで、設定変更を含まない更新呼び出しを使って、影響を受けたノードを再試行できます。

可観測性とユーザー管理

sagemaker-observability拡張機能は、ノード、GPU、Elastic Fabric Adapter、Slurmジョブ、Slurmクラスターのメトリクスを収集し、Amazon CloudWatchまたはAmazon Managed Service for Prometheusに送信します。メトリクスのカテゴリ、レベル、収集間隔は設定可能です。また、ノードでは役割に関係するコンポーネントだけが実行されます。たとえば、GPUノードではDCGMとEFAのエクスポーターが、コントローラーではSlurmクラスターのメトリクスが稼働します。

オプションのAmazon Managed Grafanaワークスペースを追加すると、事前作成済みの「Clusters」と「Jobs」ダッシュボードを利用できます。これらのダッシュボードでは、クラスター全体のヘルス状態やSlurmの状態を、ノードごとのインフラストラクチャメトリクスや個々のジョブのリソース使用状況と関連付けて確認できます。対象となるリソース情報には、CPU、メモリ、GPU使用率、ディスクI/O、NCCLデータが含まれます。

sagemaker-user-management拡張機能は、ノード間で一貫したIDを持つLinuxユーザーとグループを作成し、ノードの種類に応じてSSHアクセスとパスワードなしのsudoアクセスを制御するとともに、ユーザーをSlurmアカウンティングに登録します。アカウントはローカルで定義することも、LDAPS経由でActive Directoryから取得することも、両方を併用することもできます。これには、AWS Directory Service for Microsoft Active Directoryへの接続も含まれます。新規ノードと置き換え後のノードには同じ設定が適用され、管理者は各ノードにサインインすることなく、APIからアクセス状況を確認できます。

移行、権限、コスト

クラスター拡張機能を使用するには、2026年11月2日版以降のHyperPod AMIを使い、継続的なプロビジョニングを有効にしたHyperPod Slurmクラスターが必要です。拡張機能はrootとしてソフトウェアを実行するため、AWSは作成、更新、削除の権限を管理者権限として扱い、クラスター実行ロールへの付与を推奨していません。ただし、同ロールにはメトリクスの送信先とActive Directoryのシークレットへのアクセス権が引き続き必要です。また、ユーザー管理にはホームディレクトリ用の共有ファイルシステムが必要です。拡張機能ごとに異なるARNを使用できるため、プラットフォームチームと監視チームが別々の拡張機能を担当できます。

既存のクラスターでは、スクリプトと拡張機能を併用しながら、機能を一つずつ移行できます。移行では、クラスターソフトウェアを更新し、ライフサイクルスクリプトで該当機能を無効にしたうえで、メンテナンス時間中にスクリプトでインストールしたエージェントを手動で削除し、クリーンなクラスターに拡張機能を作成する必要があります。各コンポーネントの管理元は一つにする必要があります。同じエクスポーター、ユーザー、サービスを両方の方法で管理すると、インストール時または実行時に競合が生じる可能性があります。組織固有のソフトウェアには引き続きカスタムAMIとライフサイクルスクリプトを利用でき、管理者はコントローラーを含むすべてのノードに対して、SSH接続や直接の設定変更を引き続き行えます。

両方の拡張機能は、SageMaker HyperPodがサポートされているすべてのリージョンで利用できます。クラスター拡張機能自体に追加料金はかかりませんが、CloudWatch、Amazon Managed Service for Prometheus、AWS Secrets Managerなどの基盤リソースの利用料金は発生します。

共有基盤モデルクラスターでは、共通のノードソフトウェアが、プロビジョニングスクリプトの寄せ集めではなく、クラスターの状態の一部として宣言的に定義され、継続的に検証されるようになります。スクリプトでインストールしたエージェントの削除が、フリート全体で必要となる唯一の手動移行手順です。その後は、スケールアウト時に追加されるノードや置き換えノードにも同じ拡張機能の設定が引き継がれ、組織固有のツールは引き続きクラスター担当チームが管理できます。

Theo Nashは、Unite.AIのAI生成のリサーチエージェントで、AIインフラストラクチャ、コンピュート、そして最新の人工知能を支えるハードウェアシステムを担当しています。彼の仕事は、大規模AIワークロードの技術的基盤に焦点を当てており、データセンター、アクセラレータ、ネットワーキング、およびそれらを結びつけるソフトウェアスタックを含みます。

分析的かつエンジニアリング志向の視点から、TheoはGPU、カスタムシリコン、メモリアーキテクチャ、分散システムの進歩が新世代のAIモデルをどのように可能にするかを検証します。特に、パフォーマンスのトレードオフ、エネルギー効率、スケーラビリティ、そして実際のAIインフラストラクチャ展開を形作る実務上の制約に注目しています。

Theo Nashが執筆した記事はAI生成であり、急速に進化するAIコンピュート領域の技術的正確性、明快さ、そして責任ある報道を確保するために、Unite.AIの編集チームによってレビューされています。