Modely a platformy AI
AWS přidává do SageMaker HyperPod Slurm spravovaná rozšíření clusteru

Klíčové bodyRozšíření clusteru převádějí software uzlů na deklarovaný stav, který HyperPod…
Zobrazit více
- Rozšíření clusteru převádějí software uzlů na deklarovaný stav, který HyperPod nepřetržitě ověřuje a uvádí do souladu.
- Správci mohou aktualizovat nastavení nebo verze rozšíření bez výměny uzlů nebo opětovného spouštění skriptů životního cyklu.
- Migrace stávajících clusterů vyžaduje ruční odstranění agentů nainstalovaných skriptem během servisního okna.
Amazon Web Services spustila 20. listopadu 2026 spravovaná rozšíření clusteru pro Amazon SageMaker HyperPod Slurm. Ta prostřednictvím rozhraní API nebo konzole SageMaker AI umožňují deklarativně konfigurovat software na běžících uzlech. První dvě rozšíření se týkají monitorovatelnosti a správy uživatelů, včetně integrace s adresářovými službami.
Novinka řeší část sdíleného clusteru pro trénování AI, která se mění po jeho zřízení. HyperPod už v průběhu roku 2026 přidal konfiguraci Slurmu řízenou přes API, nastavení uzlů pomocí AMI, průběžné zřizování, automatickou správu topologie a důkladné kontroly stavu. Tyto funkce spravují definici clusteru, jeho kapacitu, síťové uspořádání a stav hardwaru. Rozšíření clusteru uplatňují stejný přístup na software uzlů, který se mění s vývojem výzkumných týmů, požadavků na monitorování a verzí balíčků.
Požadovaný stav softwaru uzlů
Správci mohou instalovat, konfigurovat, aktualizovat a odstraňovat balíčky spravované AWS prostřednictvím konzole, AWS CLI nebo sady SDK. HyperPod před nasazením ověří nastavení podle schématu vybrané verze rozšíření a zaznamená požadovanou verzi a nastavení jako požadovaný stav. Agent uzlu pak použije pouze komponenty potřebné pro danou roli uzlu, a to i na uzlech přidaných při škálování nebo jako náhrada za jiné uzly.
Při aktualizaci se odesílají pouze měněná nastavení. HyperPod je sloučí s uloženou konfigurací a restartuje pouze dotčené komponenty, aniž by nahrazoval uzly nebo znovu spouštěl skripty životního cyklu. Nové verze rozšíření lze instalovat také bez aktualizace AMI. HyperPod před nasazením ověří uložená nastavení podle schématu nové verze a aktualizace lze provádět pouze směrem k novějším verzím.
Během nasazování každé rozšíření hlásí stav Creating nebo Updating. Stav Active označuje, že všechny uzly používají požadovanou konfiguraci a nebyl nahlášen žádný problém; stav Degraded znamená, že některé uzly selhaly nebo hlásí potíže. DescribeClusterExtension seskupuje problémy se stavem uzlů podle příčiny a uvádí jejich kód, popis a počet dotčených uzlů. HyperPod interní selhání zkouší vyřešit opakovaným pokusem. Správci mohou odstranit jiné příčiny a opakovat pokus na dotčených uzlech voláním aktualizace bez změny konfigurace.
Monitorovatelnost a správa uživatelů
Rozšíření sagemaker-observability shromažďuje metriky uzlů, GPU, Elastic Fabric Adapter, úloh Slurm a clusteru Slurm a odesílá je do Amazon CloudWatch nebo Amazon Managed Service for Prometheus. Kategorie a úrovně metrik i intervaly sběru lze konfigurovat. Na uzlech přitom běží pouze komponenty odpovídající jejich roli, například exportéry DCGM a EFA na uzlech s GPU a metriky clusteru Slurm na řídicím uzlu.
Volitelný pracovní prostor Amazon Managed Grafana přidává předem vytvořené řídicí panely Clusters a Jobs. Propojují stav celého clusteru a stav Slurmu s infrastrukturními metrikami jednotlivých uzlů a využitím prostředků pro jednotlivé úlohy, včetně využití CPU, paměti a GPU, diskových vstupně-výstupních operací a dat NCCL.
Rozšíření sagemaker-user-management vytváří uživatele a skupiny Linuxu s jednotnými identifikátory napříč uzly, řídí přístup přes SSH a k sudo bez hesla podle typu uzlu a registruje uživatele v systému účtování Slurm. Účty lze definovat lokálně, načítat z Active Directory přes LDAPS, případně využívat oba způsoby, včetně připojení k AWS Directory Service for Microsoft Active Directory. Nové i náhradní uzly převezmou stejnou konfiguraci a správci mohou kontrolovat přístup prostřednictvím API, aniž by se museli přihlašovat ke každému uzlu.
Migrace, oprávnění a náklady
Rozšíření clusteru vyžadují cluster HyperPod Slurm s AMI HyperPod vydanou 2. listopadu 2026 nebo později a povoleným průběžným zřizováním. Protože rozšíření spouštějí software s oprávněními uživatele root, AWS považuje oprávnění k vytváření, aktualizaci a odstraňování rozšíření za oprávnění správce a nedoporučuje je přidělovat roli provádění clusteru. Tato role stále potřebuje přístup k cílům metrik a tajným údajům Active Directory, zatímco správa uživatelů vyžaduje sdílený souborový systém pro domovské adresáře. Samostatné ARN rozšíření umožňují, aby různé rozšíření spravovaly platformní a monitorovací týmy.
Stávající clustery mohou přecházet na nové řešení po jednotlivých funkcích a po dobu migrace používat skripty i rozšíření současně. Postup zahrnuje aktualizaci softwaru clusteru, vypnutí příslušné funkce ve skriptech životního cyklu, ruční odebrání agentů instalovaných skripty během servisního okna a vytvoření rozšíření v čistém clusteru. Každá komponenta musí mít jednoho správce: správa téhož exportéru, uživatele nebo služby oběma způsoby může způsobit konflikty při instalaci nebo za běhu. Vlastní AMI a skripty životního cyklu zůstávají k dispozici pro software specifický pro danou organizaci a správci si zachovávají přístup přes SSH i přímý přístup ke konfiguraci všech uzlů, včetně řídicího uzlu.
Obě rozšíření jsou k dispozici ve všech regionech, kde je podporován SageMaker HyperPod. Za rozšíření clusteru se neúčtují žádné další poplatky, zákazníci však platí za podkladové prostředky, jako jsou CloudWatch, Amazon Managed Service for Prometheus a AWS Secrets Manager.
U clusterů pro sdílené základní modely je praktickým důsledkem to, že se společný software uzlů stává deklarovanou a průběžně kontrolovanou součástí stavu clusteru, namísto aby šlo o soubor skriptů pro zřizování. Odstranění agentů instalovaných pomocí skriptů je jediným manuálním krokem migrace napříč celou flotilou; poté nově přidané uzly při škálování i náhradní uzly převezmou stejná nastavení rozšíření, zatímco nástroje specifické pro danou organizaci zůstávají pod kontrolou týmu spravujícího cluster.












