Modele i platformy AI
AWS dodaje zarządzane rozszerzenia klastra do SageMaker HyperPod Slurm

Kluczowe punktyRozszerzenia klastra przekształcają oprogramowanie węzła w zadeklarowany stan, który…
Zobacz więcej
- Rozszerzenia klastra przekształcają oprogramowanie węzła w zadeklarowany stan, który HyperPod stale weryfikuje i uzgadnia.
- Administratorzy mogą aktualizować ustawienia lub wersje rozszerzeń bez wymiany węzłów ani ponownego uruchamiania skryptów cyklu życia.
- Migracja istniejących klastrów wymaga ręcznego usunięcia agentów zainstalowanych przez skrypty w oknie konserwacyjnym.
Amazon Web Services udostępniła 20 listopada 2026 r. zarządzane rozszerzenia klastra dla Amazon SageMaker HyperPod Slurm. Dzięki nim oprogramowanie działające na węzłach można konfigurować deklaratywnie za pomocą interfejsów API lub konsoli SageMaker AI. Pierwsze dwa rozszerzenia dotyczą obserwowalności i zarządzania użytkownikami, w tym integracji z katalogiem.
Nowe rozwiązanie obejmuje tę część współdzielonego klastra do trenowania modeli AI, która zmienia się po jego wdrożeniu. W 2026 r. HyperPod zyskał już konfigurację Slurm sterowaną przez API, konfigurację węzłów opartą na AMI, ciągłe wdrażanie, automatyczne zarządzanie topologią i zaawansowane kontrole stanu. Funkcje te zarządzają definicją klastra, jego pojemnością, układem sieci i stanem sprzętu. Rozszerzenia klastra przenoszą to samo podejście na oprogramowanie węzłów, które zmienia się wraz z rozwojem zespołów badawczych, wymagań dotyczących monitorowania i wersji pakietów.
Stan docelowy oprogramowania węzłów
Administratorzy mogą instalować, konfigurować, aktualizować i usuwać pakiety zarządzane przez AWS za pomocą konsoli, AWS CLI lub zestawu SDK. Przed wdrożeniem HyperPod sprawdza ustawienia zgodnie ze schematem wybranej wersji rozszerzenia, a następnie zapisuje żądaną wersję i ustawienia jako stan docelowy. Agent węzła wdraża tylko te komponenty, których wymaga rola danego węzła — także w węzłach dodanych w wyniku skalowania lub zastąpienia.
Podczas aktualizacji przesyłane są wyłącznie zmieniane ustawienia. HyperPod scala je z zapisaną konfiguracją i ponownie uruchamia tylko zmienione komponenty, bez zastępowania węzłów ani ponownego wykonywania skryptów cyklu życia. Nowe wersje rozszerzeń można również instalować bez aktualizowania AMI. Przed wdrożeniem HyperPod sprawdza zapisane ustawienia zgodnie ze schematem nowej wersji, a aktualizacje mogą odbywać się wyłącznie do nowszej wersji.
Podczas wdrażania stan każdego rozszerzenia to Creating lub Updating; zmienia się na Active, gdy wszystkie węzły działają z żądaną konfiguracją i nie zgłoszono problemów, a na Degraded, gdy węzły ulegają awarii lub zgłaszają problemy. DescribeClusterExtension grupuje problemy ze stanem węzłów według przyczyny i podaje kod, komunikat oraz liczbę węzłów, których dotyczą. HyperPod ponawia próby w przypadku błędów wewnętrznych. Administratorzy mogą usunąć inne przyczyny problemów i ponowić próbę na węzłach, których one dotyczą, wywołując aktualizację bez zmiany konfiguracji.
Obserwowalność i zarządzanie użytkownikami
Rozszerzenie sagemaker-observability gromadzi metryki węzłów, GPU, Elastic Fabric Adapter, zadań Slurm i klastra Slurm, a następnie przesyła je do Amazon CloudWatch lub Amazon Managed Service for Prometheus. Można konfigurować kategorie i poziomy metryk oraz częstotliwość ich gromadzenia. Na węzłach działają wyłącznie komponenty odpowiednie dla ich roli, na przykład eksportery DCGM i EFA na węzłach GPU oraz metryki klastra Slurm na węźle kontrolera.
Opcjonalny obszar roboczy Amazon Managed Grafana udostępnia gotowe pulpity Clusters i Jobs. Łączą one informacje o stanie całego klastra i stanie Slurm z metrykami infrastruktury poszczególnych węzłów oraz wykorzystaniem zasobów przez konkretne zadania, w tym użyciem procesora i pamięci, wykorzystaniem GPU, operacjami wejścia/wyjścia dysku oraz danymi NCCL.
Rozszerzenie sagemaker-user-management tworzy użytkowników i grupy w systemie Linux, przypisując im spójne identyfikatory we wszystkich węzłach. Kontroluje dostęp przez SSH i bezhasłowe uprawnienia sudo zależnie od typu węzła, a także rejestruje użytkowników w systemie rozliczania Slurm. Konta można definiować lokalnie, pobierać z Active Directory przez LDAPS lub stosować oba rozwiązania jednocześnie, w tym połączenia z AWS Directory Service for Microsoft Active Directory. Nowe i zastępcze węzły otrzymują tę samą konfigurację, a administratorzy mogą sprawdzać uprawnienia dostępu za pomocą API, bez logowania się do każdego węzła.
Migracja, uprawnienia i koszty
Rozszerzenia klastra wymagają klastra HyperPod Slurm korzystającego z AMI HyperPod z 2 listopada 2026 r. lub nowszego oraz włączonego ciągłego wdrażania. Ponieważ rozszerzenia uruchamiają oprogramowanie z uprawnieniami administratora systemu, AWS traktuje uprawnienia do ich tworzenia, aktualizowania i usuwania jako uprawnienia administratora i odradza przyznawanie ich roli wykonawczej klastra. Rola ta nadal musi mieć dostęp do miejsc docelowych metryk i wpisów tajnych usługi Active Directory, a zarządzanie użytkownikami wymaga współdzielonego systemu plików na katalogi domowe. Oddzielne identyfikatory ARN rozszerzeń pozwalają zespołom ds. platformy i monitorowania zarządzać różnymi rozszerzeniami.
Istniejące klastry można migrować stopniowo, po jednej funkcji naraz, równolegle korzystając ze skryptów i rozszerzeń. Proces wymaga aktualizacji oprogramowania klastra, wyłączenia danej funkcji w skryptach cyklu życia, ręcznego usunięcia agentów zainstalowanych przez skrypty podczas okna serwisowego oraz utworzenia rozszerzenia w oczyszczonym klastrze. Każdy komponent musi mieć jednego właściciela: zarządzanie tym samym eksporterem, użytkownikiem lub usługą za pomocą obu mechanizmów może powodować konflikty podczas instalacji lub działania. Niestandardowe AMI i skrypty cyklu życia nadal można wykorzystywać do obsługi oprogramowania specyficznego dla danej organizacji, a administratorzy zachowują dostęp przez SSH i możliwość bezpośredniej konfiguracji każdego węzła, w tym kontrolera.
Oba rozszerzenia są dostępne we wszystkich regionach, w których obsługiwany jest SageMaker HyperPod. Korzystanie z rozszerzeń klastra nie wiąże się z dodatkowymi opłatami, jednak klienci płacą za wykorzystywane zasoby bazowe, takie jak CloudWatch, Amazon Managed Service for Prometheus i AWS Secrets Manager.
W przypadku współdzielonych klastrów modeli bazowych oznacza to, że wspólne oprogramowanie węzłów staje się zadeklarowaną i stale weryfikowaną częścią stanu klastra, a nie zbiorem skryptów aprowizacyjnych. Usunięcie agentów instalowanych za pomocą skryptów jest jedynym ręcznym etapem migracji obejmującym całą flotę; później nowe węzły dodawane podczas skalowania oraz węzły zastępcze dziedziczą te same ustawienia rozszerzeń, a narzędzia specyficzne dla danej organizacji pozostają pod kontrolą zespołu zarządzającego klastrem.












