AI-modeller og plattformer
AWS legger til administrerte klyngeutvidelser i SageMaker HyperPod Slurm

Viktige punkterKlyngeutvidelser gjør nodeprogramvare om til deklarert tilstand som HyperPod…
Vis mer
- Klyngeutvidelser gjør nodeprogramvare om til deklarert tilstand som HyperPod kontinuerlig validerer og avstemmer.
- Administratorer kan oppdatere innstillinger eller utvidelsesversjoner uten å erstatte noder eller kjøre livssyklusskript på nytt.
- Migrering av eksisterende klynger krever manuell fjerning av skriptinstallerte agenter i et vedlikeholdsvindu.
Amazon Web Services lanserte administrerte klyngeutvidelser for Amazon SageMaker HyperPod Slurm 20. november 2026. De gir mulighet til å konfigurere programvare deklarativt på noder som er i drift, via API-er eller SageMaker AI-konsollen. De to første utvidelsene dekker observerbarhet og brukeradministrasjon, inkludert katalogintegrasjon.
Lanseringen retter seg mot den delen av en delt AI-treningsklynge som endres etter klargjøringen. HyperPod hadde allerede lagt til Slurm-konfigurasjon styrt via API, nodeoppsett basert på AMI, kontinuerlig klargjøring, automatisk topologiadministrasjon og grundige helsekontroller i løpet av 2026. Disse funksjonene håndterer klyngens definisjon, kapasitet, nettverksoppsett og maskinvarehelse. Klyngeutvidelser bruker samme tilnærming på programvaren på nodene, som endres etter hvert som forskningsteam, overvåkingsbehov og pakkeversjoner utvikler seg.
Ønsket tilstand for programvare på noder
Administratorer kan installere, konfigurere, oppdatere og fjerne pakker som administreres av AWS, via konsollen, AWS CLI eller et SDK. HyperPod validerer innstillingene mot skjemaet for den valgte utvidelsesversjonen før utrulling, og registrerer den forespurte versjonen og innstillingene som ønsket tilstand. En nodeagent tar deretter i bruk bare komponentene som trengs for hver nodes rolle, også på noder som legges til ved skalering eller utskifting.
Ved oppdateringer sendes bare innstillingene som skal endres. HyperPod fletter dem inn i den lagrede konfigurasjonen og starter bare berørte komponenter på nytt, uten å erstatte noder eller kjøre livssyklusskript på nytt. Nye versjoner av utvidelser kan også installeres uten å oppdatere AMI. HyperPod kontrollerer de lagrede innstillingene mot skjemaet for den nye versjonen før utrulling, og oppgraderinger går bare fremover.
Hver utvidelse rapporterer Creating eller Updating under utrulling, Active når alle noder kjører den forespurte konfigurasjonen uten rapporterte problemer, og Degraded når noder svikter eller rapporterer problemer. DescribeClusterExtension grupperer helseproblemer på nodenivå etter årsak og viser en kode, en melding og antallet berørte noder. HyperPod prøver på nytt ved interne feil. Administratorer kan rette andre årsaker og prøve på nytt på berørte noder med et oppdateringskall uten konfigurasjonsendringer.
Observerbarhet og brukeradministrasjon
Utvidelsen sagemaker-observability samler inn måledata om noder, GPU-er, Elastic Fabric Adapter, Slurm-jobber og Slurm-klynger og sender dem til Amazon CloudWatch eller Amazon Managed Service for Prometheus. Kategorier, nivåer og innsamlingsintervaller for måledata kan konfigureres, mens nodene bare kjører komponenter som er relevante for rollen deres, for eksempel DCGM- og EFA-eksportører på GPU-noder og måledata for Slurm-klyngen på kontrolleren.
Et valgfritt Amazon Managed Grafana-arbeidsområde gir tilgang til forhåndsopprettede oversikter over klynger og jobber. De kobler sammen helsetilstanden for hele klyngen og Slurm-status med infrastrukturmåledata per node og ressursbruk for enkeltjobber, inkludert CPU, minne, GPU-utnyttelse, disk-I/O og NCCL-data.
Utvidelsen sagemaker-user-management oppretter Linux-brukere og -grupper med konsistente ID-er på tvers av noder, styrer SSH-tilgang og sudo-tilgang uten passord etter nodetype og registrerer brukerne i Slurm-regnskapet. Kontoer kan defineres lokalt, hentes fra Active Directory via LDAPS eller begge deler, også gjennom tilkoblinger til AWS Directory Service for Microsoft Active Directory. Nye noder og erstatningsnoder får den samme konfigurasjonen, og administratorer kan kontrollere tilgangen via API-et i stedet for å logge seg på hver node.
Migrering, tillatelser og kostnader
Klyngeutvidelser krever en HyperPod Slurm-klynge som bruker HyperPod AMI fra 2. november 2026 eller nyere, med kontinuerlig klargjøring aktivert. Siden utvidelsene kjører programvare som root, regner AWS tillatelsene for å opprette, oppdatere og slette utvidelser som administratortillatelser og fraråder å gi dem til klyngens kjørerolle. Rollen trenger fortsatt tilgang til mål for måledata og hemmeligheter i Active Directory, mens brukeradministrasjon krever et delt filsystem for hjemmekataloger. Separate ARN-er for utvidelsene gjør det mulig for plattform- og overvåkingsteam å ha ansvar for ulike utvidelser.
Eksisterende klynger kan migreres med én funksjon om gangen, mens skript og utvidelser brukes side om side. Prosessen krever at klyngeprogramvaren oppdateres, at den aktuelle funksjonen deaktiveres i livssyklusskriptene, at agenter som er installert via skript, fjernes manuelt i et vedlikeholdsvindu, og at utvidelsen opprettes på den ryddede klyngen. Hver komponent må ha én ansvarlig eier: Hvis samme eksportør, bruker eller tjeneste administreres gjennom begge mekanismene, kan det oppstå konflikter under installasjon eller kjøring. Tilpassede AMI-er og livssyklusskript er fortsatt tilgjengelige for organisasjonsspesifikk programvare, og administratorer beholder SSH-tilgang og direkte konfigurasjonstilgang til alle noder, også kontrolleren.
Begge utvidelsene er tilgjengelige i alle regioner der SageMaker HyperPod støttes. Klyngeutvidelser medfører ingen ekstra kostnader, men kundene betaler for de underliggende ressursene, for eksempel CloudWatch, Amazon Managed Service for Prometheus og AWS Secrets Manager.
For delte klynger for grunnmodeller er den operative konsekvensen at felles programvare på nodene blir en deklarert del av klyngetilstanden som kontrolleres kontinuerlig, i stedet for å være en samling klargjøringsskript. Å fjerne agenter som er installert via skript, er det ene manuelle migreringstrinnet som må utføres for hele flåten. Deretter arver noder som legges til ved oppskalering, og erstatningsnoder de samme innstillingene for utvidelser, mens verktøy som er spesifikke for organisasjonen, fortsatt er under kontroll av klyngeteamet.












