AI-modeller og platforme
AWS føjer administrerede klyngeudvidelser til SageMaker HyperPod Slurm

NøglepunkterKlyngeudvidelser gør nodeprogrammel til deklareret tilstand, som HyperPod løbende…
Vis mere
- Klyngeudvidelser gør nodeprogrammel til deklareret tilstand, som HyperPod løbende validerer og afstemmer.
- Administratorer kan opdatere indstillinger eller udvidelsesversioner uden at udskifte noder eller køre livscyklusskripter igen.
- Migrering af eksisterende klynger kræver manuel fjernelse af scriptinstallerede agenter i et vedligeholdelsesvindue.
Amazon Web Services lancerede administrerede klyngeudvidelser til Amazon SageMaker HyperPod Slurm den 20. november 2026. De gør det muligt at konfigurere software på kørende noder deklarativt via API’er eller SageMaker AI-konsollen. De to første udvidelser dækker observerbarhed og brugeradministration, herunder integration med katalogtjenester.
Lanceringen adresserer den del af en delt AI-træningsklynge, der ændrer sig efter klargøringen. I løbet af 2026 havde HyperPod allerede tilføjet Slurm-konfiguration via API, nodeopsætning baseret på AMI’er, løbende klargøring, automatisk topologistyring og grundige sundhedstjek. Disse funktioner styrer klyngens definition, kapacitet, netværkslayout og hardwaretilstand; klyngeudvidelser anvender samme tilgang på nodesoftware, der ændrer sig i takt med udviklingen i forskningsteams, overvågningskrav og pakkeversioner.
Ønsket tilstand for nodesoftware
Administratorer kan installere, konfigurere, opdatere og fjerne de AWS-administrerede pakker via konsollen, AWS CLI eller et SDK. HyperPod validerer indstillingerne i forhold til skemaet for den valgte udvidelsesversion før udrulningen og registrerer den ønskede version og dens indstillinger som den ønskede tilstand. En nodeagent anvender derefter kun de komponenter, der er nødvendige for hver nodes rolle, også på noder, der tilføjes ved skalering eller udskiftning.
Opdateringer indsender kun de indstillinger, der ændres. HyperPod fletter dem ind i den gemte konfiguration og genstarter kun de berørte komponenter uden at udskifte noder eller køre livscyklusscripts igen. Nye udvidelsesversioner kan også installeres uden en AMI-opdatering. HyperPod kontrollerer de gemte indstillinger i forhold til skemaet for den nye version før udrulningen, og opgraderinger kan kun gå fremad.
Hver udvidelse rapporterer statussen Creating eller Updating under udrulningen, Active når alle noder kører den ønskede konfiguration uden rapporterede problemer, og Degraded, når noder fejler eller rapporterer problemer. DescribeClusterExtension grupperer sundhedsproblemer på nodeniveau efter årsag og angiver en kode, en meddelelse og antallet af berørte noder. HyperPod forsøger igen ved interne fejl; administratorer kan afhjælpe andre årsager og forsøge igen på de berørte noder med et opdateringskald uden konfigurationsændringer.
Observerbarhed og brugeradministration
Udvidelsen sagemaker-observability indsamler målinger for noder, GPU’er, Elastic Fabric Adapter, Slurm-job og Slurm-klynger og sender dem til Amazon CloudWatch eller Amazon Managed Service for Prometheus. Målekategorier, niveauer og indsamlingsintervaller kan konfigureres, mens noderne kun kører komponenter, der er relevante for deres rolle, såsom DCGM- og EFA-eksportører på GPU-noder og målinger for Slurm-klyngen på controlleren.
Et valgfrit Amazon Managed Grafana-arbejdsområde tilføjer forudoprettede dashboards for klynger og job. De forbinder tilstanden for hele klyngen og Slurm-status med infrastrukturmålinger på nodeniveau og ressourceforbrug for individuelle job, herunder CPU, hukommelse, GPU-udnyttelse, disk-I/O og NCCL-data.
Udvidelsen sagemaker-user-management opretter Linux-brugere og -grupper med ensartede id’er på tværs af noder, styrer SSH-adgang og adgang til sudo uden adgangskode efter nodetype og registrerer brugere i Slurm-regnskabet. Konti kan defineres lokalt, hentes fra Active Directory via LDAPS eller begge dele, herunder forbindelser til AWS Directory Service for Microsoft Active Directory. Nye noder og erstatningsnoder får den samme konfiguration, og administratorer kan gennemgå adgangen via API’et i stedet for at logge ind på hver enkelt node.
Migrering, tilladelser og omkostninger
Klyngeudvidelser kræver en HyperPod Slurm-klynge, der bruger HyperPod AMI fra 2. november 2026 eller en nyere version, og hvor løbende klargøring er aktiveret. Da udvidelser kører software som root, betragter AWS tilladelser til oprettelse, opdatering og sletning som administratortilladelser og fraråder at give dem til klyngens eksekveringsrolle. Rollen skal stadig have adgang til destinationssteder for målinger og hemmeligheder i Active Directory, mens brugeradministration kræver et delt filsystem til hjemmemapper. Separate ARN’er for udvidelser gør det muligt for platform- og overvågningsteams at eje forskellige udvidelser.
Eksisterende klynger kan migrere én funktion ad gangen, mens scripts og udvidelser kører side om side. Processen kræver, at klyngesoftwaren opdateres, at den pågældende funktion deaktiveres i livscyklusscripts, at agenter installeret via scripts fjernes manuelt under et vedligeholdelsesvindue, og at udvidelsen oprettes på den rene klynge. Hver komponent skal have én ejer: Hvis den samme eksportør, bruger eller tjeneste administreres via begge mekanismer, kan det medføre konflikter under installation eller kørsel. Brugerdefinerede AMI’er og livscyklusscripts er fortsat tilgængelige til organisationsspecifik software, og administratorer bevarer SSH-adgang og direkte adgang til konfigurationen på alle noder, også controlleren.
Begge udvidelser er tilgængelige i alle regioner, hvor SageMaker HyperPod understøttes. Der opkræves ikke ekstra betaling for klyngeudvidelser, men kunderne betaler for de underliggende ressourcer, såsom CloudWatch, Amazon Managed Service for Prometheus og AWS Secrets Manager.
For klynger med fælles grundmodeller betyder det i praksis, at den fælles nodesoftware bliver en deklareret del af klyngens tilstand, som kontrolleres løbende, i stedet for en samling klargøringsscripts. Fjernelse af agenter, der er installeret via scripts, er det eneste manuelle migreringstrin, der skal udføres på tværs af hele flåden. Derefter arver opskaleringer og erstatningsnoder de samme indstillinger for udvidelser, mens organisationsspecifikke værktøjer fortsat er under klyng teamets kontrol.












