AI-modeller og plattformer

AWS legger til validering av trening og oppdagelse av fastlåste jobber i HyperPod

Theo Nash
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterHyperPod verifiserer nå at GPU-er faktisk beregner korrekte treningsresultater i stedet…
Vis mer
  • HyperPod verifiserer nå at GPU-er faktisk beregner korrekte treningsresultater i stedet for bare å sjekke maskinvarehelse.
  • En regel for å oppdage heng på 15 minutter reduserer sløsingen til en fastlåst jobb med 32 instanser fra omtrent $16 900 til omtrent $530.
  • Hengdeteksjon i Slurm er av som standard, og en manglende regelfil lar jobber være uten overvåking uten varsel.

Amazon Web Services kunngjorde 18. november 2026 tre funksjoner for økt pålitelighet i Amazon SageMaker HyperPod. De retter seg mot numeriske feil under trening, Kubernetes-feil og fastlåste Slurm-jobber som kan bruke GPU-kapasitet selv om de enkelte nodene fortsatt ser ut til å fungere normalt.

HyperPod overvåker allerede maskinvarefeil, kjører grundige diagnostiske kontroller og tester kommunikasjonen mellom instanser, med automatisk gjenoppretting av defekte noder. Disse kontrollene viser ikke om GPU-ene beregner riktige treningsresultater, om en jobb fortsatt gjør fremskritt, eller om Kubernetes-tjenestene den er avhengig av, fungerer.

AWS’ kostnadseksempel viser hvor store kostnadene kan bli: En fastlåst jobb i åtte timer på 32 ml.p5.48xlarge-instanser, tilsvarende 256 NVIDIA H100-GPU-er, sløser bort 2 048 GPU-timer og koster rundt 16 900 dollar, basert på den omtrentlige HyperPod-prisen ved behov på 66 dollar per instanstime i US East (N. Virginia). Med en deteksjonsregel på 15 minutter reduseres kostnaden i dette scenarioet til rundt 530 dollar ved at jobben avbrytes, slik at Slurm kan legge den tilbake i kø.

Testing av at treningen fungerer som den skal

MultiNodeTrainingValidation utvider HyperPods grundige helsekontroller for klynger som administreres av Amazon Elastic Kubernetes Service (EKS), ved hjelp av støttede NVIDIA-GPU-instansgrupper med Elastic Fabric Adapter (EFA). Tiny Megatron-testen kjører en fast Megatron-LM-arbeidsbelastning på alle GPU-ene i hver instans, mens Megatron-testen kjører den samme arbeidsbelastningen på tvers av instanser av samme type via EFA. En instans mislykkes i testen hvis treningstapet blir «not-a-number» (NaN) eller uendelig, eller hvis kjøringen ikke fullføres innen tidsfristen.

Kontrollen kan kjøres når en instansgruppe opprettes eller oppdateres, eller ved behov for en hel gruppe eller utvalgte instanser gjennom StartClusterHealthCheck API-et. Resultatene vises i CloudWatch-logger og nodetiketter. Hvis en instans ikke består testen, merkes den, og dersom automatisk nodegjenoppretting er aktivert, startes den på nytt eller erstattes. Under klargjøring skjer dette før kundejobber kan bruke kapasiteten.

I AWS’ test med to ml.p5.48xlarge-instanser tok de to treningskontrollene rundt åtte minutter ekstra i en fullstendig, grundig helsekontroll som varte i 1 time og 28 minutter. Instansene kan ikke ta imot arbeidsbelastninger før kontrollene er fullført, så den ekstra klargjøringstiden må tas med i kapasitetsplanleggingen. At den faste arbeidsbelastningen består testen, viser at den ble trent riktig, men garanterer ikke at kundens egen treningsjobb vil konvergere.

Koble klyngefeil til jobber

HyperPod Kubernetes Resource Monitoring Agent kjører som én pod per EKS-klynge og foretrekker CPU-noder, slik at den ikke bruker GPU-kapasitet. Den overvåker nodetilstander og tilgjengelige GPU- eller EFA-enheter, kritiske infrastrukturpoder, nødvendige DaemonSets samt HyperPodPyTorchJob- og Kubeflow-treningsjobber. Kubernetes-hendelsene Warning og Normal markerer feil og gjenoppretting, mens strukturerte JSON-logger i CloudWatch tar vare på historikken og knytter mislykkede jobber til tilhørende poder og noder.

Agenten rapporterer bare; den starter ikke noder på nytt eller omstarter jobber. Utbedring av maskinvarefeil håndteres fortsatt av helsekontrollagenten og automatisk nodegjenoppretting, mens HyperPods treningsoperatør fortsatt håndterer omstart av jobber.

Den valgfrie NCCL-integrasjonen krever versjon 2.24 eller nyere og henter, i AWS’ implementering, informasjon fra hver deltakende pods RAS-lytter hvert 30. sekund. Den samler rapportene til en jobbstatus på jobbnivå: frisk, redusert eller ikke frisk. For å få tilgang til lytteren må den knyttes til podens IP-adresse, slik at TCP-port 28028 eksponeres på podnettverket. AWS anbefaler å bruke en Kubernetes NetworkPolicy som begrenser tilgangen til porten til agenten, samtidig som trafikk mellom jobbens egne poder tillates, før overvåkingen aktiveres.

Oppdage Slurm-jobber som slutter å gjøre fremskritt

Slurm-funksjonen krever et HyperPod Slurm Amazon Machine Image som er utgitt 10. november 2026 eller senere. Den er deaktivert som standard og aktiveres for hver jobb med HYPERPOD_HANG_RULES miljøvariabelen, som peker til en regelfil som kan leses fra den samme banen på hver beregningsnode. Det er ikke nødvendig å endre treningsskriptet eller containeren, og funksjonen fungerer med PyTorch, TensorFlow, JAX og egendefinerte skript.

Standarddeteksjonen overvåker jobbens utdata og GPU-aktivitet. Den ser etter at utdataene stopper mens GPU-ene er inaktive, men fortsatt bruker minne, eller etter en lengre pause i utdataene uavhengig av GPU-tilstanden. Egendefinerte regler med regulære uttrykk kan erstatte standarddeteksjonen, kreve regelmessige framdriftsmeldinger eller fastslå umiddelbart at en jobb har hengt seg opp når et feilmønster oppstår. Hver metode har begrensninger: Standarddeteksjonen kan overse en jobb som fortsetter å holde GPU-ene opptatt uten å gjøre fremskritt, mens egendefinerte regler overser fastlåste jobber som ikke samsvarer med mønstrene.

Når en fastlåst jobb oppdages, logges en HANG_DETECTED hendelse i CloudWatch. Standard notify handlingen lar jobben fortsette å kjøre; cancel lar Slurm legge den tilbake i kø opptil klyngens MaxBatchRequeue grense, selv om jobber sendt inn med --no-requeue forblir avbrutt. Dette er noe annet enn automatisk gjenopptak, som starter jobber på nytt når de avsluttes etter maskinvarefeil, i motsetning til jobber som fortsatt er tildelt ressurser uten å gjøre fremskritt.

En manglende eller ugyldig regelfil fører til en CONFIG_ERROR hendelse i CloudWatch og lar jobben stå uovervåket, uten at det oppstår en feil i sbatch, squeue eller jobbens utdata. Fordi agenten ikke kontrollerer hvem som eier regel-filen, anbefaler AWS strenge tilgangsrettigheter for filen og den overordnede katalogen, slik at andre brukere ikke kan erstatte filen og endre deteksjonen eller avbrytelsen av jobber som bruker den.

Til sammen gjør tilleggene det mulig å følge med på om treningen er korrekt og hvordan jobbene går, i tillegg til maskinvaretilstanden. Dermed blir man mindre avhengig av å rekonstruere logger manuelt når kapasitet går til spille. Avveiningen er operasjonell: Lengre kontroller under klargjøring, overvåking i CloudWatch og nøye justerte deteksjonsregler blir en del av arbeidet med å beskytte GPU-tid, særlig når automatisk avbrytelse må skille mellom en jobb som har hengt seg, og normale pauser i kontrollpunktlagring eller evaluering.

Theo Nash er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, som dekker AI-infrastruktur, beregning og maskinvaresystemene som driver moderne kunstig intelligens. Arbeidet hans fokuserer på de tekniske grunnlagene bak AI-arbeidsbelastninger i stor skala, inkludert datasentre, akseleratorer, nettverk og programvarestablene som binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøker Theo hvordan fremskritt innen GPU-er, tilpasset silisium, minnearkitekturer og distribuerte systemer muliggjør nye generasjoner av AI-modeller. Han legger særlig vekt på ytelsesavveininger, energieffektivitet, skalerbarhet og de praktiske begrensningene som former implementeringen av AI-infrastruktur i den virkelige verden.

Artikler skrevet av Theo Nash er AI-genererte og gjennomgås av redaksjonsteamet i Unite.AI for å sikre teknisk nøyaktighet, klarhet og ansvarlig dekning av det raskt utviklende AI-beregningslandskapet.