AI-modeller og platforme

AWS føjer validering af træning og registrering af fastlåste job til HyperPod

Theo Nash
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterHyperPod verificerer nu, at GPU'er faktisk beregner korrekte træningsresultater i…
Vis mere
  • HyperPod verificerer nu, at GPU'er faktisk beregner korrekte træningsresultater i stedet for kun at kontrollere hardwarens tilstand.
  • En regel for registrering af hæng på 15 minutter reducerer spildet i et fastlåst job med 32 instanser fra omkring $16.900 til omkring $530.
  • Registrering af hæng i Slurm er slået fra som standard, og en manglende regelfil efterlader job uden overvågning uden varsel.

Amazon Web Services annoncerede den 18. november 2026 tre pålidelighedsfunktioner til Amazon SageMaker HyperPod, der skal håndtere numeriske træningsfejl, Kubernetes-fejl og fastlåste Slurm-job, som kan optage GPU-kapacitet, selvom de enkelte noder stadig ser ud til at fungere normalt.

HyperPod overvåger allerede hardwarefejl, kører grundige diagnosticeringstjek og tester kommunikationen mellem instanser samt genopretter automatisk fejlbehæftede noder. Disse foranstaltninger viser ikke, om GPU’er beregner korrekte træningsresultater, om et job stadig gør fremskridt, eller om de Kubernetes-tjenester, det afhænger af, fungerer.

AWS’ omkostningseksempel viser risikoen: Et otte timer langt hæng på 32 ml.p5.48xlarge-instanser, svarende til 256 NVIDIA H100-GPU’er, spilder 2.048 GPU-timer og koster omkring 16.900 $ ud fra den omtrentlige HyperPod-pris ved behov på 66 $ pr. instanstime i US East (N. Virginia). En registreringsregel på 15 minutter reducerer omkostningen i dette scenarie til omkring 530 $ ved at annullere jobbet, så Slurm kan sætte det i kø igen.

Test af træningens korrekthed

MultiNodeTrainingValidation udvider HyperPods grundige sundhedstjek for klynger, der styres af Amazon Elastic Kubernetes Service (EKS), ved hjælp af understøttede instansgrupper med NVIDIA-GPU’er og Elastic Fabric Adapter (EFA). Testen Tiny Megatron kører en fast Megatron-LM-arbejdsbelastning på alle GPU’er i hver instans, mens testen Megatron kører den samme arbejdsbelastning på tværs af instanser af samme type via EFA. En instans markeres som fejlbehæftet, hvis træningstabet bliver ikke-et-tal (NaN) eller uendeligt, eller hvis kørslen ikke afsluttes inden for tidsgrænsen.

Tjekket kan køres, når en instansgruppe oprettes eller opdateres, eller efter behov for en hel gruppe eller udvalgte instanser via StartClusterHealthCheck API’en. Resultaterne vises i CloudWatch-logfiler og nodemærkater. Ved fejl mærkes instansen, og hvis automatisk nodegenoprettelse er slået til, genstartes eller udskiftes den. Under klargøringen sker dette, før kundejob kan bruge kapaciteten.

I AWS’ test med to ml.p5.48xlarge-instanser tog de to træningstjek omkring otte minutter ekstra i en fuld kørsel af de grundige sundhedstjek, som varede 1 time og 28 minutter. Instanser kan ikke modtage arbejdsbelastninger, før tjekkene er afsluttet, så den ekstra klargøringstid skal indgå i kapacitetsplanlægningen. At den faste arbejdsbelastning gennemføres, viser, at den blev trænet korrekt, men garanterer ikke, at en kundes egen træningsopgave vil konvergere.

Sammenkædning af klyngefejl med job

HyperPod Kubernetes Resource Monitoring Agent kører som én pod pr. EKS-klynge og foretrækker CPU-noder, så den ikke bruger GPU-kapacitet. Den overvåger nodetilstande og tilgængelige GPU- eller EFA-enheder, kritiske infrastruktur-pods, påkrævede DaemonSets samt HyperPodPyTorchJob- og Kubeflow-træningsjob. Kubernetes-hændelser af typen Warning og Normal markerer fejl og genoprettelser, mens strukturerede JSON-logfiler i CloudWatch gemmer historikken og knytter mislykkede job til deres pods og noder.

Agenten rapporterer kun; den genstarter ikke noder eller job. Afhjælpning af hardwareproblemer varetages fortsat af sundhedsovervågningsagenten og den automatiske nodegenoprettelse, mens HyperPod-træningsoperatøren fortsat håndterer genstart af job.

Den valgfrie NCCL-integration kræver version 2.24 eller nyere og forespørger i AWS’ implementering hvert 30. sekund RAS-lytteren (pålidelighed, tilgængelighed og servicérbarhed) for hver deltagende pod. Den samler rapporterne til en status på jobniveau: sund, forringet eller usund. For at få adgang til lytteren skal den bindes til poddens IP-adresse, så TCP-port 28028 åbnes på podnetværket. AWS anbefaler, at man anvender en Kubernetes NetworkPolicy, der begrænser adgangen til porten til agenten, samtidig med at trafikken mellem jobbets egne pods tillades, inden overvågningen aktiveres.

Registrering af Slurm-job, der går i stå

Slurm-funktionen kræver et HyperPod Slurm Amazon Machine Image, der er udgivet den 10. november 2026 eller senere. Funktionen er som standard slået fra og aktiveres for hvert job med HYPERPOD_HANG_RULES miljøvariablen, der angiver en regelfil, som kan læses fra den samme sti på hver beregningsnode. Det kræver ingen ændringer af træningsscriptet eller containeren, og funktionen virker med PyTorch, TensorFlow, JAX og brugerdefinerede scripts.

Standardregistreringen overvåger joboutput og GPU-aktivitet og leder efter enten output, der går i stå, mens GPU’erne er inaktive, men stadig bruger hukommelse, eller en længere periode uden output, uanset GPU’ernes tilstand. Brugerdefinerede regler med regulære udtryk kan erstatte standardregistreringen, kræve regelmæssige statusmeddelelser om fremskridt eller straks erklære et hæng, når et fejlmønster optræder. Begge metoder har blinde vinkler: Standardregistreringen kan overse et job, der holder GPU’erne travlt beskæftiget uden at gøre fremskridt, mens brugerdefinerede regler overser hæng, som deres mønstre ikke beskriver.

Når et hæng registreres, skrives en HANG_DETECTED hændelse til CloudWatch. Standard notify handlingen lader jobbet fortsætte; cancel lader Slurm sætte det i kø igen op til klyngens MaxBatchRequeue grænse, selvom job, der indsendes med --no-requeue forbliver annulleret. Dette er adskilt fra automatisk genoptagelse, som genstarter job, der afsluttes efter hardwarefejl, i modsætning til job, der fortsat er allokeret uden at gøre fremskridt.

En manglende eller ugyldig regelfil medfører en CONFIG_ERROR hændelse i CloudWatch og efterlader jobbet uden overvågning, uden at der vises en fejl i sbatch, squeue eller i jobbets output. Da agenten ikke kontrollerer ejerskabet af regelfilen, anbefaler AWS restriktive tilladelser for filen og dens overordnede mappe, så en anden bruger ikke kan erstatte filen og ændre registreringen eller annulleringen af job, der bruger den.

Tilsammen gør tilføjelserne det muligt at følge træningens korrekthed og jobbets fremdrift sammen med hardwarens tilstand, så behovet for manuelt at rekonstruere logfiler, når kapacitet går til spilde, mindskes. Til gengæld følger der driftsmæssige krav med: længere klargøringskontroller, overvågning via CloudWatch og omhyggeligt tilpassede registreringsregler bliver en del af arbejdet med at beskytte GPU-tid, især når automatisk annullering skal skelne mellem et fastlåst job og normale pauser i forbindelse med kontrolpunkter eller evaluering.

Theo Nash er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker AI‑infrastruktur, beregning og de hardware‑systemer, der driver moderne kunstig intelligens. Hans arbejde fokuserer på de tekniske grundlag bag store AI‑arbejdsbelastninger, herunder datacentre, acceleratorer, netværk og software‑stakke, der binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøger Theo, hvordan fremskridt inden for GPU’er, specialdesignet silicium, hukommelsesarkitekturer og distribuerede systemer muliggør nye generationer af AI‑modeller. Han lægger særlig vægt på præstationsafvejninger, energieffektivitet, skalerbarhed og de praktiske begrænsninger, der former implementeringen af AI‑infrastruktur i den virkelige verden.

Artikler skrevet af Theo Nash er AI‑genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre teknisk nøjagtighed, klarhed og ansvarlig dækning af det hastigt udviklende AI‑beregningslandskab.