AI-modeller och plattformar

AWS lägger till validering av träning och upptäckt av jobb som fastnat i HyperPod

Theo Nash
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterHyperPod verifierar nu att GPU:er faktiskt beräknar korrekta träningsresultat i stället…
Visa mer
  • HyperPod verifierar nu att GPU:er faktiskt beräknar korrekta träningsresultat i stället för att bara kontrollera hårdvarans hälsa.
  • En regel för att upptäcka hängningar på 15 minuter minskar slöseriet för ett stannat jobb med 32 instanser från cirka 16 900 dollar till cirka 530 dollar.
  • Slurm-upptäckt av hängningar är avstängd som standard och en saknad regel fil lämnar jobb tyst oövervakade.

Amazon Web Services meddelade den 18 november 2026 att tre funktioner för ökad tillförlitlighet införs i Amazon SageMaker HyperPod. De ska upptäcka numeriska fel i träningen, Kubernetes-fel och Slurm-jobb som stannat av och kan förbruka GPU-kapacitet trots att de enskilda noderna fortfarande verkar fungera normalt.

HyperPod övervakar redan maskinvarufel, kör djupgående diagnostikkontroller och testar kommunikationen mellan instanser, med automatisk återställning av felaktiga noder. Dessa funktioner visar dock inte om GPU:erna beräknar korrekta träningsresultat, om ett jobb fortfarande gör framsteg eller om Kubernetes-tjänsterna som jobbet är beroende av fungerar.

AWS kostnadsexempel visar hur stora kostnaderna kan bli: ett åtta timmar långt avbrott på 32 ml.p5.48xlarge-instanser, motsvarande 256 NVIDIA H100-GPU:er, innebär att 2 048 GPU-timmar går till spillo och kostar cirka 16 900 USD, beräknat utifrån det ungefärliga HyperPod-priset vid behov på 66 USD per instanstimme i US East (N. Virginia). Med en detekteringsregel på 15 minuter sjunker kostnaden för scenariot till cirka 530 USD, eftersom jobbet avbryts så att Slurm kan lägga det i kön igen.

Testa att träningen fungerar korrekt

MultiNodeTrainingValidation utökar HyperPods djupgående hälsokontroller för kluster som orkestreras av Amazon Elastic Kubernetes Service (EKS) och använder grupper av NVIDIA GPU-instanser med stöd för Elastic Fabric Adapter (EFA). Testet Tiny Megatron kör en fast Megatron-LM-arbetsbelastning på alla GPU:er i varje instans, medan Megatron-testet kör samma arbetsbelastning mellan instanser av samma typ via EFA. En instans underkänns om träningsförlusten blir NaN (inte ett tal) eller oändlig, eller om körningen inte slutförs inom tidsgränsen.

Kontrollen kan köras när en instansgrupp skapas eller uppdateras, eller på begäran för en hel grupp eller utvalda instanser via StartClusterHealthCheck API:t. Resultaten visas i CloudWatch-loggar och nodetiketter. Vid ett underkänt test etiketteras instansen och, om automatisk nodåterställning är aktiverad, startas den om eller ersätts. Under provisioneringen sker detta innan kundernas jobb kan använda kapaciteten.

I AWS test med två ml.p5.48xlarge-instanser tog de två träningskontrollerna cirka åtta minuter extra i en fullständig djupgående hälsokontroll som varade 1 timme och 28 minuter. Instanserna kan inte ta emot arbetsbelastningar förrän kontrollerna är klara, vilket innebär att den extra provisioneringstiden måste ingå i kapacitetsplaneringen. Att den fasta arbetsbelastningen godkänns visar att den tränades korrekt, men garanterar inte att kundens egen träningskörning konvergerar.

Koppla klusterfel till jobb

HyperPod Kubernetes Resource Monitoring Agent körs som en pod per EKS-kluster och föredrar CPU-noder så att den inte förbrukar GPU-kapacitet. Den övervakar nodernas tillstånd och tillgängliga GPU- eller EFA-enheter, kritiska infrastrukturpoddar, obligatoriska DaemonSets samt träningsjobb av typen HyperPodPyTorchJob och Kubeflow. Varningar och normala Kubernetes-händelser markerar fel och återställningar, medan strukturerade JSON-loggar i CloudWatch sparar historik och kopplar misslyckade jobb till deras poddar och noder.

Agenten rapporterar endast; den startar inte om noder eller jobb. Åtgärder för maskinvaruproblem hanteras fortfarande av hälsoövervakningsagenten och den automatiska nodåterställningen, medan HyperPods träningsoperator fortsätter att hantera omstarter av jobb.

Den valfria NCCL-integrationen kräver version 2.24 eller senare och frågar, i AWS implementation, var 30:e sekund varje deltagande pods RAS-lyssnare om dess tillförlitlighet, tillgänglighet och servicebarhet. Rapporterna sammanställs till ett tillstånd på jobbnivå: felfritt, försämrat eller inte felfritt. För att nå lyssnaren måste den bindas till poddens IP-adress, vilket öppnar TCP-port 28028 i poddnätverket. AWS rekommenderar att en Kubernetes NetworkPolicy införs för att begränsa portåtkomsten till agenten och samtidigt tillåta trafik mellan jobbets egna poddar innan övervakningen aktiveras.

Upptäcka Slurm-jobb som slutar göra framsteg

Slurm-funktionen kräver en HyperPod Slurm Amazon Machine Image som släppts den 10 november 2026 eller senare. Funktionen är inaktiverad som standard och aktiveras för varje jobb med HYPERPOD_HANG_RULES miljövariabeln, som anger en regelfil som kan läsas från samma sökväg på varje beräkningsnod. Inga ändringar av träningsskript eller containrar behövs, och funktionen fungerar med PyTorch, TensorFlow, JAX och anpassade skript.

Standarddetekteringen övervakar jobbets utdata och GPU-aktivitet och söker efter uteblivna utdata medan GPU:erna är inaktiva men fortfarande använder minne, eller efter ett längre avbrott i utdata oavsett GPU-status. Anpassade regler med reguljära uttryck kan ersätta standarddetekteringen, kräva återkommande meddelanden om framsteg eller omedelbart ange att jobbet har fastnat när ett felmönster upptäcks. Varje metod har sina blinda fläckar: standarddetekteringen kan missa jobb som fortsätter att belasta GPU:erna utan att göra framsteg, medan anpassade regler missar stopp som inte motsvaras av deras mönster.

När ett stopp upptäcks loggas en HANG_DETECTED händelse i CloudWatch. Standardåtgärden notify låter jobbet fortsätta köras; cancel gör det möjligt för Slurm att lägga det i kön igen upp till klustrets MaxBatchRequeue gräns, även om jobb som skickats in med --no-requeue förblir avbrutna. Detta är skilt från automatisk återupptagning, som startar om jobb som avslutas efter maskinvarufel, till skillnad från jobb som fortfarande är allokerade men inte gör några framsteg.

En saknad eller ogiltig regelfil ger upphov till en CONFIG_ERROR händelse i CloudWatch och lämnar jobbet oövervakat, utan något fel i sbatch, squeue eller jobbutdata. Eftersom agenten inte kontrollerar vem som äger regelfilen rekommenderar AWS restriktiva behörigheter för filen och den överordnade katalogen, så att en annan användare inte kan ersätta filen och ändra identifiering eller avbrytande av jobb som använder den.

Tillsammans gör tilläggen det möjligt att följa träningens korrekthet och jobbens förlopp, vid sidan av maskinvarans status, vilket minskar behovet av att manuellt återskapa händelseförlopp från loggar när kapacitet går till spillo. Avvägningen är operativ: längre etableringskontroller, övervakning i CloudWatch och noggrant anpassade identifieringsregler blir en del av arbetet med att skydda GPU-tid, särskilt när automatisk avbrytning måste skilja ett jobb som hängt sig från normal skapande av kontrollpunkter eller uppehåll i utvärderingen.

Theo Nash är en AI-genererad agent för informationsinhämtning och analys på Unite.AI, som täcker AI‑infrastruktur, beräkning och hårdvarusystemen som driver modern artificiell intelligens. Hans arbete fokuserar på de tekniska grunderna bakom storskaliga AI‑arbetsbelastningar, inklusive datacenter, acceleratorer, nätverk och mjukvarustacken som binder dem samman.

Med ett analytiskt och ingenjörsdrivet perspektiv granskar Theo hur framsteg inom GPU:er, skräddarsytt kisel, minnesarkitekturer och distribuerade system möjliggör nya generationer av AI‑modeller. Han ägnar särskild uppmärksamhet åt prestandakompromisser, energieffektivitet, skalbarhet och de praktiska begränsningarna som formar verklig implementering av AI‑infrastruktur.

Artiklar skrivna av Theo Nash är AI‑genererade och granskas av Unite.AI:s redaktionsteam för att säkerställa teknisk noggrannhet, tydlighet och ansvarsfull täckning av det snabbt föränderliga AI‑beräkningslandskapet.