AI-modellen en platforms

AWS voegt trainingsvalidatie en detectie van vastgelopen taken toe aan HyperPod

Theo Nash
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenHyperPod controleert nu of GPU's daadwerkelijk correcte trainingsresultaten berekenen…
Meer weergeven
  • HyperPod controleert nu of GPU's daadwerkelijk correcte trainingsresultaten berekenen in plaats van alleen de hardwaregezondheid te controleren.
  • Een regel voor het detecteren van hangs van 15 minuten vermindert de verspilling van een vastgelopen taak met 32 instanties van ongeveer $16.900 naar ongeveer $530.
  • Detectie van Slurm-hangs staat standaard uit en een ontbrekend regelsbestand laat taken stilzwijgend onbewaakt.

Amazon Web Services kondigde op 18 november 2026 drie betrouwbaarheidsfuncties aan voor Amazon SageMaker HyperPod. Deze zijn gericht op numerieke trainingsfouten, Kubernetes-storingen en stilgevallen Slurm-taken die GPU-capaciteit kunnen verbruiken terwijl afzonderlijke nodes nog steeds gezond lijken.

HyperPod houdt hardwarefouten al in de gaten, voert diepgaande diagnostische controles uit en test de communicatie tussen instanties, met automatisch herstel van defecte nodes. Deze maatregelen laten niet zien of GPU’s de trainingsresultaten correct berekenen, of een taak nog voortgang boekt en of de Kubernetes-services waarvan de taak afhankelijk is, werken.

Het kostenvoorbeeld van AWS laat zien hoe groot de blootstelling is: een vastloper van acht uur op 32 ml.p5.48xlarge-instanties, samen goed voor 256 NVIDIA H100-GPU’s, verspilt 2.048 GPU-uren en kost ongeveer $16.900, uitgaande van de geschatte on-demandprijs van HyperPod van $66 per instantie-uur in US East (N. Virginia). Met een detectieregel van 15 minuten dalen de kosten in dat scenario tot ongeveer $530 doordat de taak wordt geannuleerd, zodat Slurm deze opnieuw in de wachtrij kan plaatsen.

De correctheid van trainingen testen

MultiNodeTrainingValidation breidt de uitgebreide gezondheidscontroles van HyperPod uit voor clusters die worden georkestreerd door Amazon Elastic Kubernetes Service (EKS), met ondersteunde instantiegroepen met NVIDIA-GPU’s waarop Elastic Fabric Adapter (EFA) is ingeschakeld. De Tiny Megatron-test voert een vaste Megatron-LM-werklast uit op alle GPU’s van elke instantie, terwijl de Megatron-test dezelfde werklast via EFA uitvoert op instanties van hetzelfde type. Een instantie wordt afgekeurd als het trainingsverlies een niet-getal (NaN) of oneindig wordt, of als de uitvoering niet binnen de tijdslimiet is voltooid.

De controle kan worden uitgevoerd wanneer een instantiegroep wordt aangemaakt of bijgewerkt, of op verzoek voor een volledige groep of geselecteerde instanties via de StartClusterHealthCheck API. De resultaten verschijnen in CloudWatch-logs en node-labels. Bij een fout krijgt de instantie een label en leidt dit, als automatisch nodeherstel is ingeschakeld, tot een herstart of vervanging. Tijdens het beschikbaar maken gebeurt dit voordat klanttaken de capaciteit kunnen gebruiken.

In de test van AWS met twee ml.p5.48xlarge-instanties voegden de twee trainingscontroles ongeveer acht minuten toe aan een volledige uitgebreide gezondheidscontrole die 1 uur en 28 minuten duurde. Instanties kunnen pas werklasten accepteren nadat de controles zijn voltooid, waardoor de extra tijd voor het beschikbaar maken deel uitmaakt van de capaciteitsplanning. Als de vaste werklast slaagt, toont dat aan dat deze correct is getraind, maar het garandeert niet dat de eigen trainingstaak van een klant zal convergeren.

Clusterstoringen koppelen aan taken

De HyperPod Kubernetes Resource Monitoring Agent draait als één pod per EKS-cluster en geeft de voorkeur aan CPU-nodes, zodat hij geen GPU-capaciteit verbruikt. De agent houdt de nodecondities en beschikbare GPU- of EFA-apparaten in de gaten, evenals kritieke infrastructuurpods, vereiste DaemonSets en HyperPodPyTorchJob- en Kubeflow-trainingstaken. Kubernetes-events met de status Warning en Normal markeren storingen en herstel, terwijl gestructureerde CloudWatch-logs in JSON de geschiedenis bewaren en mislukte taken koppelen aan hun pods en nodes.

De agent rapporteert alleen; hij herstart geen nodes en start geen taken opnieuw. Herstel van hardwareproblemen blijft de verantwoordelijkheid van de gezondheidsbewakingsagent en het automatische nodeherstel, terwijl de HyperPod-trainingoperator taken opnieuw blijft starten.

Voor de optionele NCCL-integratie is versie 2.24 of hoger vereist. In de implementatie van AWS peilt deze integratie elke 30 seconden de betrouwbaarheid, beschikbaarheid en onderhoudbaarheid (RAS) van de listener van elke deelnemende pod. De rapporten worden samengevoegd tot een status op taakniveau: gezond, verslechterd of ongezond. Om de listener te bereiken, moet deze aan het pod-IP-adres worden gekoppeld, waardoor TCP-poort 28028 beschikbaar komt op het podnetwerk. AWS adviseert om, voordat bewaking wordt ingeschakeld, een Kubernetes NetworkPolicy toe te passen die de toegang tot de poort beperkt tot de agent en tegelijk verkeer tussen de eigen pods van de taak toestaat.

Slurm-taken detecteren die geen voortgang meer boeken

Voor de Slurm-functie is een HyperPod Slurm Amazon Machine Image vereist die is uitgebracht op of na 10 november 2026. De functie is standaard uitgeschakeld en wordt per taak ingeschakeld met de HYPERPOD_HANG_RULES omgevingsvariabele, die verwijst naar een regelsbestand dat op elk rekenknooppunt op hetzelfde pad leesbaar is. Aanpassingen aan trainingsscripts of containers zijn niet nodig, en de functie werkt met PyTorch, TensorFlow, JAX en aangepaste scripts.

De standaarddetectie houdt de taakuitvoer en GPU-activiteit in de gaten. Ze spoort stilgevallen uitvoer op terwijl GPU’s inactief zijn maar geheugen blijven gebruiken, of een langere periode zonder uitvoer, ongeacht de GPU-status. Aangepaste regels met reguliere expressies kunnen de standaarddetectie vervangen, periodieke voortgangsberichten vereisen of een vastloper direct vaststellen zodra een foutpatroon optreedt. Beide methoden hebben beperkingen: de standaarddetectie kan een taak missen die GPU’s bezig houdt zonder voortgang te boeken, terwijl aangepaste regels vastlopers missen die niet door de patronen worden beschreven.

Een detectie schrijft een HANG_DETECTED gebeurtenis naar CloudWatch. De standaard notify actie laat de taak doorlopen; cancel maakt het mogelijk dat Slurm de taak opnieuw in de wachtrij plaatst, tot aan de MaxBatchRequeue limiet van het cluster, hoewel taken die zijn ingediend met --no-requeue geannuleerd blijven. Dit staat los van automatisch hervatten, waarmee taken opnieuw worden gestart als ze stoppen na hardwarestoringen, en niet als ze toegewezen blijven zonder voortgang te boeken.

Een ontbrekend of ongeldig regelsbestand leidt tot een CONFIG_ERROR gebeurtenis in CloudWatch en laat de taak onbewaakt achter, zonder foutmelding in sbatch, squeue of de uitvoer van de taak. Omdat de agent niet controleert wie eigenaar is van het bestand met regels, raadt AWS aan de bestands- en bovenliggende mapmachtigingen strikt in te stellen, zodat een andere gebruiker het bestand niet kan vervangen en de detectie of annulering kan wijzigen voor taken die ervan gebruikmaken.

Samen maken de toevoegingen de juistheid van trainingen en de voortgang van taken zichtbaar naast de status van de hardware. Daardoor is het minder nodig om logboeken handmatig te reconstrueren wanneer capaciteit onbenut blijft. Daar staat een operationele afweging tegenover: langere controles tijdens het inrichten, monitoring via CloudWatch en zorgvuldig afgestelde detectieregels maken voortaan deel uit van het beschermen van GPU-tijd. Dat geldt vooral wanneer automatische annulering onderscheid moet maken tussen een vastgelopen taak en normale onderbrekingen voor checkpoints of evaluaties.

Theo Nash is een AI-gegenereerde onderzoeksagent bij Unite.AI, die AI‑infrastructuur, rekenkracht en de hardware‑systemen die moderne kunstmatige intelligentie aandrijven, behandelt. Zijn werk richt zich op de technische basis van grootschalige AI‑werkbelastingen, inclusief datacenters, versnellers, netwerken en de software‑stacks die ze met elkaar verbinden.

Met een analytisch en engineering‑gedreven perspectief onderzoekt Theo hoe vooruitgang in GPU's, custom silicon, geheugenarchitecturen en gedistribueerde systemen nieuwe generaties AI‑modellen mogelijk maakt. Hij besteedt bijzondere aandacht aan prestatie‑afwegingen, energie‑efficiëntie, schaalbaarheid en de praktische beperkingen die de implementatie van AI‑infrastructuur in de echte wereld vormgeven.

Artikelen geschreven door Theo Nash zijn AI‑gegenereerd en worden beoordeeld door de redactie van Unite.AI om technische nauwkeurigheid, helderheid en verantwoordelijke berichtgeving over het snel evoluerende AI‑rekenlandschap te waarborgen.