Modele și platforme AI
AWS adaugă la HyperPod validarea antrenării și detectarea lucrărilor blocate

Puncte cheieHyperPod verifică acum că GPU-urile calculează efectiv rezultate corecte de antrenare…
Vezi mai mult
- HyperPod verifică acum că GPU-urile calculează efectiv rezultate corecte de antrenare, nu doar că verifică sănătatea hardware-ului.
- O regulă de detectare a blocajelor de 15 minute reduce risipa unui job blocat cu 32 de instanțe de la aproximativ 16.900 $ la aproximativ 530 $.
- Detectarea blocajelor Slurm rămâne dezactivată implicit, iar un fișier de reguli lipsă lasă joburile nemonitorizate în tăcere.
Amazon Web Services a anunțat trei capabilități de fiabilitate pentru Amazon SageMaker HyperPod, pe 18 noiembrie 2026, care vizează erorile numerice de antrenare, defecțiunile Kubernetes și lucrările Slurm blocate, ce pot consuma capacitatea GPU chiar și atunci când nodurile individuale par să funcționeze normal.
HyperPod monitorizează deja erorile hardware, efectuează verificări aprofundate de diagnosticare și testează comunicarea dintre instanțe, cu recuperare automată pentru nodurile defecte. Aceste mecanisme nu arată dacă GPU-urile calculează corect rezultatele antrenării, dacă o lucrare continuă să progreseze sau dacă serviciile Kubernetes de care depinde funcționează.
Exemplul de cost oferit de AWS arată amploarea riscului: o blocare de opt ore pe 32 de instanțe ml.p5.48xlarge, care însumează 256 de GPU-uri NVIDIA H100, irosește 2.048 de ore GPU și costă aproximativ 16.900 USD, la prețul aproximativ la cerere al HyperPod de 66 USD per oră de instanță în US East (N. Virginia). O regulă de detectare după 15 minute reduce costul scenariului la aproximativ 530 USD, anulând lucrarea astfel încât Slurm să o poată pune din nou în coada de așteptare.
Testarea corectitudinii antrenării
MultiNodeTrainingValidation extinde verificările aprofundate ale stării de funcționare ale HyperPod pentru clustere orchestrate de Amazon Elastic Kubernetes Service (EKS), utilizând grupuri de instanțe GPU NVIDIA compatibile, echipate cu Elastic Fabric Adapter (EFA). Testul Tiny Megatron execută o sarcină de lucru Megatron-LM fixă pe toate GPU-urile fiecărei instanțe, în timp ce testul Megatron execută aceeași sarcină de lucru pe instanțe de același tip, prin EFA. O instanță este declarată nefuncțională dacă pierderea la antrenare devine NaN (nu este un număr) sau infinită ori dacă execuția nu se încheie în limita de timp stabilită.
Verificarea poate fi efectuată la crearea sau actualizarea unui grup de instanțe ori, la cerere, pentru un grup întreg sau pentru instanțe selectate, prin intermediul StartClusterHealthCheck API-ului. Rezultatele apar în jurnalele CloudWatch și în etichetele nodurilor. O defecțiune determină etichetarea instanței și, dacă recuperarea automată a nodurilor este activată, repornirea sau înlocuirea acesteia; în timpul furnizării, acest lucru are loc înainte ca lucrările clienților să poată utiliza capacitatea.
În testul AWS efectuat pe două instanțe ml.p5.48xlarge, cele două verificări de antrenare au adăugat aproximativ opt minute unei verificări complete și aprofundate a stării de funcționare, care a durat 1 oră și 28 de minute. Instanțele nu pot accepta sarcini de lucru până la finalizarea verificărilor, ceea ce face ca timpul suplimentar de furnizare să trebuiască luat în calcul la planificarea capacității. Faptul că sarcina de lucru fixă a fost executată corect confirmă acest lucru, dar nu garantează că propria lucrare de antrenare a unui client va converge.
Corelarea defecțiunilor clusterului cu lucrările
HyperPod Kubernetes Resource Monitoring Agent rulează ca un singur pod pentru fiecare cluster EKS și preferă nodurile CPU, pentru a nu consuma capacitatea GPU. Monitorizează starea nodurilor și dispozitivele GPU sau EFA disponibile, podurile esențiale pentru infrastructură, DaemonSet-urile necesare, precum și lucrările de antrenare HyperPodPyTorchJob și Kubeflow. Evenimentele Kubernetes Warning și Normal semnalează defecțiunile și recuperarea, iar jurnalele CloudWatch în format JSON structurat păstrează istoricul și asociază lucrările eșuate cu podurile și nodurile acestora.
Agentul doar raportează; nu repornește nodurile și nu repornește lucrările. Remedierea problemelor hardware rămâne în sarcina agentului de monitorizare a stării de funcționare și a recuperării automate a nodurilor, în timp ce operatorul de antrenare HyperPod continuă să gestioneze repornirea lucrărilor.
Integrarea opțională NCCL necesită versiunea 2.24 sau una ulterioară și, în implementarea AWS, interoghează la fiecare 30 de secunde listenerul de fiabilitate, disponibilitate și ușurință a întreținerii (RAS) al fiecărui pod participant. Aceste rapoarte sunt combinate într-o stare la nivelul lucrării: normală, degradată sau nefuncțională. Pentru a accesa listenerul, acesta trebuie asociat cu adresa IP a podului, ceea ce expune portul TCP 28028 în rețeaua podului. AWS recomandă aplicarea unei politici Kubernetes NetworkPolicy care limitează accesul la port la agent, păstrând totodată traficul între podurile proprii ale lucrării, înainte de activarea monitorizării.
Detectarea lucrărilor Slurm care nu mai progresează
Capabilitatea Slurm necesită o imagine Amazon Machine Image HyperPod Slurm lansată la 10 noiembrie 2026 sau ulterior. Este dezactivată în mod implicit și se activează pentru fiecare lucrare cu ajutorul HYPERPOD_HANG_RULES variabilei de mediu, care indică un fișier de reguli ce poate fi citit de pe aceeași cale pe fiecare nod de calcul. Nu sunt necesare modificări ale scriptului de antrenare sau ale containerului, iar funcționalitatea este compatibilă cu PyTorch, TensorFlow, JAX și scripturi personalizate.
Detectarea implicită monitorizează rezultatele lucrării și activitatea GPU, căutând fie oprirea afișării rezultatelor în timp ce GPU-urile sunt inactive, dar păstrează memoria ocupată, fie o perioadă mai lungă fără rezultate, indiferent de starea GPU-urilor. Regulile personalizate bazate pe expresii regulate pot înlocui detectarea implicită, pot impune mesaje periodice de progres sau pot declara imediat o blocare atunci când apare un tipar de eroare. Fiecare abordare are puncte slabe: detectarea implicită poate să nu identifice o lucrare care menține GPU-urile ocupate fără să progreseze, în timp ce regulile personalizate nu detectează blocările pe care tiparele lor nu le descriu.
Detectarea înregistrează un HANG_DETECTED eveniment în CloudWatch. Acțiunea implicită notify lasă lucrarea în execuție; cancel îi permite lui Slurm să o pună din nou în coada de așteptare, până la limita clusterului MaxBatchRequeue limită, deși lucrările trimise cu --no-requeue rămân anulate. Acest mecanism este separat de reluarea automată, care repornește lucrările ce se încheie în urma unor defecțiuni hardware, nu pe cele care rămân alocate fără să progreseze.
Un fișier de reguli absent sau nevalid generează un/o CONFIG_ERROR eveniment în CloudWatch și lasă sarcina nesupravegheată, fără să apară o eroare în sbatch, squeue sau în rezultatul sarcinii. Deoarece agentul nu verifică proprietarul fișierului de reguli, AWS recomandă permisiuni restrictive pentru fișier și directorul părinte, astfel încât un alt utilizator să nu poată înlocui fișierul și să modifice detectarea blocajelor sau anularea sarcinilor care îl folosesc.
Împreună, aceste completări fac vizibile corectitudinea antrenării și progresul sarcinilor, alături de starea de sănătate a hardware-ului, reducând nevoia de a reconstitui manual jurnalele atunci când capacitatea este irosită. Compromisul este unul operațional: verificările mai îndelungate la alocarea resurselor, monitorizarea în CloudWatch și regulile de detectare reglate cu atenție devin parte a protejării timpului de utilizare a GPU-urilor, mai ales când anularea automată trebuie să distingă un blocaj de procese normale de salvare a punctelor de control sau de perioadele fără evaluare.












