Modely a platformy AI

AWS přidává do HyperPodu ověřování správnosti trénování a detekci zaseknutých úloh

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyHyperPod nyní ověřuje, že GPU skutečně počítají správné výsledky trénování, místo aby…
Zobrazit více
  • HyperPod nyní ověřuje, že GPU skutečně počítají správné výsledky trénování, místo aby pouze kontroloval stav hardwaru.
  • Pravidlo detekce zaseknutí za 15 minut snižuje plýtvání u zaseknuté úlohy s 32 instancemi z přibližně 16 900 USD na přibližně 530 USD.
  • Detekce zaseknutí ve Slurm je ve výchozím nastavení vypnutá a chybějící soubor pravidel ponechává úlohy bez upozornění nesledované.

Společnost Amazon Web Services oznámila 18. listopadu 2026 tři funkce zvyšující spolehlivost služby Amazon SageMaker HyperPod, které cílí na numerické chyby při trénování, selhání Kubernetes a uvázlé úlohy Slurm, jež mohou spotřebovávat kapacitu GPU, přestože jednotlivé uzly stále vypadají jako funkční.

HyperPod už monitoruje chyby hardwaru, provádí důkladné diagnostické kontroly a testuje komunikaci mezi instancemi; u vadných uzlů také automaticky zajišťuje obnovu. Tyto mechanismy ale neukazují, zda GPU počítají správné výsledky trénování, zda úloha stále postupuje ani zda fungují služby Kubernetes, na kterých závisí.

Příklad nákladů od AWS ukazuje, jaké ztráty mohou vzniknout: osmihodinové uváznutí na 32 instancích ml.p5.48xlarge, které představují 256 GPU NVIDIA H100, znamená ztrátu 2 048 hodin výpočtů na GPU a náklady přibližně 16 900 USD při orientační ceně HyperPodu na vyžádání 66 USD za instanci a hodinu v oblasti US East (N. Virginia). Pokud se problém odhalí do 15 minut, náklady v tomto scénáři klesnou přibližně na 530 USD: úloha se zruší a Slurm ji může znovu zařadit do fronty.

Ověřování správnosti trénování

MultiNodeTrainingValidation rozšiřuje důkladné kontroly stavu HyperPodu pro clustery spravované službou Amazon Elastic Kubernetes Service (EKS) a využívá podporované skupiny instancí s GPU NVIDIA a adaptérem Elastic Fabric Adapter (EFA). Test Tiny Megatron spouští pevně danou úlohu Megatron-LM na všech GPU v každé instanci, zatímco test Megatron spouští stejnou úlohu napříč instancemi stejného typu prostřednictvím EFA. Instance neprojde testem, pokud ztrátová funkce při trénování nabude hodnoty „not-a-number“ (NaN) nebo nekonečna, případně pokud běh neskončí ve stanoveném časovém limitu.

Kontrolu lze spustit při vytvoření nebo aktualizaci skupiny instancí, případně na vyžádání pro celou skupinu nebo vybrané instance prostřednictvím StartClusterHealthCheck rozhraní API. Výsledky se zobrazují v protokolech CloudWatch a ve štítcích uzlů. Pokud instance testem neprojde, označí se štítkem a při zapnuté automatické obnově uzlů se restartuje nebo nahradí; během zřizování k tomu dojde ještě předtím, než mohou zákaznické úlohy tuto kapacitu využít.

Při testu AWS na dvou instancích ml.p5.48xlarge přidaly obě kontroly trénování přibližně osm minut k celkovému běhu důkladné kontroly stavu, který trval 1 hodinu a 28 minut. Instance nemohou přijímat úlohy, dokud kontroly neskončí, takže delší doba zřizování musí být součástí plánování kapacity. Úspěšné dokončení pevně dané úlohy potvrzuje, že se trénovala správně, nezaručuje však, že konvergence dosáhne i vlastní trénovací úloha zákazníka.

Propojování selhání clusteru s úlohami

Agent HyperPod Kubernetes Resource Monitoring Agent běží jako jeden pod v každém clusteru EKS a přednostně využívá uzly s CPU, aby nespotřebovával kapacitu GPU. Sleduje stav uzlů a přidělitelná zařízení GPU nebo EFA, kritické pody infrastruktury, povinné objekty DaemonSets a trénovací úlohy HyperPodPyTorchJob a Kubeflow. Události Kubernetes typu Warning a Normal označují selhání a obnovení, zatímco strukturované protokoly JSON v CloudWatch uchovávají historii a propojují neúspěšné úlohy s jejich pody a uzly.

Agent pouze podává hlášení; nerestartuje uzly ani úlohy. Nápravu problémů s hardwarem nadále zajišťuje agent monitorující stav a automatická obnova uzlů, zatímco operátor HyperPod pro trénování nadále zpracovává restarty úloh.

Volitelná integrace NCCL vyžaduje verzi 2.24 nebo novější a v implementaci AWS každých 30 sekund zjišťuje stav posluchače reliability, availability and serviceability (RAS) v každém zapojeném podu. Tyto informace slučuje do stavu úlohy, který může být v pořádku, zhoršený nebo nevyhovující. Aby bylo možné posluchač kontaktovat, je nutné jej navázat na IP adresu podu, čímž se v síti podu zpřístupní port TCP 28028. AWS doporučuje před zapnutím monitorování použít Kubernetes NetworkPolicy, která omezí přístup k portu na agenta a zároveň zachová komunikaci mezi pody dané úlohy.

Detekce úloh Slurm, které přestaly postupovat

Funkce pro Slurm vyžaduje obraz Amazon Machine Image pro HyperPod Slurm vydaný 10. listopadu 2026 nebo později. Ve výchozím nastavení je vypnutá a pro každou úlohu se zapíná pomocí HYPERPOD_HANG_RULES proměnné prostředí, která odkazuje na soubor pravidel dostupný pod stejnou cestou na každém výpočetním uzlu. Není třeba měnit trénovací skript ani kontejner a funkce funguje s PyTorch, TensorFlow, JAX i vlastními skripty.

Výchozí detekce sleduje výstup úlohy a aktivitu GPU. Hledá situace, kdy se výstup zastaví, zatímco GPU jsou nečinná, ale stále využívají paměť, nebo kdy výstup po delší dobu ustane bez ohledu na stav GPU. Výchozí detekci lze nahradit vlastními pravidly založenými na regulárních výrazech, která mohou vyžadovat pravidelné zprávy o průběhu nebo okamžitě označit úlohu za uvázlou, jakmile se objeví chybový vzor. Každý přístup má svá slepá místa: výchozí detekce může přehlédnout úlohu, která vytěžuje GPU, ale nepostupuje, zatímco vlastní pravidla nezachytí uváznutí, která jejich vzory nepokrývají.

Detekce zapíše HANG_DETECTED událost do CloudWatch. Výchozí notify akce ponechá úlohu spuštěnou; cancel umožňuje Slurmu znovu zařadit úlohu do fronty až do MaxBatchRequeue limitu clusteru, ačkoli úlohy odeslané pomocí --no-requeue zůstávají zrušené. Tato funkce se liší od automatického obnovení, které restartuje úlohy ukončené po selhání hardwaru, nikoli úlohy, jež zůstávají přidělené, ale nepostupují.

Chybějící nebo neplatný soubor pravidel vyvolá CONFIG_ERROR událost v CloudWatch a ponechá úlohu bez monitorování, aniž by se chyba projevila v sbatch, squeue protokolech ani ve výstupu úlohy. Protože agent nekontroluje vlastnictví souboru s pravidly, AWS doporučuje nastavit přísná oprávnění k souboru i nadřazenému adresáři, aby jiný uživatel nemohl soubor nahradit a změnit detekci nebo rušení úloh, které jej používají.

Díky těmto novinkám lze sledovat správnost trénování a průběh úloh spolu se stavem hardwaru, což omezuje nutnost ručně rekonstruovat události z protokolů, když se kapacita nevyužívá. Nevýhodou je vyšší provozní náročnost: delší kontroly při zřizování, monitorování v CloudWatch a pečlivě vyladěná pravidla detekce se stávají součástí ochrany času GPU, zejména když automatické rušení musí rozlišit zaseknutou úlohu od běžného ukládání kontrolních bodů nebo přestávek ve vyhodnocování.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.