Modele i platformy AI

AWS dodaje do HyperPod weryfikację poprawności treningu i wykrywanie zablokowanych zadań

Theo Nash
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyHyperPod weryfikuje teraz, czy procesory GPU faktycznie obliczają poprawne wyniki…
Zobacz więcej
  • HyperPod weryfikuje teraz, czy procesory GPU faktycznie obliczają poprawne wyniki treningu, zamiast jedynie sprawdzać stan sprzętu.
  • Reguła wykrywania zawieszenia trwającego 15 minut zmniejsza marnotrawstwo zatrzymanego zadania na 32 instancjach z około 16 900 dolarów do około 530 dolarów.
  • Wykrywanie zawieszenia w Slurm jest domyślnie wyłączone, a brak pliku reguł pozostawia zadania bez monitorowania w sposób cichy.

Amazon Web Services ogłosiło 18 listopada 2026 r. trzy funkcje zwiększające niezawodność Amazon SageMaker HyperPod, które mają wykrywać błędy numeryczne podczas treningu, awarie Kubernetes oraz zablokowane zadania Slurm, mogące zużywać zasoby GPU, mimo że poszczególne węzły nadal wydają się sprawne.

HyperPod już monitoruje błędy sprzętu, przeprowadza szczegółowe kontrole diagnostyczne i sprawdza komunikację między instancjami, a w przypadku wadliwych węzłów automatycznie przywraca ich działanie. Te mechanizmy nie pokazują jednak, czy procesory GPU obliczają prawidłowe wyniki treningu, czy zadanie nadal postępuje ani czy działają usługi Kubernetes, od których ono zależy.

Przykład kosztów podany przez AWS pokazuje skalę ryzyka: ośmiogodzinne zawieszenie działania 32 instancji ml.p5.48xlarge, wyposażonych łącznie w 256 procesorów NVIDIA H100, oznacza stratę 2048 godzin pracy GPU i koszt około 16 900 USD przy przybliżonej cenie HyperPod na żądanie wynoszącej 66 USD za godzinę pracy instancji w regionie US East (N. Virginia). Reguła wykrywająca problem po 15 minutach obniża koszt w tym scenariuszu do około 530 USD, ponieważ anuluje zadanie, umożliwiając Slurm ponowne umieszczenie go w kolejce.

Testowanie poprawności treningu

MultiNodeTrainingValidation rozszerza szczegółowe kontrole stanu HyperPod dla klastrów zarządzanych przez Amazon Elastic Kubernetes Service (EKS), wykorzystując obsługiwane grupy instancji GPU NVIDIA z włączonym Elastic Fabric Adapter (EFA). Test Tiny Megatron uruchamia na wszystkich procesorach GPU każdej instancji stałe obciążenie Megatron-LM, natomiast test Megatron uruchamia to samo obciążenie na instancjach tego samego typu, komunikujących się przez EFA. Instancja zostaje uznana za niesprawną, jeśli strata treningowa przyjmie wartość nieliczbową (NaN) lub nieskończoną albo jeśli test nie zakończy się w wyznaczonym czasie.

Kontrolę można uruchomić podczas tworzenia lub aktualizowania grupy instancji, a także na żądanie dla całej grupy lub wybranych instancji za pośrednictwem StartClusterHealthCheck API. Wyniki są widoczne w logach CloudWatch i etykietach węzłów. W przypadku niepowodzenia instancja otrzymuje odpowiednią etykietę, a jeśli włączono automatyczne przywracanie węzłów, zostaje ponownie uruchomiona lub zastąpiona. Podczas udostępniania zasobów dzieje się to, zanim zadania klientów będą mogły z nich korzystać.

W teście AWS przeprowadzonym na dwóch instancjach ml.p5.48xlarge obie kontrole treningu wydłużyły pełne sprawdzenie stanu o około osiem minut; całe sprawdzenie trwało 1 godzinę i 28 minut. Instancje nie mogą przyjmować obciążeń przed zakończeniem kontroli, dlatego dodatkowy czas udostępniania zasobów należy uwzględnić w planowaniu pojemności. Pomyślne wykonanie stałego obciążenia potwierdza, że trening przebiegł prawidłowo, ale nie gwarantuje, że własne zadanie treningowe klienta osiągnie zbieżność.

Powiązanie awarii klastra z zadaniami

HyperPod Kubernetes Resource Monitoring Agent działa jako jeden pod na klaster EKS i preferuje węzły CPU, aby nie zużywać zasobów GPU. Monitoruje stan węzłów i dostępne do przydzielenia urządzenia GPU lub EFA, krytyczne pody infrastruktury, wymagane obiekty DaemonSets, a także zadania treningowe HyperPodPyTorchJob i Kubeflow. Zdarzenia Kubernetes typu Warning i Normal sygnalizują awarie i przywrócenie działania, natomiast ustrukturyzowane logi JSON w CloudWatch przechowują historię i łączą nieudane zadania z ich podami oraz węzłami.

Agent jedynie raportuje zdarzenia — nie uruchamia ponownie węzłów ani zadań. Naprawą problemów sprzętowych nadal zajmują się agent monitorujący stan i funkcja automatycznego przywracania węzłów, a operator treningowy HyperPod nadal obsługuje ponowne uruchamianie zadań.

Opcjonalna integracja NCCL wymaga wersji 2.24 lub nowszej. W implementacji AWS co 30 sekund odpytuje nasłuchujący moduł RAS (niezawodność, dostępność i serwisowalność) każdego uczestniczącego poda. Na podstawie tych raportów określa stan zadania na poziomie całego procesu: prawidłowy, pogorszony lub nieprawidłowy. Aby uzyskać dostęp do nasłuchującego modułu, trzeba powiązać go z adresem IP poda, co udostępnia port TCP 28028 w sieci podów. AWS zaleca przed włączeniem monitorowania zastosować Kubernetes NetworkPolicy, która ogranicza dostęp do portu do agenta, a jednocześnie pozwala na ruch między podami należącymi do tego samego zadania.

Wykrywanie zadań Slurm, które przestają postępować

Funkcja dla Slurm wymaga obrazu Amazon Machine Image HyperPod Slurm wydanego 10 listopada 2026 r. lub później. Domyślnie jest wyłączona; włącza się ją dla poszczególnych zadań za pomocą HYPERPOD_HANG_RULES zmiennej środowiskowej wskazującej plik reguł, który musi być dostępny pod tą samą ścieżką na każdym węźle obliczeniowym. Nie trzeba zmieniać skryptu treningowego ani kontenera, a funkcja działa z PyTorch, TensorFlow, JAX i skryptami niestandardowymi.

Domyślne wykrywanie monitoruje dane wyjściowe zadania i aktywność procesorów GPU, szukając przerwania generowania danych wyjściowych, gdy procesory GPU są bezczynne, ale nadal zajmują pamięć, albo dłuższej przerwy w generowaniu danych wyjściowych, niezależnie od stanu procesorów GPU. Niestandardowe reguły oparte na wyrażeniach regularnych mogą zastąpić domyślne wykrywanie, wymagać okresowych komunikatów o postępach lub natychmiast oznaczyć zadanie jako zawieszone po wykryciu wzorca błędu. Każde z tych podejść ma swoje ograniczenia: domyślne wykrywanie może nie wykryć zadania, które nadal obciąża procesory GPU, ale nie robi postępów, natomiast niestandardowe reguły nie wykryją zawieszeń, których nie opisują użyte wzorce.

Wykrycie zapisuje HANG_DETECTED zdarzenie w CloudWatch. Domyślna notify akcja pozostawia zadanie uruchomione; cancel umożliwia Slurm ponowne umieszczenie go w kolejce, maksymalnie do MaxBatchRequeue limitu klastra, choć zadania przesłane z --no-requeue pozostają anulowane. To rozwiązanie jest niezależne od automatycznego wznawiania, które ponownie uruchamia zadania zakończone po awarii sprzętu, a nie zadania, które nadal są przydzielone, ale nie robią postępów.

Brakujący lub nieprawidłowy plik reguł powoduje CONFIG_ERROR zdarzenie w CloudWatch i pozostawia zadanie bez monitorowania, bez błędu w sbatch, squeue ani w danych wyjściowych zadania. Ponieważ agent nie sprawdza, kto jest właścicielem pliku z regułami, AWS zaleca ustawienie restrykcyjnych uprawnień do pliku i jego katalogu nadrzędnego, aby inny użytkownik nie mógł podmienić pliku i zmienić sposobu wykrywania problemów lub anulowania zadań, które z niego korzystają.

Te dodatki sprawiają, że poprawność procesu trenowania i postępy zadań są widoczne obok stanu sprzętu, ograniczając konieczność ręcznego odtwarzania przebiegu zdarzeń na podstawie dzienników, gdy zasoby są marnowane. Wiąże się to jednak z kosztami operacyjnymi: dłuższe kontrole podczas przydzielania zasobów, monitorowanie w CloudWatch i starannie dostrojone reguły wykrywania stają się częścią ochrony czasu GPU, zwłaszcza gdy automatyczne anulowanie musi odróżniać zawieszenie od zwykłych przerw na zapisywanie punktów kontrolnych lub ewaluację.

Theo Nash jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się infrastrukturą AI, obliczeniami oraz systemami sprzętowymi napędzającymi współczesną sztuczną inteligencję. Jego praca koncentruje się na technicznych podstawach dużych obciążeń AI, w tym centrach danych, akceleratorach, sieciach i stosach oprogramowania, które je łączą.

Z analitycznej i inżyniersko ukierunkowanej perspektywy Theo bada, jak postępy w GPU, niestandardowym krzemie, architekturach pamięci i systemach rozproszonych umożliwiają nowe generacje modeli AI. Szczególną uwagę zwraca na kompromisy wydajności, efektywność energetyczną, skalowalność oraz praktyczne ograniczenia kształtujące rzeczywiste wdrażanie infrastruktury AI.

Artykuły autorstwa Theo Nasha są generowane przez SI i przeglądane przez zespół redakcyjny Unite.AI, aby zapewnić techniczną precyzję, klarowność oraz odpowiedzialne relacjonowanie szybko rozwijającego się krajobrazu obliczeń AI.