Моделі та платформи ШІ

AWS додає до HyperPod перевірку коректності навчання та виявлення завислих завдань

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиHyperPod тепер перевіряє, що графічні процесори фактично обчислюють правильні…
Показати більше
  • HyperPod тепер перевіряє, що графічні процесори фактично обчислюють правильні результати навчання, а не лише перевіряє справність обладнання.
  • Правило виявлення зависання протягом 15 хвилин скорочує марні витрати на зависле завдання з 32 екземплярами з приблизно 16 900 доларів до приблизно 530 доларів.
  • Виявлення зависання Slurm залишається вимкненим за замовчуванням, і відсутній файл правил залишає завдання без мовчазного моніторингу.

18 листопада 2026 року Amazon Web Services оголосила про три можливості для підвищення надійності Amazon SageMaker HyperPod. Вони виявляють числові помилки під час навчання, збої Kubernetes і зависання завдань Slurm, які можуть витрачати ресурси GPU, хоча окремі вузли й далі здаються справними.

HyperPod уже відстежує апаратні помилки, виконує поглиблену діагностику та перевіряє зв’язок між екземплярами, а також автоматично відновлює несправні вузли. Однак ці механізми не показують, чи правильно GPU обчислюють результати навчання, чи просувається виконання завдання та чи працюють служби Kubernetes, від яких воно залежить.

Приклад AWS демонструє можливі витрати: восьмигодинне зависання на 32 екземплярах ml.p5.48xlarge, що мають загалом 256 GPU NVIDIA H100, марнує 2 048 GPU-годин і коштує близько 16 900 доларів США за приблизною ціною HyperPod на вимогу — 66 доларів за екземпляр-годину в регіоні США — Схід (Північна Вірджинія). Правило виявлення із затримкою 15 хвилин знижує вартість такого сценарію приблизно до 530 доларів США: завдання скасовується, щоб Slurm міг повторно поставити його в чергу.

Перевірка коректності навчання

MultiNodeTrainingValidation розширює можливості поглибленої перевірки стану HyperPod для кластерів під керуванням Amazon Elastic Kubernetes Service (EKS), використовуючи підтримувані групи екземплярів NVIDIA GPU з Elastic Fabric Adapter (EFA). Тест Tiny Megatron запускає фіксоване навантаження Megatron-LM на всіх GPU кожного екземпляра, а тест Megatron виконує таке саме навантаження на екземплярах того самого типу через EFA. Екземпляр вважається несправним, якщо втрати під час навчання набувають значення «не число» (NaN) або нескінченності чи якщо запуск не завершується в межах установленого часу.

Перевірку можна запускати під час створення або оновлення групи екземплярів, а також за запитом для всієї групи чи вибраних екземплярів за допомогою StartClusterHealthCheck API. Результати відображаються в журналах CloudWatch і мітках вузлів. У разі збою екземпляр отримує відповідну мітку, а якщо ввімкнено автоматичне відновлення вузлів — його перезавантажують або замінюють. Під час підготовки ресурсів це відбувається до того, як клієнтські завдання зможуть використовувати їх.

У тесті AWS на двох екземплярах ml.p5.48xlarge дві перевірки навчання додали близько восьми хвилин до повного циклу поглибленої перевірки стану, який тривав 1 годину 28 хвилин. Екземпляри не можуть приймати завдання, доки перевірки не завершаться, тож додатковий час на підготовку ресурсів потрібно враховувати під час планування потужностей. Успішне виконання фіксованого навантаження підтверджує, що воно навчалося коректно, але не гарантує збіжності власного завдання клієнта з навчання моделі.

Пов’язування збоїв кластера із завданнями

Агент моніторингу ресурсів Kubernetes у HyperPod працює як один под у кожному кластері EKS і надає перевагу вузлам із CPU, щоб не використовувати ресурси GPU. Він відстежує стан вузлів і доступні для виділення пристрої GPU або EFA, критично важливі інфраструктурні поди, обов’язкові DaemonSets, а також завдання навчання HyperPodPyTorchJob і Kubeflow. Події Kubernetes типів Warning і Normal позначають збої та відновлення, а структуровані журнали CloudWatch у форматі JSON зберігають історію та пов’язують невдалі завдання з відповідними подами й вузлами.

Агент лише надсилає звіти — він не перезавантажує вузли й не перезапускає завдання. Усунення апаратних несправностей і далі забезпечують агент моніторингу стану та автоматичне відновлення вузлів, а оператор навчання HyperPod продовжує відповідати за перезапуск завдань.

Необов’язкова інтеграція NCCL потребує версії 2.24 або новішої. У реалізації AWS вона опитує RAS-слухач кожного задіяного пода щодо його надійності, доступності та зручності обслуговування кожні 30 секунд. На основі цих звітів формується загальний стан завдання: справний, погіршений або несправний. Щоб під’єднатися до слухача, його потрібно прив’язати до IP-адреси пода, відкривши порт TCP 28028 у мережі пода. AWS радить перед увімкненням моніторингу застосувати Kubernetes NetworkPolicy, яка обмежує доступ до порту агентом, водночас зберігаючи обмін трафіком між подами самого завдання.

Виявлення завдань Slurm, що припинили просуватися

Для роботи цієї можливості потрібен образ Amazon Machine Image для Slurm у HyperPod, випущений 10 листопада 2026 року або пізніше. За замовчуванням її вимкнено; для кожного завдання її можна ввімкнути за допомогою HYPERPOD_HANG_RULES змінної середовища, яка вказує на файл правил, доступний для читання за тим самим шляхом на кожному обчислювальному вузлі. Змінювати сценарій навчання чи контейнер не потрібно; функція працює з PyTorch, TensorFlow, JAX і спеціальними сценаріями.

За замовчуванням виявлення відстежує вивід завдання й активність GPU та шукає випадки, коли вивід припинився, поки GPU простоюють, але зберігають дані в пам’яті, або коли вивід не з’являється тривалий час незалежно від стану GPU. Користувацькі правила на основі регулярних виразів можуть замінити стандартне виявлення, вимагати періодичних повідомлень про поступ або негайно оголошувати зависання, якщо з’являється шаблон помилки. Кожен підхід має обмеження: стандартне виявлення може не помітити завдання, яке продовжує активно використовувати GPU, але не просувається, тоді як користувацькі правила не виявлять зависань, не описаних заданими шаблонами.

У разі виявлення створюється HANG_DETECTED подія в CloudWatch. Стандартна notify дія залишає завдання запущеним; cancel дає Slurm змогу повторно поставити його в чергу до MaxBatchRequeue ліміту кластера, хоча завдання, надіслані за допомогою --no-requeue залишаються скасованими. Це окремо від автоматичного відновлення: воно перезапускає завдання, завершені через апаратні збої, а не ті, що залишаються виділеними, але не просуваються.

Якщо файл правил відсутній або недійсний, створюється CONFIG_ERROR подію в CloudWatch і залишає завдання без моніторингу, без помилки в sbatch, squeue або у виводі завдання. Оскільки агент не перевіряє власника файла правил, AWS рекомендує встановити обмежувальні дозволи для файла та батьківського каталогу, щоб інший користувач не міг замінити файл і змінити виявлення зависань або скасування завдань, які його використовують.

Завдяки цим доповненням коректність навчання та перебіг завдань стають помітними поряд зі станом обладнання, що зменшує потребу вручну відновлювати послідовність подій за журналами, коли обчислювальні потужності марнуються. Водночас це створює додаткові операційні вимоги: триваліші перевірки під час підготовки ресурсів, моніторинг у CloudWatch і ретельно налаштовані правила виявлення стають необхідними для ефективного використання часу GPU, особливо коли автоматичне скасування має відрізняти зависання від звичайного створення контрольних точок або перерв між етапами оцінювання.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.