Модели и платформы ИИ

AWS добавила в HyperPod проверку корректности обучения и обнаружение зависших заданий

Theo Nash
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыHyperPod теперь проверяет, что графические процессоры действительно вычисляют…
Показать больше
  • HyperPod теперь проверяет, что графические процессоры действительно вычисляют корректные результаты обучения, а не только проверяет состояние оборудования.
  • Правило обнаружения зависаний длительностью 15 минут сокращает потери от остановленной задачи на 32 экземплярах примерно с 16 900 долларов до примерно 530 долларов.
  • Обнаружение зависаний Slurm по умолчанию отключено, и при отсутствии файла правил задачи остаются без мониторинга незаметно.

18 ноября 2026 года Amazon Web Services объявила о трех возможностях повышения надежности Amazon SageMaker HyperPod. Они предназначены для выявления числовых ошибок в процессе обучения, сбоев Kubernetes и зависших заданий Slurm, которые могут расходовать ресурсы GPU, даже когда отдельные узлы выглядят исправными.

HyperPod уже отслеживает аппаратные ошибки, выполняет углубленные проверки состояния и тестирует связь между экземплярами, а также автоматически восстанавливает неисправные узлы. Однако эти механизмы не позволяют определить, вычисляют ли GPU корректные результаты обучения, продолжается ли выполнение задания и работают ли службы Kubernetes, от которых оно зависит.

Пример AWS показывает масштаб возможных затрат: зависание на восемь часов на 32 экземплярах ml.p5.48xlarge, оснащенных в общей сложности 256 GPU NVIDIA H100, приводит к потере 2 048 GPU-часов и обходится примерно в 16 900 долларов при ориентировочной цене HyperPod по запросу — 66 долларов за экземпляр-час в регионе Восток США (Северная Вирджиния). Если настроить обнаружение зависания через 15 минут, затраты в этом сценарии снизятся примерно до 530 долларов: задание будет отменено, чтобы Slurm мог повторно поставить его в очередь.

Проверка корректности обучения

MultiNodeTrainingValidation расширяет возможности углубленной проверки состояния HyperPod для кластеров под управлением Amazon Elastic Kubernetes Service (EKS) и использует поддерживаемые группы экземпляров NVIDIA GPU с Elastic Fabric Adapter (EFA). В тесте Tiny Megatron на всех GPU каждого экземпляра запускается фиксированная рабочая нагрузка Megatron-LM, а в тесте Megatron та же нагрузка выполняется на экземплярах одного типа с использованием EFA. Экземпляр считается неисправным, если значение функции потерь при обучении становится неопределенным (NaN) или бесконечным либо если запуск не завершается за отведенное время.

Проверку можно запускать при создании или обновлении группы экземпляров, а также по запросу — для всей группы или выбранных экземпляров — через StartClusterHealthCheck API. Результаты отображаются в журналах CloudWatch и метках узлов. При сбое экземпляру присваивается соответствующая метка, а если включено автоматическое восстановление узлов, он перезагружается или заменяется. Во время подготовки ресурсов это происходит до того, как клиентские задания смогут использовать вычислительные мощности.

В тестировании AWS на двух экземплярах ml.p5.48xlarge две проверки обучения добавили около восьми минут к полному циклу углубленной проверки состояния, который занял 1 час 28 минут. Экземпляры не могут принимать рабочие нагрузки, пока проверки не завершатся, поэтому дополнительное время подготовки ресурсов необходимо учитывать при планировании вычислительных мощностей. Успешное выполнение фиксированной рабочей нагрузки подтверждает, что обучение прошло корректно, но не гарантирует, что собственное задание клиента сойдется.

Связь сбоев кластера с заданиями

Агент HyperPod Kubernetes Resource Monitoring Agent запускается в виде одного пода на кластер EKS и предпочитает узлы с CPU, чтобы не расходовать ресурсы GPU. Он отслеживает состояние узлов и доступные для выделения устройства GPU или EFA, критически важные инфраструктурные поды, обязательные DaemonSets, а также задания обучения HyperPodPyTorchJob и Kubeflow. События Kubernetes Warning и Normal фиксируют сбои и восстановление, а структурированные журналы CloudWatch в формате JSON сохраняют историю и связывают неудачно завершившиеся задания с их подами и узлами.

Агент только передает данные и не перезагружает узлы и не перезапускает задания. Устранением аппаратных проблем по-прежнему занимаются агент мониторинга состояния и механизм автоматического восстановления узлов, а оператор обучения HyperPod продолжает отвечать за перезапуск заданий.

Для необязательной интеграции NCCL требуется версия 2.24 или более поздняя. В реализации AWS она опрашивает каждые 30 секунд прослушиватель надежности, доступности и удобства обслуживания (RAS) каждого участвующего пода. На основе этих данных определяется состояние задания: исправное, ухудшенное или неисправное. Чтобы обращаться к прослушивателю, необходимо привязать его к IP-адресу пода, открыв порт TCP 28028 в сети подов. AWS рекомендует до включения мониторинга настроить Kubernetes NetworkPolicy, ограничивающую доступ к порту агентом и при этом сохраняющую обмен трафиком между подами самого задания.

Обнаружение остановившихся заданий Slurm

Для работы этой возможности требуется образ Amazon Machine Image для HyperPod Slurm, выпущенный 10 ноября 2026 года или позднее. По умолчанию она отключена; ее можно включить для каждого задания с помощью HYPERPOD_HANG_RULES переменной среды, которая указывает на файл правил, доступный по одному и тому же пути на каждом вычислительном узле. Изменять скрипт обучения или контейнер не требуется; функция поддерживает PyTorch, TensorFlow, JAX и пользовательские скрипты.

По умолчанию система отслеживает вывод задания и активность GPU. Она обнаруживает остановку вывода, когда GPU простаивают, но память остается занятой, а также длительное отсутствие вывода независимо от состояния GPU. Вместо обнаружения по умолчанию можно задать собственные правила на основе регулярных выражений, требовать периодических сообщений о ходе работы или сразу объявлять о зависании при появлении шаблона ошибки. У каждого подхода есть ограничения: обнаружение по умолчанию может пропустить задание, которое продолжает загружать GPU, но не продвигается, а пользовательские правила не выявят зависания, не описанные заданными шаблонами.

При обнаружении зависания записывается HANG_DETECTED событие в CloudWatch. Действие по умолчанию notify оставляет задание выполняться; cancel позволяет Slurm повторно поставить его в очередь в пределах установленного для кластера MaxBatchRequeue ограничения, однако задания, отправленные с помощью --no-requeue остаются отмененными. Это не то же самое, что автоматическое возобновление: оно перезапускает задания, завершившиеся из-за аппаратных сбоев, а не задания, которые продолжают занимать ресурсы, не продвигаясь вперед.

Отсутствующий или некорректный файл правил приводит к появлению CONFIG_ERROR событие в CloudWatch и оставляет задание без мониторинга, не сообщая об ошибке в sbatch, squeue или выходных данных задания. Поскольку агент не проверяет владельца файла правил, AWS рекомендует строго ограничить права доступа к файлу и родительскому каталогу, чтобы другой пользователь не мог подменить файл и изменить обнаружение зависаний или отмену заданий, которые его используют.

В совокупности эти нововведения позволяют отслеживать корректность обучения и ход выполнения заданий наряду с состоянием оборудования, снижая необходимость вручную восстанавливать картину по журналам, когда вычислительные ресурсы простаивают впустую. Компромисс носит операционный характер: более длительные проверки при подготовке ресурсов, мониторинг в CloudWatch и тщательно настроенные правила обнаружения становятся частью мер по защите времени работы GPU, особенно когда при автоматической отмене нужно отличать зависание от обычного сохранения контрольных точек или пауз между этапами оценки.

Theo Nash — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий инфраструктуру ИИ, вычисления и аппаратные системы, которые обеспечивают работу современных искусственных интеллектов. Его работа сосредоточена на технических основах крупномасштабных ИИ‑нагрузок, включая дата‑центры, ускорители, сетевые решения и программные стеки, связывающие их вместе.

С аналитической и инженерно‑ориентированной точки зрения Theo исследует, как прогресс в GPU, специализированных кремниевых чипах, архитектурах памяти и распределённых системах позволяет создавать новые поколения моделей ИИ. Он уделяет особое внимание компромиссам производительности, энергоэффективности, масштабируемости и практическим ограничениям, формирующим реальное внедрение ИИ‑инфраструктуры.

Статьи, написанные Theo Nash, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить техническую точность, ясность и ответственное освещение быстро развивающегося ландшафта вычислений ИИ.