Модели и платформы ИИ
AWS добавляет управляемые расширения кластера в SageMaker HyperPod Slurm

Ключевые моментыРасширения кластера превращают программное обеспечение узла в декларируемое состояние…
Показать больше
- Расширения кластера превращают программное обеспечение узла в декларируемое состояние, которое HyperPod непрерывно проверяет и согласовывает.
- Администраторы могут обновлять настройки или версии расширений без замены узлов или повторного запуска скриптов жизненного цикла.
- Миграция существующих кластеров требует ручного удаления агентов, установленных скриптами, в течение окна обслуживания.
Amazon Web Services запустила управляемые расширения кластера для Amazon SageMaker HyperPod Slurm 20 ноября 2026 года. Они позволяют декларативно настраивать программное обеспечение на работающих узлах через API или консоль SageMaker AI. Первые два расширения предназначены для мониторинга и управления пользователями, в том числе для интеграции со службами каталогов.
Запуск решает задачу управления той частью общего кластера для обучения ИИ, которая меняется после его развертывания. В течение 2026 года в HyperPod уже появились настройка Slurm через API, конфигурация узлов на основе AMI, непрерывное развертывание, автоматическое управление топологией и углубленные проверки работоспособности. Эти функции позволяют управлять конфигурацией кластера, его емкостью, сетевой топологией и состоянием оборудования. Расширения кластера применяют тот же подход к программному обеспечению узлов, которое меняется по мере развития исследовательских групп, требований к мониторингу и версий пакетов.
Целевое состояние программного обеспечения узлов
Администраторы могут устанавливать, настраивать, обновлять и удалять пакеты под управлением AWS через консоль, AWS CLI или SDK. Перед развертыванием HyperPod проверяет настройки по схеме выбранной версии расширения и сохраняет запрошенную версию и настройки как целевое состояние. Затем агент узла применяет только компоненты, необходимые для роли этого узла, в том числе на узлах, добавленных при масштабировании или взамен выведенных из эксплуатации.
При обновлении передаются только изменяемые настройки. HyperPod объединяет их с сохраненной конфигурацией и перезапускает только затронутые компоненты, не заменяя узлы и не запуская повторно сценарии жизненного цикла. Новые версии расширений также можно устанавливать без обновления AMI. Перед развертыванием HyperPod проверяет сохраненные настройки по схеме новой версии, а обновление возможно только до более поздней версии.
Во время развертывания каждое расширение получает статус «Создание» или «Обновление»; статус «Активно» присваивается, когда на всех узлах работает запрошенная конфигурация и не зарегистрировано проблем, а статус «Деградация» — когда на узлах возникают сбои или регистрируются проблемы. DescribeClusterExtension группирует проблемы работоспособности на уровне узлов по причинам и указывает для каждой код, сообщение и количество затронутых узлов. HyperPod повторяет попытки после внутренних сбоев; администраторы могут устранить другие причины и повторить операцию на затронутых узлах, отправив запрос на обновление без изменений конфигурации.
Мониторинг и управление пользователями
Расширение sagemaker-observability собирает показатели узлов, GPU, Elastic Fabric Adapter, заданий Slurm и кластера Slurm и отправляет их в Amazon CloudWatch или Amazon Managed Service for Prometheus. Категории и уровни метрик, а также интервалы сбора можно настраивать. При этом на узлах работают только компоненты, соответствующие их роли: например, на узлах с GPU — средства экспорта данных DCGM и EFA, а на контроллере — метрики кластера Slurm.
Дополнительно можно подключить рабочую область Amazon Managed Grafana с заранее созданными панелями мониторинга «Кластеры» и «Задания». Они объединяют данные о состоянии кластера в целом и состоянии Slurm с метриками инфраструктуры на уровне отдельных узлов и использованием ресурсов конкретными заданиями, включая данные о процессоре, памяти, загрузке GPU, дисковых операциях ввода-вывода и NCCL.
Расширение sagemaker-user-management создает пользователей и группы Linux с одинаковыми идентификаторами на всех узлах, управляет доступом по SSH и использованием sudo без ввода пароля в зависимости от типа узла, а также регистрирует пользователей в системе учета Slurm. Учетные записи можно объявлять локально, получать из Active Directory по LDAPS или использовать оба способа, в том числе подключаться к AWS Directory Service for Microsoft Active Directory. Новые узлы и узлы на замену получают ту же конфигурацию, а администраторы могут проверять доступ через API, не входя на каждый узел.
Миграция, разрешения и стоимость
Для использования расширений кластера требуется кластер HyperPod Slurm с AMI HyperPod от 2 ноября 2026 года или новее и включенным непрерывным развертыванием. Поскольку расширения запускают программное обеспечение с правами root, AWS относит разрешения на их создание, обновление и удаление к правам администратора и не рекомендует предоставлять их роли выполнения кластера. При этом этой роли по-прежнему необходим доступ к местам назначения метрик и секретам Active Directory, а для управления пользователями требуется общая файловая система для домашних каталогов. Отдельные ARN расширений позволяют поручить управление разными расширениями командам платформы и мониторинга.
Существующие кластеры можно переносить по одной функции за раз, одновременно используя сценарии и расширения. Для этого необходимо обновить программное обеспечение кластера, отключить соответствующую функцию в сценариях жизненного цикла, вручную удалить установленные сценариями агенты во время окна обслуживания и создать расширение на очищенном кластере. У каждого компонента должен быть только один владелец: управление одним и тем же средством экспорта данных, пользователем или службой обоими способами может привести к конфликтам при установке или работе. Пользовательские AMI и сценарии жизненного цикла по-прежнему можно применять для программного обеспечения, специфичного для организации, а администраторы сохраняют доступ по SSH и возможность напрямую настраивать каждый узел, включая контроллер.
Оба расширения доступны во всех регионах, где поддерживается SageMaker HyperPod. Дополнительная плата за расширения кластера не взимается, однако клиенты оплачивают используемые базовые ресурсы, например CloudWatch, Amazon Managed Service for Prometheus и AWS Secrets Manager.
Для общих кластеров базовых моделей это означает, что общее программное обеспечение узлов становится явно заданной и постоянно проверяемой частью состояния кластера, а не набором сценариев подготовки. Удаление агентов, установленных с помощью сценариев, — единственный этап миграции всего парка узлов, который нужно выполнить вручную; после этого при масштабировании и замене узлов они наследуют те же настройки расширений, а инструменты, специфичные для организации, остаются под контролем команды кластера.












