Моделі та платформи ШІ

AWS додає керовані розширення кластерів до SageMaker HyperPod Slurm

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиРозширення кластера перетворюють програмне забезпечення вузла на декларований стан…
Показати більше
  • Розширення кластера перетворюють програмне забезпечення вузла на декларований стан, який HyperPod безперервно перевіряє та узгоджує.
  • Адміністратори можуть оновлювати налаштування або версії розширень без заміни вузлів чи повторного запуску скриптів життєвого циклу.
  • Міграція наявних кластерів вимагає ручного видалення агентів, встановлених скриптами, під час вікна обслуговування.

Amazon Web Services 20 листопада 2026 року запустила керовані розширення кластерів для Amazon SageMaker HyperPod Slurm, які дають змогу декларативно налаштовувати програмне забезпечення на запущених вузлах через API або консоль SageMaker AI. Перші два розширення призначені для моніторингу й керування користувачами, зокрема інтеграції з каталогами.

Цей запуск дає змогу керувати тією частиною спільного кластера для навчання моделей ШІ, яка змінюється після підготовки. Упродовж 2026 року HyperPod уже додав конфігурацію Slurm через API, налаштування вузлів на основі AMI, безперервне надання ресурсів, автоматичне керування топологією та поглиблені перевірки працездатності. Ці функції керують конфігурацією кластера, його місткістю, мережевою топологією та станом обладнання; розширення кластерів застосовують той самий підхід до програмного забезпечення вузлів, яке змінюється разом із потребами дослідницьких команд, вимогами до моніторингу та версіями пакетів.

Бажаний стан програмного забезпечення вузлів

Адміністратори можуть установлювати, налаштовувати, оновлювати й видаляти пакети під керуванням AWS через консоль, AWS CLI або SDK. Перед розгортанням HyperPod перевіряє налаштування за схемою вибраної версії розширення та фіксує запитану версію й налаштування як бажаний стан. Потім агент вузла застосовує лише компоненти, потрібні для ролі кожного вузла, зокрема й на вузлах, доданих унаслідок масштабування чи заміни.

Під час оновлення надсилаються лише налаштування, які змінюються. HyperPod об’єднує їх зі збереженою конфігурацією та перезапускає лише компоненти, яких стосуються зміни, не замінюючи вузли й не запускаючи сценарії життєвого циклу повторно. Нові версії розширень також можна встановлювати без оновлення AMI. Перед розгортанням HyperPod перевіряє збережені налаштування за схемою нової версії, а оновлення можливі лише до новішої версії.

Під час розгортання кожне розширення має статус «Створюється» або «Оновлюється», статус «Активне» — коли на всіх вузлах працює запитана конфігурація й не повідомляється про проблеми, і статус «Погіршений стан» — коли на вузлах виникають збої або повідомляється про проблеми. DescribeClusterExtension групує проблеми зі справністю окремих вузлів за причинами й указує для кожної код, повідомлення та кількість вузлів, яких вона стосується. HyperPod повторює спроби після внутрішніх збоїв; адміністратори можуть усунути інші причини й повторити спробу на відповідних вузлах за допомогою виклику оновлення без змін конфігурації.

Моніторинг і керування користувачами

Розширення sagemaker-observability збирає метрики вузлів, GPU, Elastic Fabric Adapter, завдань Slurm і кластерів Slurm та надсилає їх до Amazon CloudWatch або Amazon Managed Service for Prometheus. Категорії метрик, рівні деталізації та інтервали збору можна налаштовувати, а на вузлах запускаються лише компоненти, потрібні для відповідної ролі: наприклад, на вузлах із GPU — експортери DCGM і EFA, а на вузлі-контролері — метрики кластера Slurm.

Додатковий робочий простір Amazon Managed Grafana містить попередньо створені інформаційні панелі «Кластери» та «Завдання». Вони поєднують дані про стан усього кластера й стан Slurm із метриками інфраструктури для окремих вузлів і використанням ресурсів окремими завданнями, зокрема процесора, пам’яті, завантаження GPU, дискового введення-виведення та даними NCCL.

Розширення sagemaker-user-management створює користувачів і групи Linux із узгодженими ідентифікаторами на всіх вузлах, керує доступом через SSH і безпарольним доступом sudo залежно від типу вузла та реєструє користувачів у системі обліку Slurm. Облікові записи можна оголошувати локально, отримувати з Active Directory через LDAPS або використовувати обидва варіанти, зокрема підключення до AWS Directory Service for Microsoft Active Directory. Нові й замінені вузли отримують ту саму конфігурацію, а адміністратори можуть перевіряти доступ через API, не входячи окремо на кожен вузол.

Перехід, дозволи та витрати

Для роботи розширень кластерів потрібен кластер HyperPod Slurm з AMI HyperPod від 2 листопада 2026 року або новішою версією, а також увімкнене безперервне надання ресурсів. Оскільки розширення запускають програмне забезпечення з правами root, AWS вважає дозволи на створення, оновлення й видалення дозволами адміністратора та не рекомендує надавати їх ролі виконання кластера. Цій ролі, як і раніше, потрібен доступ до місць призначення метрик і секретів Active Directory, а для керування користувачами потрібна спільна файлова система для домашніх каталогів. Окремі ARN розширень дають змогу командам платформи й моніторингу відповідати за різні розширення.

Переносити наявні кластери можна по одній функції за раз, паралельно використовуючи сценарії та розширення. Для цього потрібно оновити програмне забезпечення кластера, вимкнути відповідну функцію в сценаріях життєвого циклу, вручну видалити встановлені сценаріями агенти під час технічного обслуговування та створити розширення на очищеному від них кластері. Кожен компонент має обслуговувати лише один механізм: керування тим самим експортером, користувачем або службою через обидва механізми може спричинити конфлікти під час установлення або роботи. Спеціальні AMI та сценарії життєвого циклу й надалі можна використовувати для програмного забезпечення, специфічного для організації, а адміністратори зберігають доступ через SSH і можливість безпосередньо налаштовувати кожен вузол, зокрема контролер.

Обидва розширення доступні в усіх регіонах, де підтримується SageMaker HyperPod. Додаткової плати за розширення кластерів немає, але клієнти сплачують за базові ресурси, зокрема CloudWatch, Amazon Managed Service for Prometheus і AWS Secrets Manager.

Для спільних кластерів базових моделей операційний наслідок полягає в тому, що спільне програмне забезпечення вузлів стає задекларованою та безперервно перевірюваною частиною стану кластера, а не набором скриптів розгортання. Видалення агентів, установлених за допомогою скриптів, — єдиний ручний етап міграції для всього парку; після цього нові вузли, додані під час масштабування, і вузли на заміну успадковують ті самі налаштування розширень, а інструменти, специфічні для організації, залишаються під контролем команди кластера.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.