Моделі та платформи ШІ
AWS додає NVIDIA Dynamo з керованим обслуговуванням до SageMaker HyperPod Inference

Ключові моментиДезагрегована топологія Dynamo дозволяє пулам попереднього заповнення та декодування…
Показати більше
- Дезагрегована топологія Dynamo дозволяє пулам попереднього заповнення та декодування масштабуватися незалежно, при цьому обидва все ще завантажують повні ваги моделі.
- Покращення пропускної здатності AWS у 2,05 раза порівнює результати з обмеженням затримки на різних рівнях паралелізму, а не необмежені максимуми.
- Керований HyperPod автоматизує координацію та відновлення, але залишає компроміси щодо топології та розподілу GPU на виміряну поведінку робочого навантаження.
17 листопада 2026 року Amazon Web Services оголосила, що Amazon SageMaker HyperPod Inference тепер підтримує NVIDIA Dynamo для керованого обслуговування моделей на кількох вузлах і з розділеною архітектурою. Також оприлюднено результати тестування: за цільових показників затримки AWS пропускна здатність за вихідними токенами на GPU виявилася у 2,05 раза вищою за найкращий результат агрегованого обслуговування, що відповідав установленим критеріям.
Це нововведення допомагає розв’язати дві проблеми обслуговування великих мовних моделей: розміщення ваг моделі та повторно використовуваного кешу «ключ-значення» (KV) у пам’яті GPU, а також запобігання сповільненню генерування токенів через обробку довгих запитів, коли обидва завдання виконуються на тих самих GPU. AWS ілюструє навантаження на пам’ять на прикладі GLM-5.3: лише її 8-бітні ваги з плаваючою комою (FP8) перевищують 640 ГБ пам’яті GPU на одному ml.p5.48xlarge екземплярі, ще до врахування KV-кешу та накладних витрат середовища виконання.
HyperPod забезпечує керовану інфраструктуру для цього фреймворку: мережу Elastic Fabric Adapter (EFA), узгоджене планування GPU, моніторинг стану вузлів, GPU та EFA, а також заміну вузлів. HyperPod керує заміною, тоді як компоненти оркестрації повторно створюють уражені робочі процеси.
Розділене обслуговування та маршрутизація з урахуванням KV-кешу
Dynamo — це розподілений фреймворк для інференсу з відкритим вихідним кодом, сумісний із vLLM, SGLang і TensorRT-LLM. У розділеній архітектурі фронтенд спрямовує запити до робочих процесів попередньої обробки, які обробляють промпти, і до робочих процесів декодування, які генерують токени. Ці групи можна масштабувати й налаштовувати незалежно, але в кожній завантажуються повні ваги моделі; KV-кеш передається між ними через EFA.
За агрегованого обслуговування обидва етапи виконуються в одному робочому процесі. За будь-якої з цих архітектур робочі процеси можуть працювати на одному екземплярі або охоплювати кілька екземплярів, використовуючи тензорний і конвеєрний паралелізм для розподілу моделі між GPU. Маршрутизатор Dynamo з урахуванням KV-кешу бере до уваги кеш префіксів, який можна повторно використовувати, і поточне навантаження на робочі процеси. За словами AWS, повторне використання префіксів може зменшити потребу повторно обчислювати промпт і скоротити час до появи першого токена, а врахування навантаження допомагає не перевантажувати окремі робочі процеси.
Бенчмарки з обмеженнями щодо затримки
У порівнянні Qwen3-235B-A22B-FP8 використовували Dynamo і TensorRT-LLM на двох p5en.48xlarge екземплярах із загалом 16 GPU H200. AIPerf генерував запити з 4 000 вхідних і 200 вихідних токенів. AWS залишила лише ті виміряні результати, у яких час до появи першого токена на 90-му перцентилі був меншим за одну секунду, а медіанна швидкість генерування становила щонайменше 50 токенів за секунду на користувача.
За даними AWS, за розділеного обслуговування пропускна здатність сягнула 207 вихідних токенів за секунду на GPU за паралельності 80; для найкращого результату агрегованого обслуговування, що відповідав критеріям, цей показник становив 101 токен за секунду за паралельності 32. Отже, порівняння стосується пропускної здатності за різних рівнів паралельності з обмеженнями щодо затримки, а не необмеженої максимальної пропускної здатності будь-якої з архітектур.
В окремому тесті Qwen3.5-397B-A17B-FP8 за допомогою Dynamo і vLLM порівняли вісім GPU H200 на одному p5en.48xlarge екземплярі з чотирма GPU на кожному з двох екземплярів, залишивши незмінними модель, параметри паралелізму й конфігурацію навантаження. AWS повідомила, що конфігурація з двома вузлами забезпечила пропускну здатність 126,4 вихідного токена за секунду на GPU, тобто 99,1% від показника одного вузла, за паралельності 32 і високого рівня повторного використання префіксів. Модель уміщується на одному екземплярі, і на практиці її зазвичай не розділяли б між вузлами, тож тест слугував контрольним базовим вимірюванням впливу переходу через межу вузла на пропускну здатність.
Кероване налаштування та планування ресурсів
Користувачі мають два варіанти налаштування. Користувачі Dynamo можуть надати DynamoGraphDeployment маніфест з описом графа обслуговування та самостійно керувати сховищем, мережею, розміщенням подів, кінцевими точками, TLS, реєстрацією й автоматичним масштабуванням. Цей InferenceEndpointConfig шлях використовує dynamoSpec для налаштування керованих кінцевих точок і Kubernetes Event-driven Autoscaling (KEDA) за будь-якої з двох архітектур обслуговування. Типово використовується vLLM; також передбачено налаштування маршрутизації з урахуванням KV-кешу та кількості реплік, а через кінцеві точки SageMaker доступний сумісний з OpenAI інтерфейс.
Доповнення встановлює власні визначення ресурсів Dynamo та компоненти обслуговування й планування, а середовище виконання забезпечують AWS Deep Learning Containers. У керованому варіанті HyperPod Inference Operator готує ваги з Amazon S3 або FSx і генерує DynamoGraphDeployment. Grove координує пов’язані групи подів, а KAI Scheduler використовує групове планування, щоб поди кожного багатовузлового робочого процесу розміщувалися разом. Щоб перейти на підтримуваний випуск Dynamo, потрібно оновити доповнення.
Приклад AWS із GLM-5.3 наочно демонструє, як можна розподілити GPU. В агрегованій конфігурації одна репліка робочого процесу моделі працює на двох ml.p5.48xlarge екземплярах із 16-стороннім тензорним паралелізмом і двома репліками фронтенду. У розділеному варіанті налаштовано одну репліку попередньої обробки та дві репліки декодування, кожна з яких охоплює два екземпляри; разом використовується шість екземплярів. Різна кількість реплік показує, як під час розгортання можна виділяти різні обсяги ресурсів для обробки промптів і генерування токенів замість масштабування єдиної об’єднаної групи.
AWS рекомендує перед тестуванням продуктивності перевірити зв’язок через EFA, протестувати репрезентативну довжину запитів і вихідних даних, а також повторне використання префіксів, перевірити різні рівні паралельності відповідно до цільових показників рівня обслуговування та налаштувати топологію й розподіл ресурсів між робочими процесами на основі виміряних вузьких місць, перш ніж змінювати параметри рушія.
Тепер HyperPod бере на себе більше завдань із координації та відновлення, але умови тестування продуктивності й приклади розгортання показують, що кероване виконання не усуває компромісів під час обслуговування запитів. Оптимальна конфігурація й надалі залежить від виміряних характеристик обробки запитів і генерації, розподілу GPU між пулами робочих процесів, а також пріоритетів робочого навантаження щодо затримки й вартості.












