Модели и платформы ИИ
AWS добавляет управляемую NVIDIA Dynamo в SageMaker HyperPod Inference

Ключевые моментыДезагрегированная топология Dynamo позволяет пулам предварительного заполнения и…
Показать больше
- Дезагрегированная топология Dynamo позволяет пулам предварительного заполнения и декодирования масштабироваться независимо, при этом оба по-прежнему загружают полные веса модели.
- Прирост пропускной способности AWS в 2,05 раза сравнивает результаты с ограничением по задержке при разных уровнях параллелизма, а не неограниченные максимумы.
- Управляемый HyperPod автоматизирует координацию и восстановление, но оставляет компромиссы топологии и распределения GPU на усмотрение измеряемого поведения рабочей нагрузки.
17 ноября 2026 года Amazon Web Services объявила, что Amazon SageMaker HyperPod Inference теперь поддерживает NVIDIA Dynamo для управляемого обслуживания моделей на нескольких узлах и с раздельной обработкой этапов, а также представила результаты тестирования: пропускная способность генерации выходных токенов на GPU в режиме с раздельной обработкой в 2,05 раза превысила наилучший результат в режиме с объединённой обработкой, соответствовавший целевым показателям задержки AWS.
Это решение помогает преодолеть два ограничения при обслуживании больших языковых моделей: необходимость размещать веса модели и повторно используемый кеш ключей и значений (KV) в памяти GPU, а также риск замедления генерации токенов из-за обработки длинных запросов, когда оба этапа используют одни и те же GPU. AWS показывает, насколько острой может быть проблема нехватки памяти, на примере GLM-5.3: только её веса в формате с плавающей запятой и 8-битной точностью (FP8) занимают более 640 ГБ памяти GPU на одном ml.p5.48xlarge экземпляре, ещё до учёта KV-кеша и накладных расходов среды выполнения.
HyperPod предоставляет управляемую инфраструктуру для работы фреймворка: сетевое взаимодействие через Elastic Fabric Adapter (EFA), согласованное планирование использования GPU, мониторинг состояния узлов, GPU и EFA, а также замену узлов. HyperPod управляет заменой, а компоненты оркестрации повторно создают затронутые рабочие процессы.
Раздельная обработка запросов и маршрутизация с учётом KV-кеша
Dynamo — это распределённый фреймворк инференса с открытым исходным кодом, совместимый с vLLM, SGLang и TensorRT-LLM. В его архитектуре с раздельной обработкой входной компонент направляет запросы рабочим процессам предварительной обработки, которые обрабатывают запросы, и рабочим процессам генерации, которые создают токены. Эти группы можно независимо масштабировать и настраивать, однако в каждой загружаются полные веса модели; KV-кеш передаётся между ними по сети EFA.
При объединённой обработке оба этапа выполняются в одном рабочем процессе. В обеих архитектурах рабочие процессы можно запускать на одном экземпляре или распределять между несколькими экземплярами, разделяя модель между GPU с помощью тензорного и конвейерного параллелизма. Маршрутизатор Dynamo, учитывающий состояние KV-кеша, принимает во внимание повторно используемый кеш префиксов и текущую нагрузку на рабочие процессы. По данным AWS, повторное использование префиксов сокращает необходимость заново обрабатывать запрос и может уменьшить время до первого токена, а учёт нагрузки помогает избежать перегрузки отдельных рабочих процессов.
Сравнительные тесты с ограничениями по задержке
В сравнительном тесте Qwen3-235B-A22B-FP8 использовались Dynamo и TensorRT-LLM на двух p5en.48xlarge экземплярах с 16 GPU H200 в общей сложности. AIPerf генерировал запросы, содержащие 4 000 входных и 200 выходных токенов. AWS учитывала только результаты измерений, при которых время до первого токена на 90-м процентиле было меньше одной секунды, а медианная скорость генерации составляла не менее 50 токенов в секунду на пользователя.
По данным AWS, при раздельной обработке пропускная способность достигла 207 выходных токенов в секунду на GPU при параллельной обработке 80 запросов. Для наилучшего результата в режиме с объединённой обработкой этот показатель составил 101 токен в секунду при параллельной обработке 32 запросов. Таким образом, сравнивается пропускная способность при ограничениях по задержке и разном уровне параллелизма, а не максимальная пропускная способность каждой архитектуры без ограничений.
В отдельном тесте Qwen3.5-397B-A17B-FP8 сравнивались Dynamo и vLLM при использовании восьми GPU H200 на одном p5en.48xlarge экземпляре и четырёх GPU на каждом из двух экземпляров; модель, параметры параллелизма и конфигурация нагрузки оставались одинаковыми. По данным AWS, при параллельной обработке 32 запросов и активном повторном использовании префиксов двухузловая конфигурация обеспечила скорость 126,4 выходного токена в секунду на GPU, или 99,1% от пропускной способности одноузловой конфигурации. Модель помещается на одном экземпляре и на практике обычно не распределялась бы таким образом, поэтому тест послужил контролируемой базовой оценкой влияния перехода через границу узла на пропускную способность.
Управляемая конфигурация и планирование ресурсов
Пользователям доступны два способа настройки. Существующие пользователи Dynamo могут подготовить DynamoGraphDeployment манифест с описанием графа обслуживания и самостоятельно управлять хранилищем, сетью, размещением подов, конечными точками, TLS, регистрацией и автомасштабированием. Второй InferenceEndpointConfig способ использует dynamoSpec для настройки управляемых конечных точек, а для любой из архитектур обслуживания — Kubernetes Event-driven Autoscaling (KEDA). По умолчанию используется vLLM; также предусмотрены настройки маршрутизации с учётом KV-кеша и количества реплик. Кроме того, через конечные точки SageMaker доступен интерфейс, совместимый с OpenAI.
Дополнение устанавливает пользовательские определения ресурсов Dynamo, а также компоненты обслуживания и планирования, тогда как среду выполнения обеспечивают AWS Deep Learning Containers. При использовании управляемого способа HyperPod Inference Operator подготавливает веса из Amazon S3 или FSx и генерирует DynamoGraphDeployment. Grove координирует связанные группы подов, а KAI Scheduler использует групповое планирование, чтобы поды каждого мног узлового рабочего процесса размещались вместе. Для перехода на поддерживаемый выпуск Dynamo необходимо обновить дополнение.
Пример AWS с GLM-5.3 наглядно показывает, как распределяются ресурсы GPU. В конфигурации с объединённой обработкой одна реплика рабочего процесса модели охватывает два ml.p5.48xlarge экземпляра, используется тензорный параллелизм с коэффициентом 16 и запускаются две реплики входного компонента. В варианте с раздельной обработкой настраиваются одна реплика предварительной обработки и две реплики генерации, каждая из которых охватывает два экземпляра; всего используется шесть экземпляров. Раздельное указание числа реплик показывает, как при развёртывании можно выделять разный объём ресурсов для обработки запросов и генерации токенов вместо масштабирования единого объединённого пула.
AWS рекомендует перед проведением тестов производительности проверить связь по EFA, протестировать характерные значения длины запросов и ответов, а также повторное использование префикса, подобрать уровень параллелизма с учётом целевых показателей обслуживания и, прежде чем менять настройки движка, оптимизировать топологию и распределение ресурсов между рабочими процессами на основе измеренных узких мест.
Теперь HyperPod берёт на себя больше задач по координации и восстановлению, однако условия тестирования производительности и примеры развёртывания показывают, что управляемая эксплуатация не отменяет компромиссов при обслуживании запросов. Оптимальная конфигурация по-прежнему зависит от измеренных характеристик обработки запросов и генерации, распределения ресурсов GPU между пулами рабочих процессов, а также от приоритетов рабочей нагрузки по задержке и стоимости.












