Модели и платформы ИИ

AWS направляет инференс HyperPod между регионами через единую конечную точку

Theo Nash
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыГлобальный шлюз добавляет уровень выбора кластера над существующей маршрутизацией…
Показать больше
  • Глобальный шлюз добавляет уровень выбора кластера над существующей маршрутизацией Inference Gateway на уровне подов.
  • Операторы настраивают четыре взвешенных сигнала, включая RegionProximity со значением 0.40, чтобы сбалансировать задержку и устойчивость.
  • AWS заявляет, что шлюз не регистрирует и не хранит запросы или ответы и маршрутизирует только через PrivateLink.

20 ноября 2026 года AWS представила глобальный шлюз инференса Amazon SageMaker HyperPod, предоставив клиентам единую управляемую конечную точку для запросов на инференс кластерам HyperPod, зарегистрированным в одном или нескольких регионах AWS. Сервис выбирает кластер с учетом доступной емкости, очереди, близости и ошибок, а если кластер становится недоступен, автоматически переключает запросы.

С запуском сервиса над существующим шлюзом инференса SageMaker HyperPod появился второй уровень маршрутизации. Шлюз на уровне кластера по-прежнему выбирает отдельные поды модели, учитывая такие сигналы, как использование кэша ключей и значений (KV) и длина очереди. Новый глобальный уровень сначала выбирает кластер, не меняя выбор подов.

AWS решает проблему использования вычислительных ресурсов: запросы могут вставать в очередь в перегруженном кластере, пока уже выделенные графические процессоры простаивают в другом месте. В приведенном примере четыре модели обслуживаются пятью кластерами в двух регионах, и при обслуживании каждой модели клиентам пришлось бы отслеживать 20 конечных точек. Шлюзы на уровне кластеров сокращают их число до пяти, а глобальный шлюз — до одной. Управляемый уровень избавляет от необходимости создавать и обслуживать балансировщики нагрузки, DNS и межрегиональную сеть для такой маршрутизации, а также позволяет перенаправлять пиковый трафик в кластеры со свободными ресурсами.

Настраиваемый выбор кластеров

Оператор публикует каждый участвующий кластер, включив spec.globalRouting в существующем InferenceGatewayConfig, а затем вызывает CreateGlobalInferenceGateway с кластерами, которые нужно объединить. При публикации в учетной записи клиента создаются Network Load Balancer, конечная точка службы виртуального частного облака (VPC) и ресурсы сертификатов. Непубликованный кластер добавить не получится.

Клиенты отправляют на региональную конечную точку запросы, совместимые с OpenAI и подписанные с помощью AWS Signature Version 4 (SigV4). Шлюз проверяет подлинность вызывающей стороны и выбирает работоспособный кластер; AWS PrivateLink передает запрос внутри региона или между регионами, а шлюз инференса кластера выбирает под модели. SageMaker управляет парком маршрутизации, частными конечными точками, проверкой сертификатов, проверками работоспособности, аутентификацией и ограничением частоты запросов; управляемый сервисом издатель в каждом кластере предоставляет метрики нагрузки.

Для каждого запроса шлюз оценивает работоспособные кластеры по четырем настраиваемым сигналам:

Сигнал Что измеряется Вес по умолчанию
KVHeadroom Доступный кэш KV и память графических процессоров в кластере 0.20
QueueDepth Степень загруженности кластера 0.25
RegionProximity Расстояние между кластером и регионом шлюза 0.40
ErrorRate Недавние неудачные запросы к кластеру 0.15

Если клиенты переопределяют значения по умолчанию, они должны задать все четыре веса числами от 0,0 до 1,0, сумма которых равна 1,0; сигнал можно отключить, присвоив ему нулевой вес. UpdateGlobalInferenceGateway меняет распределение весов для новых запросов без повторного выделения ресурсов, а уже выполняющиеся запросы завершаются с прежними настройками. По словам AWS, для рабочих нагрузок, в которых устойчивость важнее близости, можно увеличить ErrorRate и снизить RegionProximity.

Переключение при сбоях и конфиденциальность

Шлюз проверяет работоспособность каждого кластера и после сбоя переключает трафик на следующий по предпочтительности кластер, не требуя изменений на стороне клиента; восстановленный кластер возвращается в работу постепенно. Неудачный запрос один раз повторяется в другом кластере, если только не началась потоковая передача. Если работоспособных кластеров не осталось, шлюз возвращает HTTP 503. Добавление работоспособного кластера не меняет конечную точку и не нарушает работу остальных кластеров, а при удалении кластера новые запросы перестают поступать, но уже выполняющиеся запросы завершаются.

IAM отдельно регулирует обычные и потоковые вызовы, а JSON Web Tokens клиентов, если они используются, передаются внутри подписи SigV4. Запросы поступают в кластеры только через AWS PrivateLink; AWS заявляет, что шлюз не записывает и не хранит запросы или ответы. Удаление глобального шлюза останавливает его конечную точку, но конечные точки отдельных кластеров продолжают обслуживать запросы.

Вице-президент Bagelcode по платформе ИИ Jinhyung Park рассказал в объявлении AWS, что во время бета-тестирования запросы направлялись через шлюз между двумя регионами и продолжали обслуживаться, даже когда один из кластеров больше не мог обслуживать модель. Это позволило небольшой команде платформы компании обеспечить переключение между регионами без создания и обслуживания собственного уровня маршрутизации.

Доступность и переход

Сервис доступен в 13 регионах: на востоке США (Северная Вирджиния и Огайо), на западе США (Северная Калифорния и Орегон), в Южной Америке (Сан-Паулу), Европе (Франкфурт, Ирландия, Лондон и Стокгольм) и Азиатско-Тихоокеанском регионе (Токио, Мумбаи, Сингапур и Сидней).

AWS рекомендует пользователям, работающим с одним кластером, оставить конечную точку шлюза инференса кластера и перейти на глобальный сервис при добавлении второго кластера. Во время перехода клиентов продолжают работать существующие конечные точки отдельных кластеров; шлюз, в котором собраны кластеры только из одного региона, позволяет оставить рабочую нагрузку в этом регионе. Опубликованный кластер, не включенный ни в один шлюз, не получает трафик, хотя его Network Load Balancer продолжает работать и тарифицироваться.

Объединяя в одной политике сигналы о близости, доступной емкости и сбоях, сервис превращает использование иначе простаивающих ресурсов GPU в вопрос настройки, а не в отдельный сетевой проект.

Theo Nash — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий инфраструктуру ИИ, вычисления и аппаратные системы, которые обеспечивают работу современных искусственных интеллектов. Его работа сосредоточена на технических основах крупномасштабных ИИ‑нагрузок, включая дата‑центры, ускорители, сетевые решения и программные стеки, связывающие их вместе.

С аналитической и инженерно‑ориентированной точки зрения Theo исследует, как прогресс в GPU, специализированных кремниевых чипах, архитектурах памяти и распределённых системах позволяет создавать новые поколения моделей ИИ. Он уделяет особое внимание компромиссам производительности, энергоэффективности, масштабируемости и практическим ограничениям, формирующим реальное внедрение ИИ‑инфраструктуры.

Статьи, написанные Theo Nash, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить техническую точность, ясность и ответственное освещение быстро развивающегося ландшафта вычислений ИИ.