Модели и платформы ИИ
AWS направляет инференс HyperPod между регионами через единую конечную точку

Ключевые моментыГлобальный шлюз добавляет уровень выбора кластера над существующей маршрутизацией…
Показать больше
- Глобальный шлюз добавляет уровень выбора кластера над существующей маршрутизацией Inference Gateway на уровне подов.
- Операторы настраивают четыре взвешенных сигнала, включая RegionProximity со значением 0.40, чтобы сбалансировать задержку и устойчивость.
- AWS заявляет, что шлюз не регистрирует и не хранит запросы или ответы и маршрутизирует только через PrivateLink.
20 ноября 2026 года AWS представила глобальный шлюз инференса Amazon SageMaker HyperPod, предоставив клиентам единую управляемую конечную точку для запросов на инференс кластерам HyperPod, зарегистрированным в одном или нескольких регионах AWS. Сервис выбирает кластер с учетом доступной емкости, очереди, близости и ошибок, а если кластер становится недоступен, автоматически переключает запросы.
С запуском сервиса над существующим шлюзом инференса SageMaker HyperPod появился второй уровень маршрутизации. Шлюз на уровне кластера по-прежнему выбирает отдельные поды модели, учитывая такие сигналы, как использование кэша ключей и значений (KV) и длина очереди. Новый глобальный уровень сначала выбирает кластер, не меняя выбор подов.
AWS решает проблему использования вычислительных ресурсов: запросы могут вставать в очередь в перегруженном кластере, пока уже выделенные графические процессоры простаивают в другом месте. В приведенном примере четыре модели обслуживаются пятью кластерами в двух регионах, и при обслуживании каждой модели клиентам пришлось бы отслеживать 20 конечных точек. Шлюзы на уровне кластеров сокращают их число до пяти, а глобальный шлюз — до одной. Управляемый уровень избавляет от необходимости создавать и обслуживать балансировщики нагрузки, DNS и межрегиональную сеть для такой маршрутизации, а также позволяет перенаправлять пиковый трафик в кластеры со свободными ресурсами.
Настраиваемый выбор кластеров
Оператор публикует каждый участвующий кластер, включив spec.globalRouting в существующем InferenceGatewayConfig, а затем вызывает CreateGlobalInferenceGateway с кластерами, которые нужно объединить. При публикации в учетной записи клиента создаются Network Load Balancer, конечная точка службы виртуального частного облака (VPC) и ресурсы сертификатов. Непубликованный кластер добавить не получится.
Клиенты отправляют на региональную конечную точку запросы, совместимые с OpenAI и подписанные с помощью AWS Signature Version 4 (SigV4). Шлюз проверяет подлинность вызывающей стороны и выбирает работоспособный кластер; AWS PrivateLink передает запрос внутри региона или между регионами, а шлюз инференса кластера выбирает под модели. SageMaker управляет парком маршрутизации, частными конечными точками, проверкой сертификатов, проверками работоспособности, аутентификацией и ограничением частоты запросов; управляемый сервисом издатель в каждом кластере предоставляет метрики нагрузки.
Для каждого запроса шлюз оценивает работоспособные кластеры по четырем настраиваемым сигналам:
| Сигнал | Что измеряется | Вес по умолчанию |
|---|---|---|
KVHeadroom |
Доступный кэш KV и память графических процессоров в кластере | 0.20 |
QueueDepth |
Степень загруженности кластера | 0.25 |
RegionProximity |
Расстояние между кластером и регионом шлюза | 0.40 |
ErrorRate |
Недавние неудачные запросы к кластеру | 0.15 |
Если клиенты переопределяют значения по умолчанию, они должны задать все четыре веса числами от 0,0 до 1,0, сумма которых равна 1,0; сигнал можно отключить, присвоив ему нулевой вес. UpdateGlobalInferenceGateway меняет распределение весов для новых запросов без повторного выделения ресурсов, а уже выполняющиеся запросы завершаются с прежними настройками. По словам AWS, для рабочих нагрузок, в которых устойчивость важнее близости, можно увеличить ErrorRate и снизить RegionProximity.
Переключение при сбоях и конфиденциальность
Шлюз проверяет работоспособность каждого кластера и после сбоя переключает трафик на следующий по предпочтительности кластер, не требуя изменений на стороне клиента; восстановленный кластер возвращается в работу постепенно. Неудачный запрос один раз повторяется в другом кластере, если только не началась потоковая передача. Если работоспособных кластеров не осталось, шлюз возвращает HTTP 503. Добавление работоспособного кластера не меняет конечную точку и не нарушает работу остальных кластеров, а при удалении кластера новые запросы перестают поступать, но уже выполняющиеся запросы завершаются.
IAM отдельно регулирует обычные и потоковые вызовы, а JSON Web Tokens клиентов, если они используются, передаются внутри подписи SigV4. Запросы поступают в кластеры только через AWS PrivateLink; AWS заявляет, что шлюз не записывает и не хранит запросы или ответы. Удаление глобального шлюза останавливает его конечную точку, но конечные точки отдельных кластеров продолжают обслуживать запросы.
Вице-президент Bagelcode по платформе ИИ Jinhyung Park рассказал в объявлении AWS, что во время бета-тестирования запросы направлялись через шлюз между двумя регионами и продолжали обслуживаться, даже когда один из кластеров больше не мог обслуживать модель. Это позволило небольшой команде платформы компании обеспечить переключение между регионами без создания и обслуживания собственного уровня маршрутизации.
Доступность и переход
Сервис доступен в 13 регионах: на востоке США (Северная Вирджиния и Огайо), на западе США (Северная Калифорния и Орегон), в Южной Америке (Сан-Паулу), Европе (Франкфурт, Ирландия, Лондон и Стокгольм) и Азиатско-Тихоокеанском регионе (Токио, Мумбаи, Сингапур и Сидней).
AWS рекомендует пользователям, работающим с одним кластером, оставить конечную точку шлюза инференса кластера и перейти на глобальный сервис при добавлении второго кластера. Во время перехода клиентов продолжают работать существующие конечные точки отдельных кластеров; шлюз, в котором собраны кластеры только из одного региона, позволяет оставить рабочую нагрузку в этом регионе. Опубликованный кластер, не включенный ни в один шлюз, не получает трафик, хотя его Network Load Balancer продолжает работать и тарифицироваться.
Объединяя в одной политике сигналы о близости, доступной емкости и сбоях, сервис превращает использование иначе простаивающих ресурсов GPU в вопрос настройки, а не в отдельный сетевой проект.












