Моделі та платформи ШІ

AWS маршрутизує запити HyperPod Inference між регіонами через одну кінцеву точку

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиГлобальний шлюз додає рівень вибору кластера над наявною маршрутизацією Inference…
Показати більше
  • Глобальний шлюз додає рівень вибору кластера над наявною маршрутизацією Inference Gateway на рівні pod.
  • Оператори налаштовують чотири зважені сигнали, зокрема RegionProximity зі значенням 0,40, щоб збалансувати затримку та стійкість.
  • AWS зазначає, що шлюз не журналює та не зберігає запити чи відповіді й маршрутизує лише через PrivateLink.

20 листопада 2026 року AWS представила глобальний шлюз інференсу Amazon SageMaker HyperPod, який надає клієнтам одну керовану кінцеву точку для запитів на інференс до зареєстрованих кластерів HyperPod в одному або кількох регіонах AWS. Сервіс вибирає кластер на основі даних про його місткість, чергу, близькість і помилки та автоматично перемикає трафік, якщо кластер стає недоступним.

Запуск додає ще один рівень маршрутизації над наявним шлюзом інференсу SageMaker HyperPod. Цей шлюз на рівні кластера й надалі вибирає окремі поди моделей за такими показниками, як використання кешу ключів і значень (KV) та довжина черги; новий глобальний рівень спочатку вибирає кластер, не змінюючи вибір пода.

AWS розв’язує проблему використання обчислювальних ресурсів: запити можуть накопичуватися в черзі перевантаженого кластера, тоді як уже розгорнуті графічні процесори в інших місцях простоюють. У наведеному прикладі чотири моделі обслуговуються в п’яти кластерах у двох регіонах, і для обслуговування кожної моделі окремо клієнтам потрібно відстежувати 20 кінцевих точок. Шлюзи на рівні кластерів скорочують їхню кількість до п’яти, а глобальний шлюз зводить її до однієї. Керований рівень позбавляє потреби створювати й підтримувати балансувальники навантаження, DNS і міжрегіональну мережеву інфраструктуру для цієї маршрутизації, а також дає змогу спрямовувати піковий трафік до кластерів із вільними ресурсами.

Гнучке налаштування вибору кластерів

Оператор публікує кожен кластер, що бере участь, увімкнувши spec.globalRouting у наявному InferenceGatewayConfig, а потім викликає CreateGlobalInferenceGateway із кластерами, які потрібно об’єднати. Публікація створює облікові ресурси Network Load Balancer, сервіс кінцевих точок віртуальної приватної хмари (VPC) та сертифікати. Неопублікований кластер не вдасться успішно додати.

Клієнти надсилають на регіональну кінцеву точку сумісні з OpenAI запити, підписані за допомогою AWS Signature Version 4 (SigV4). Шлюз автентифікує клієнта й вибирає працездатний кластер, AWS PrivateLink передає запит у межах одного регіону або між регіонами, а Inference Gateway кластера вибирає под моделі. SageMaker керує інфраструктурою маршрутизації, приватними кінцевими точками, перевіркою сертифікатів, перевірками стану, автентифікацією та обмеженням частоти запитів; керований сервісом видавець у кожному кластері надає показники завантаження.

Для кожного запиту шлюз оцінює працездатні кластери за чотирма налаштовуваними показниками:

Показник Що вимірює Вага за замовчуванням
KVHeadroom Доступний кеш KV і пам’ять GPU у кластері 0.20
QueueDepth Наскільки перевантажений кластер 0.25
RegionProximity Відстань між кластером і регіоном шлюзу 0.40
ErrorRate Нещодавні невдалі запити до кластера 0.15

Якщо клієнти змінюють значення за замовчуванням, вони мають задати всі чотири ваги — від 0.0 до 1.0, причому їхня сума має дорівнювати 1.0; нульове значення вимикає відповідний показник. UpdateGlobalInferenceGateway змінює ваги для нових запитів без повторного розгортання ресурсів, тоді як обробка запитів, що вже виконуються, завершується за старими налаштуваннями. AWS зазначає, що для робочих навантажень, у яких стійкість до збоїв важливіша за близькість, можна збільшити ErrorRate і зменшити RegionProximity.

Перемикання трафіку та конфіденційність

Шлюз перевіряє стан кожного кластера й після збою спрямовує трафік до наступного за рейтингом кластера, не вимагаючи змін на боці клієнта; відновлений кластер повертається в роботу поступово. Невдалий запит повторюється один раз на іншому кластері, якщо ще не почалася потокова передача; якщо працездатних кластерів не залишилося, шлюз повертає HTTP 503. Додавання працездатного кластера не змінює кінцеву точку й не порушує роботу інших кластерів, а після видалення кластера нові запити до нього не надходять, проте запити, що вже виконуються, завершуються.

IAM окремо контролює звичайні виклики та виклики з потоковою передачею, а клієнтські JSON Web Tokens, якщо їх використовують, передаються всередині підпису SigV4. Запити надходять до кластерів лише через AWS PrivateLink; за словами AWS, шлюз не записує в журнал і не зберігає запити або відповіді. Видалення глобального шлюзу зупиняє роботу його кінцевої точки, але кінцеві точки окремих кластерів продовжують обслуговувати запити.

Віцепрезидент Bagelcode із платформи ШІ Jinhyung Park повідомив в анонсі AWS, що під час бета-тестування запити маршрутизувалися через шлюз між двома регіонами, і обслуговування тривало навіть тоді, коли один із кластерів більше не міг запускати модель. Завдяки цьому невелика команда платформи компанії отримала можливість перемикати трафік між регіонами, не створюючи й не підтримуючи власний рівень маршрутизації.

Доступність і перехід

Сервіс доступний у 13 регіонах: на сході США (Північна Вірджинія та Огайо), на заході США (Північна Каліфорнія та Орегон), у Південній Америці (Сан-Паулу), Європі (Франкфурт, Ірландія, Лондон і Стокгольм) та Азійсько-Тихоокеанському регіоні (Токіо, Мумбаї, Сінгапур і Сідней).

AWS радить користувачам, які працюють з одним кластером, залишити кінцеву точку Inference Gateway цього кластера й перейти на глобальний сервіс, коли буде додано другий кластер. Під час переходу клієнтів на нову систему кінцеві точки окремих кластерів і далі обслуговують запити, а шлюз, що містить кластери лише в одному регіоні, дає змогу й надалі виконувати робоче навантаження в цьому регіоні. Опублікований кластер, не доданий до жодного шлюзу, не отримує трафіку, хоча його Network Load Balancer продовжує працювати й спричиняти витрати.

Об’єднавши в одній політиці близькість, доступну потужність і сигнали про збої, сервіс дає змогу використовувати інакше незадіяні ресурси графічних процесорів, просто змінивши конфігурацію, а не розгортаючи окремий мережевий проєкт.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.