Моделі та платформи ШІ
Amazon SageMaker AI додає маршрутизатор регіонального перемикання на резервний ресурс, доступний для всіх користувачів

Ключові моментиМаршрутизатор переносить інженерію відмовостійкості в SageMaker AI, але клієнти все…
Показати більше
- Маршрутизатор переносить інженерію відмовостійкості в SageMaker AI, але клієнти все одно повинні платити за резервну потужність в іншому місці.
- Оцінки стану ігнорують затримку моделі, тому кінцеві точки, що повертають успішні відповіді, зберігають свій трафік попри повільність.
- Клієнти не можуть встановлювати порогові значення ваг або час перемикання, оскільки маршрутизатор автоматично контролює всі рішення щодо маршрутизації.
19 листопада 2026 року Amazon Web Services зробила загальнодоступною маршрутизацію запитів на інференс між регіонами в Amazon SageMaker AI. Тепер застосунки можуть звертатися до одного маршрутизатора, щоб за нестачі локальних ресурсів використовувати наявну інфраструктуру для обслуговування моделей у різних регіонах і облікових записах AWS.
Кінцева точка SageMaker AI працює в одному регіоні й одному обліковому записі. Якщо автоматичне масштабування не може додати потрібний тип екземпляра, запити можуть затримуватися або завершуватися помилкою через перевищення часу очікування, навіть коли в іншому місці є вільні ресурси для тієї самої моделі. Раніше клієнтам, які користувалися керованими кінцевими точками, доводилося самостійно налаштовувати маршрутизацію між регіонами, зокрема виявлення збоїв, безпечні повторні спроби, обробку відновлення та доступ між обліковими записами.
Новий регіональний маршрутизатор запитів на інференс використовує іменовану ціль маршрутизації для кожної логічної моделі. Ціль може об’єднувати кінцеві точки для інференсу в реальному часі й компоненти інференсу в різних регіонах та облікових записах або містити лише асинхронні кінцеві точки. Застосунок звертається до цілі через маршрутизатор. Моделі, конфігурації кінцевих точок, пули екземплярів, контейнери й автоматичне масштабування залишаються без змін, а прямі InvokeEndpoint виклики й надалі працюють. Маршрутизатор не створює ресурси, не розгортає моделі й не масштабує кінцеві точки, тож кожна ціль має вже працювати у своєму регіоні.
Перемикання на резервний ресурс залежить від сигналів про стан
Маршрутизатор віддає перевагу справним цільовим ресурсам у власному регіоні й рівномірно розподіляє запити між кількома справними локальними ресурсами. Оцінка стану враховує останні запити, виміряні в регіоні кожного цільового ресурсу: її знижують помилки сервера, обмеження частоти запитів і перевищення часу очікування, причому найбільше — помилки платформи; збої, спричинені запитами, як-от некоректні вхідні дані, на неї не впливають. Затримка моделі не враховується, тому кінцева точка, яка й далі повертає успішні відповіді, зберігає свій трафік. SageMaker AI публікує healthy, overloaded та degraded стани в CloudWatch; перевантажені цільові ресурси втрачають частину трафіку, тоді як деградовані отримують лише невелику його частку, щоб маршрутизатор міг виявити відновлення.
За даними AWS, трафік починає переміщуватися приблизно протягом хвилини після тривалих помилок, а для ресурсів із невеликим трафіком це може статися пізніше; після відновлення трафік повертається впродовж кількох хвилин. Клієнти не можуть задавати ваги, порядок переходу до резервних ресурсів, порогові значення чи час перемикання. Якщо дані про стан віддалених цільових ресурсів застарівають, маршрутизатор залишає трафік у власному регіоні.
Для інференсу в реальному часі можливості повторного надсилання запитів обмеженіші. Маршрутизатор робить одну повторну спробу на іншому цільовому ресурсі, лише якщо модель не запустилася, зокрема через обмеження частоти запитів, помилку 503, неготовність моделі, відхилення через ліміт трафіку або заборону доступу до цільового ресурсу. Він ніколи не повторює запити після перевищення часу очікування, помилок 500 чи помилок моделі. Асинхронні запити надсилаються до кожного відповідного цільового ресурсу по одному разу, спочатку до локальних, доки один із них не прийме запит.
У кожній відповіді для інференсу в реальному часі вказано цільовий ресурс, який обслуговував запит, у InvokedRoutedResourceArn і надано RoutingReason з local-preferred, capacity-available, failover або only-healthy. Метрики OpenTelemetry у CloudWatch додають дані про запити й помилки для кожного цільового ресурсу, тривалість обробки на ньому, накладні витрати маршрутизатора та мережі між регіонами, а також про стан. В асинхронних відповідях цільовий ресурс не зазначається, хоча метрики CloudWatch показують, куди було спрямовано запити.
Керування ресурсами й доступом залишається за власниками кінцевих точок
Надлишковий трафік може спричинити обмеження частоти запитів на кінцевій точці, що його приймає. За замовчуванням кінцева точка для інференсу в реальному часі приймає будь-який обсяг трафіку з інших регіонів. За бажанням власник може встановити ліміт: перевірену навантажувальним тестуванням частоту викликів на екземпляр і максимальний відсоток ресурсів, доступний для інших регіонів. Дозволений обсяг залежить від кількості запущених екземплярів, зокрема від змін унаслідок автоматичного масштабування. У прикладі AWS ліміт у 50 викликів за секунду на екземпляр, обмеження 20% і чотири екземпляри дають змогу обробляти 40 міжрегіональних запитів за секунду; після додавання двох екземплярів цей показник зростає до 60.
До цього ліміту зараховуються лише запити з інших регіонів, а виклики з регіону самої кінцевої точки ніколи не обмежуються цим механізмом. Надлишкові запити відхиляються до запуску моделі й один раз надсилаються повторно в інше місце; якщо жоден цільовий ресурс не може їх прийняти, застосунок отримує помилку обмеження частоти запитів. Ліміт поширюється на всі компоненти інференсу на кінцевій точці.
Для цільових ресурсів в інших облікових записах обидва облікові записи мають надати дозвіл на запити. Політика кінцевої точки може обмежити доступ одним іменованим маршрутизатором, а сам маршрутизатор не надає виклику доступу до кінцевої точки, до якої він не міг би звернутися безпосередньо.
Обмеження розгортання й ціни
Сервіс загальнодоступний для інференсу в реальному часі й асинхронного інференсу в більшості комерційних регіонів AWS, крім me-south-1 і me-central-1. Потокове передавання відповідей не підтримується. На отримання відповіді від цільового ресурсу для запитів у реальному часі відводиться приблизно одна хвилина, розмір даних таких запитів може сягати 6 MB, а кожен маршрутизатор підтримує до 20 цілей маршрутизації з не більш як 10 цільовими ресурсами в кожній.
Оскільки сам маршрутизатор є регіональним, AWS рекомендує створювати маршрутизатори у двох регіонах і перемикатися між ними на стороні клієнта, щоб забезпечити відмовостійкість точки входу. Межі розташування даних також потрібно налаштовувати явно, адже запит може оброблятися в регіоні маршрутизатора або в регіоні будь-якого зареєстрованого цільового ресурсу.
Додаткова плата за маршрутизацію не стягується. Клієнти сплачують стандартні тарифи SageMaker AI за кінцеві точки та компоненти інференсу незалежно від того, чи надходять запити безпосередньо, чи через маршрутизатор, а також стандартні тарифи CloudWatch за метрики маршрутизатора та запити до них.
Завдяки запуску розробка механізмів перемикання на резервний варіант переходить до SageMaker AI, але основний компроміс у вартості обчислень залишається за клієнтами: безперервне надання послуг під час дефіциту ресурсів в одному регіоні й надалі залежить від оплати та розміщення доступних ресурсів для інференсу в іншому.












