Моделі та платформи ШІ

AWS вмикає моніторинг за замовчуванням для кінцевих точок інференсу SageMaker AI

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиСтандартний моніторинг виявляє дрейф затримки та простоюючі GPU без необхідності для…
Показати більше
  • Стандартний моніторинг виявляє дрейф затримки та простоюючі GPU без необхідності для користувачів заздалегідь встановлювати порогові значення.
  • Результати відкривають агентний робочий процес SageMaker Studio, який оцінює альтернативи на окремих обчислювальних ресурсах перед змінами у виробничому середовищі.
  • Моніторинг не потребує додаткових витрат на GPU і може бути вимкнений через змінну середовища OPT_OUT_TRACKING.

Amazon Web Services (AWS) 19 листопада 2026 року ввімкнула моніторинг за замовчуванням для відповідних кінцевих точок інференсу генеративного ШІ в Amazon SageMaker AI, додавши сповіщення AWS Health про відхилення затримки, невикористану потужність графічних процесорів і пропущені можливості оптимізації обслуговування запитів.

Для моніторингу не потрібно налаштовувати кінцеві точки, які використовують контейнери обслуговування vLLM та екземпляри з графічними процесорами. Він збирає дані про затримку на рівні кінцевої точки, використання графічних процесорів і конфігурацію обслуговування запитів, але не вміст запитів чи відповідей. Моніторинг призначений для виявлення поступових змін після розгортання, коли змінюються навантаження, довжина промптів, програмне забезпечення для обслуговування запитів і потреби моделі в ресурсах.

Це оголошення доповнює рекомендації AWS щодо оптимізації інференсу генеративного ШІ, які компанія представила 22 квітня 2026 року. Цей робочий процес дає змогу користувачам вибрати ціль — вартість, затримку або пропускну здатність, порівняти до трьох типів екземплярів і протестувати конфігурації на реальних графічних процесорах за допомогою NVIDIA AIPerf. Він також підтримує тестування на наявних робочих кінцевих точках; новий рівень додає постійне спостереження та сповіщення до цього процесу ухвалення рішень, який запускає сам користувач.

Що виявляє моніторинг

Сповіщення про відхилення затримки містять порівняння медіанної (p50) наскрізної затримки та медіанного часу до отримання першого токена з показниками самої кінцевої точки за попередній тиждень. Оскільки базовий рівень визначається за історичними даними, користувачам не потрібно заздалегідь задавати порогове значення. Тестування, що проводиться після такого сповіщення, перевіряє налаштування тензорного паралелізму й альтернативні типи або розміри екземплярів.

Інші сповіщення стосуються графічних процесорів, які працюють значно нижче своєї потужності, підтримуваного, але вимкненого спекулятивного декодування, неоптимізованих ядер графічного процесора, а також контейнерів обслуговування запитів, у яких немає новіших покращень продуктивності або виправлень критичних уразливостей і вразливостей високого ступеня серйозності. Щоб перевірити, як можна використати незадіяну потужність, тестування оцінює дешевші типи екземплярів і менші розміри зафіксованого пікового навантаження. Під час перевірки конфігурації поточні налаштування порівнюють із варіантами зі ввімкненим спекулятивним декодуванням, оптимізованими ядрами або оновленим контейнером — залежно від ситуації.

Приклади AWS — це покрокові ілюстрації, а не вимірювання для всього парку кінцевих точок: в одному прикладі медіанний час до отримання першого токена зростає приблизно на 200 мілісекунд порівняно з попереднім тижнем, а в іншому навіть найбільш завантажений графічний процесор використовує не більш ніж 12% своєї потужності більшу частину тижня.

Від сповіщення Health до тестування

Сповіщення надходять через AWS Health та електронною поштою. Для кожної кінцевої точки надсилається не більше одного сповіщення одночасно, яке охоплює всі відповідні проблеми; AWS обмежує кількість сповіщень, що надходять обліковому запису одночасно, а сповіщення прив’язані до регіону AWS, у якому розташована кінцева точка.

У сповіщенні зазначено, що саме було виявлено, чому це важливо для затримки, потужності чи вартості, а також рекомендовану дію; оцінки чітко позначено як приблизні. Це повідомлення про виявлену проблему, а не про завершене тестування. Перехід за посиланням відкриває в SageMaker Studio агентне середовище, у якому вже вказано кінцеву точку та попередньо заповнено дані про зафіксоване навантаження.

Після підтвердження користувачем агент створює редагований блокнот SageMaker Python SDK, використовуючи модель кінцевої точки та профіль навантаження, сформований на основі її показників. У блокноті до завдання з рекомендаціями додається мітка з подією AWS Health, щоб результати можна було пов’язати з виявленою проблемою. Завдання порівнює поточну конфігурацію з альтернативами за часом відповіді, пропускною здатністю та вартістю за мільйон токенів, використовуючи окремі обчислювальні ресурси; робоче середовище не змінюється, доки користувач не застосує результат.

AWS рекомендує спочатку застосувати вибрану конфігурацію до одного робочого варіанта, залишивши доступною наявну конфігурацію для відкату. Відкласти розгляд сповіщення або відхилити його — також цілком звичні варіанти; сповіщення залишається в історії подій AWS Health.

Витрати та керування відмовою від участі

Моніторинг не потребує додаткових витрат на графічні процесори. За тестування стягується стандартна плата SageMaker AI або використовуються наявні резервування машинного навчання. Щоб відреагувати на сповіщення, потрібні домен SageMaker Studio, дозволи AWS Identity and Access Management на запуск завдань із рекомендаціями й оновлення кінцевих точок, а також достатня квота на екземпляри для тестування.

Клієнти можуть керувати доставленням сповіщень через AWS User Notifications і за бажанням планувати регулярні рекомендації, наприклад щомісячні запуски. Встановлення OPT_OUT_TRACKING змінної середовища в контейнері моделі припиняє збирання показників рушія, показників графічного процесора та даних про конфігурацію запуску цієї кінцевої точки, а також вимикає сповіщення для неї.

Підтримка оптимізації не гарантує покращення. За словами AWS, результати спекулятивного декодування залежать від кількості одночасних запитів, а також довжини промптів і відповідей; вони можуть відрізнятися за пікового та позапікового навантаження. Саме це визначає практичну роль функції: телеметрія, увімкнена за замовчуванням, сигналізує про можливу проблему, а тестування показує, чи справдиться потенційна економія або прискорення за важливого для користувача навантаження.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.