Моделі та платформи ШІ

SageMaker AI маршрутизує запити, використовуючи дані про стан кешу GPU, передані контейнером

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиМаршрутизація з урахуванням KV підвищує частку влучень у кеш з 3–48% до 80–93% шляхом…
Показати більше
  • Маршрутизація з урахуванням KV підвищує частку влучень у кеш з 3–48% до 80–93% шляхом відстеження витіснень, про які повідомляють контейнери.
  • Накладні витрати на маршрутизацію додають від 14 до 19 мілісекунд CloudWatch OverheadLatency, навіть коли затримка моделі покращується.
  • Ця функція потребує щонайменше двох екземплярів або копій компонента інференсу, щоб мати будь-який вплив на маршрутизацію.

17 листопада 2026 року Amazon Web Services запровадила маршрутизацію з урахуванням кешу KV для кінцевих точок Amazon SageMaker AI для обробки запитів у реальному часі, використовуючи дані про стан кешу, передані контейнером, для розподілу запитів. AWS повідомляє, що під час тестування з довгими запитами під навантаженням медіанний час до першого токена зменшився на 97%, а пропускна здатність зросла на 234% порівняно з випадковою маршрутизацією.

Кеш KV зберігає результати попередніх обчислень для запитів у пам’яті GPU, тож модель може повторно використовувати їх замість того, щоб знову виконувати початкову обробку — префіл — токенів вхідних даних, що збігаються. Тому розміщення кешу має велике значення для чат-асистентів, генерації з доповненням пошуком і агентів із довгими системними запитами: якщо надіслати запит на інший екземпляр, йому доведеться повторно обчислювати контекст, який уже зберігається на іншому GPU.

Маршрутизація на основі переданих даних про стан кешу

Наявна стратегія SageMaker AI з урахуванням префікса визначає розташування кешу за фіксованим префіксом запиту. Вона не може виявляти витіснення записів із кешу, а на початку розмови, що розростається, хеші запитів можуть відрізнятися, через що запити потрапляють на різні екземпляри. Натомість маршрутизація з урахуванням KV використовує події, які генерує контейнер моделі під час збереження або витіснення записів кешу.

Сервіс підтримує керований індекс, у якому усічені односторонні хеші зіставлено з екземплярами або копіями компонентів інференсу; самі запити, ідентифікатори токенів, корисні навантаження запитів чи тензори KV в індексі не зберігаються. Кожен вхідний запит токенізується та зіставляється з цим індексом. Кінцева точка порівнює найдовший збіг із кешованими даними з навантаженням на екземпляри й відкидає варіанти, які надто завантажені.

Якщо пошук триває надто довго, корисного збігу немає або всі екземпляри зі збігами зайняті, запит перенаправляється за принципом найменшої кількості запитів, що очікують на обробку, і все одно обслуговується. Під час масштабування зі зменшенням кількості екземплярів записи для видалених екземплярів прибираються з індексу, тоді як нові екземпляри або екземпляри на заміну починають роботу з порожнім кешем. Це означає, що слід враховувати час на повторне наповнення кешу та затримки холодного запуску.

Переваги за результатами тестування та накладні витрати на маршрутизацію

За даними AWS, у 30-хвилинних тестах модель Llama 3.1 70B Instruct працювала на семи екземплярах ml.p5.48xlarge із 20 або 100 імітованими користувачами. Тести охоплювали багатокрокові чати, сеанси запитань і відповідей за документами та запити обсягом до приблизно 64 000 токенів. Частка звернень до кешу зросла з 3–48% за випадкової маршрутизації до 80–93% за маршрутизації з урахуванням KV. Результати залежать від робочого навантаження; найменше виграли короткі запити, оскільки в них менше обчислень префілу, які можна повторно використати.

Пошук для маршрутизації створює додаткове навантаження через токенізацію й обробку індексу: для коротких запитів це кілька мілісекунд, а для довших — більше. У звичайних текстових запитах обчислені токени передаються моделі, тож повторна токенізація не потрібна. В окремому порівнянні AWS на двох екземплярах із Qwen3-4B-Instruct-2507 середнє значення CloudWatch OverheadLatency — показника часу, який SageMaker AI витрачає поза контейнером моделі, — за маршрутизації з урахуванням KV було на 14–19 мілісекунд вищим, хоча затримка моделі й час до першого токена покращилися.

Вимоги до розгортання та доступність даних для моніторингу

На момент запуску для роботи цієї функції потрібен контейнер AWS vLLM Deep Learning Container для SageMaker AI з vLLM версії 0.33.0 або новішої або Amazon Linux server-sagemaker-cuda-v2.8.0 версії збірки або новішої. Кешування префіксів і події кешу KV мають бути ввімкнені. Клієнти задають SM_VLLM_KV_EVENTS_CONFIG у моделі та RoutingStrategy для KV_AWARE у робочому варіанті, не змінюючи викликів клієнта.

Функція підтримує кінцеві точки для обробки запитів у реальному часі з GPU для однієї моделі та компонентів інференсу, зокрема динамічні адаптери Low-Rank Adaptation. Для маршрутизації потрібні щонайменше два екземпляри кінцевої точки для однієї моделі або дві копії компонента інференсу; якщо є лише одне місце призначення, цей параметр не впливає на маршрутизацію. Запити мають використовувати сумісні з OpenAI формати даних Completions або Chat Completions і підтримувані API викликів, а InvokeEndpointWithBidirectionalStream не підтримується.

На момент запуску маршрутизація з урахуванням KV не має окремих метрик або журналів рішень про маршрутизацію для облікових записів клієнтів, а резервні варіанти маршрутизації не відображаються в консолі SageMaker AI чи в метриках. Клієнти можуть переглядати usage.prompt_tokens_details.cached_tokens після ввімкнення деталізації токенів запиту, а також відстежувати такі метрики контейнера, як частка звернень до кешу й час до першого токена, за допомогою докладного моніторингу та CloudWatch.

Функція доступна в усіх комерційних регіонах AWS, де підтримується інференс SageMaker AI у реальному часі з сумісним контейнером. Додаткова плата не стягується — клієнти сплачують лише за екземпляри кінцевої точки. AWS і далі позиціонує маршрутизацію з урахуванням префіксів як простіший варіант для стабільних спільних запитів, короткого контексту й помірного навантаження. Маршрутизація з урахуванням KV призначена для довшого контексту, який можна повторно використовувати, високого навантаження на пам’ять і частого витіснення даних із кешу. Для кожного робочого навантаження це створює конкретний інфраструктурний компроміс: повторне використання обчислень префілу на GPU в обмін на додаткові накладні витрати на маршрутизацію кожного запиту.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.