Моделі та платформи ШІ
SageMaker AI маршрутизує запити, використовуючи дані про стан кешу GPU, передані контейнером

Ключові моментиМаршрутизація з урахуванням KV підвищує частку влучень у кеш з 3–48% до 80–93% шляхом…
Показати більше
- Маршрутизація з урахуванням KV підвищує частку влучень у кеш з 3–48% до 80–93% шляхом відстеження витіснень, про які повідомляють контейнери.
- Накладні витрати на маршрутизацію додають від 14 до 19 мілісекунд CloudWatch OverheadLatency, навіть коли затримка моделі покращується.
- Ця функція потребує щонайменше двох екземплярів або копій компонента інференсу, щоб мати будь-який вплив на маршрутизацію.
17 листопада 2026 року Amazon Web Services запровадила маршрутизацію з урахуванням кешу KV для кінцевих точок Amazon SageMaker AI для обробки запитів у реальному часі, використовуючи дані про стан кешу, передані контейнером, для розподілу запитів. AWS повідомляє, що під час тестування з довгими запитами під навантаженням медіанний час до першого токена зменшився на 97%, а пропускна здатність зросла на 234% порівняно з випадковою маршрутизацією.
Кеш KV зберігає результати попередніх обчислень для запитів у пам’яті GPU, тож модель може повторно використовувати їх замість того, щоб знову виконувати початкову обробку — префіл — токенів вхідних даних, що збігаються. Тому розміщення кешу має велике значення для чат-асистентів, генерації з доповненням пошуком і агентів із довгими системними запитами: якщо надіслати запит на інший екземпляр, йому доведеться повторно обчислювати контекст, який уже зберігається на іншому GPU.
Маршрутизація на основі переданих даних про стан кешу
Наявна стратегія SageMaker AI з урахуванням префікса визначає розташування кешу за фіксованим префіксом запиту. Вона не може виявляти витіснення записів із кешу, а на початку розмови, що розростається, хеші запитів можуть відрізнятися, через що запити потрапляють на різні екземпляри. Натомість маршрутизація з урахуванням KV використовує події, які генерує контейнер моделі під час збереження або витіснення записів кешу.
Сервіс підтримує керований індекс, у якому усічені односторонні хеші зіставлено з екземплярами або копіями компонентів інференсу; самі запити, ідентифікатори токенів, корисні навантаження запитів чи тензори KV в індексі не зберігаються. Кожен вхідний запит токенізується та зіставляється з цим індексом. Кінцева точка порівнює найдовший збіг із кешованими даними з навантаженням на екземпляри й відкидає варіанти, які надто завантажені.
Якщо пошук триває надто довго, корисного збігу немає або всі екземпляри зі збігами зайняті, запит перенаправляється за принципом найменшої кількості запитів, що очікують на обробку, і все одно обслуговується. Під час масштабування зі зменшенням кількості екземплярів записи для видалених екземплярів прибираються з індексу, тоді як нові екземпляри або екземпляри на заміну починають роботу з порожнім кешем. Це означає, що слід враховувати час на повторне наповнення кешу та затримки холодного запуску.
Переваги за результатами тестування та накладні витрати на маршрутизацію
За даними AWS, у 30-хвилинних тестах модель Llama 3.1 70B Instruct працювала на семи екземплярах ml.p5.48xlarge із 20 або 100 імітованими користувачами. Тести охоплювали багатокрокові чати, сеанси запитань і відповідей за документами та запити обсягом до приблизно 64 000 токенів. Частка звернень до кешу зросла з 3–48% за випадкової маршрутизації до 80–93% за маршрутизації з урахуванням KV. Результати залежать від робочого навантаження; найменше виграли короткі запити, оскільки в них менше обчислень префілу, які можна повторно використати.
Пошук для маршрутизації створює додаткове навантаження через токенізацію й обробку індексу: для коротких запитів це кілька мілісекунд, а для довших — більше. У звичайних текстових запитах обчислені токени передаються моделі, тож повторна токенізація не потрібна. В окремому порівнянні AWS на двох екземплярах із Qwen3-4B-Instruct-2507 середнє значення CloudWatch OverheadLatency — показника часу, який SageMaker AI витрачає поза контейнером моделі, — за маршрутизації з урахуванням KV було на 14–19 мілісекунд вищим, хоча затримка моделі й час до першого токена покращилися.
Вимоги до розгортання та доступність даних для моніторингу
На момент запуску для роботи цієї функції потрібен контейнер AWS vLLM Deep Learning Container для SageMaker AI з vLLM версії 0.33.0 або новішої або Amazon Linux server-sagemaker-cuda-v2.8.0 версії збірки або новішої. Кешування префіксів і події кешу KV мають бути ввімкнені. Клієнти задають SM_VLLM_KV_EVENTS_CONFIG у моделі та RoutingStrategy для KV_AWARE у робочому варіанті, не змінюючи викликів клієнта.
Функція підтримує кінцеві точки для обробки запитів у реальному часі з GPU для однієї моделі та компонентів інференсу, зокрема динамічні адаптери Low-Rank Adaptation. Для маршрутизації потрібні щонайменше два екземпляри кінцевої точки для однієї моделі або дві копії компонента інференсу; якщо є лише одне місце призначення, цей параметр не впливає на маршрутизацію. Запити мають використовувати сумісні з OpenAI формати даних Completions або Chat Completions і підтримувані API викликів, а InvokeEndpointWithBidirectionalStream не підтримується.
На момент запуску маршрутизація з урахуванням KV не має окремих метрик або журналів рішень про маршрутизацію для облікових записів клієнтів, а резервні варіанти маршрутизації не відображаються в консолі SageMaker AI чи в метриках. Клієнти можуть переглядати usage.prompt_tokens_details.cached_tokens після ввімкнення деталізації токенів запиту, а також відстежувати такі метрики контейнера, як частка звернень до кешу й час до першого токена, за допомогою докладного моніторингу та CloudWatch.
Функція доступна в усіх комерційних регіонах AWS, де підтримується інференс SageMaker AI у реальному часі з сумісним контейнером. Додаткова плата не стягується — клієнти сплачують лише за екземпляри кінцевої точки. AWS і далі позиціонує маршрутизацію з урахуванням префіксів як простіший варіант для стабільних спільних запитів, короткого контексту й помірного навантаження. Маршрутизація з урахуванням KV призначена для довшого контексту, який можна повторно використовувати, високого навантаження на пам’ять і частого витіснення даних із кешу. Для кожного робочого навантаження це створює конкретний інфраструктурний компроміс: повторне використання обчислень префілу на GPU в обмін на додаткові накладні витрати на маршрутизацію кожного запиту.












