Модели и платформы ИИ
SageMaker AI направляет запросы с учетом состояния кэша GPU, сообщаемого контейнером

Ключевые моментыМаршрутизация с учётом KV повышает долю попаданий в кэш с 3–48% до 80–93% за счёт…
Показать больше
- Маршрутизация с учётом KV повышает долю попаданий в кэш с 3–48% до 80–93% за счёт отслеживания вытеснений, о которых сообщают контейнеры.
- Накладные расходы на маршрутизацию добавляют от 14 до 19 миллисекунд к CloudWatch OverheadLatency, даже когда задержка модели улучшается.
- Функция требует как минимум двух экземпляров или копий компонента вывода, чтобы маршрутизация оказывала какое-либо влияние.
17 ноября 2026 года Amazon Web Services представила маршрутизацию с учетом кэша KV для конечных точек Amazon SageMaker AI для обработки запросов в реальном времени. При выборе места обработки запросов используется состояние кэша, сообщаемое контейнером. По данным AWS, в тестах с длинными промптами при нагрузке медианное время до выдачи первого токена сократилось на величину до 97%, а пропускная способность выросла на 234% по сравнению со случайной маршрутизацией.
Кэш KV хранит результаты предыдущих вычислений для промптов в памяти GPU, чтобы модель могла использовать их повторно, а не выполнять заново первоначальную обработку — предварительное заполнение (prefill) — совпадающих входных токенов. Поэтому размещение кэша важно для чат-ассистентов, генерации с дополнением извлеченными данными и агентов с длинными системными промптами: если отправить запрос на другой экземпляр, ему может потребоваться повторно вычислить контекст, который уже хранится на другом GPU.
Маршрутизация с учетом состояния кэша
В существующей стратегии SageMaker AI с учетом префикса местоположение кэша определяется по фиксированному префиксу запроса. Она не обнаруживает вытеснение записей из кэша, а хеши ранних реплик в продолжающемся диалоге могут различаться, из-за чего запросы попадают на разные экземпляры. Вместо этого маршрутизация с учетом KV использует события, передаваемые контейнером модели при сохранении записей в кэше и их вытеснении.
Сервис ведет управляемый индекс, в котором односторонние усеченные хеши сопоставляются с экземплярами или копиями компонентов инференса, не сохраняя сами промпты, идентификаторы токенов, полезную нагрузку запросов или тензоры KV. Каждый поступающий промпт разбивается на токены и сопоставляется с этим индексом. Конечная точка сопоставляет самый длинный фрагмент, найденный в кэше, с нагрузкой на экземпляр и исключает из рассмотрения слишком загруженные варианты.
Если поиск выполняется медленно, подходящего совпадения нет или все экземпляры с совпадениями заняты, запрос направляется по принципу наименьшего числа незавершенных запросов и все равно обрабатывается. При сокращении числа экземпляров записи для удаленных экземпляров удаляются из индекса. Новые экземпляры и экземпляры, созданные взамен удаленных, начинают работу с пустым кэшем, поэтому необходимо учитывать временное восстановление кэша и задержки при холодном запуске.
Результаты тестов и издержки маршрутизации
По данным AWS, в 30-минутных тестах Llama 3.1 70B Instruct запускалась на семи экземплярах ml.p5.48xlarge при 20 или 100 смоделированных пользователях. Тесты включали многоходовые диалоги и сессии вопросов и ответов по документам; длина промптов достигала примерно 64 000 токенов. Доля попаданий в кэш выросла с 3–48% при случайной маршрутизации до 80–93% при маршрутизации с учетом KV. Результаты зависят от рабочей нагрузки; на коротких промптах эффект был наименьшим, поскольку повторно использовать можно меньший объем вычислений при предварительном заполнении.
Поиск в маршрутизации создает дополнительные издержки на токенизацию и обработку индекса: несколько миллисекунд для коротких промптов и больше для длинных. В стандартных текстовых запросах вычисленные токены передаются модели, что позволяет избежать повторной токенизации. В отдельном сравнительном тесте AWS на двух экземплярах с Qwen3-4B-Instruct-2507 среднее значение CloudWatch OverheadLatency — показателя времени, которое SageMaker AI тратит за пределами контейнера модели, — при маршрутизации с учетом KV было на 14–19 миллисекунд выше, хотя задержка модели и время до выдачи первого токена сократились.
Требования к развертыванию и доступность данных
На момент запуска для работы этой функции требовался контейнер глубокого обучения AWS vLLM для SageMaker AI с vLLM версии 0.33.0 или более поздней либо сборка Amazon Linux server-sagemaker-cuda-v2.8.0 или более поздней. Кэширование по префиксу и события кэша KV должны быть включены. Клиентам необходимо задать SM_VLLM_KV_EVENTS_CONFIG для модели и RoutingStrategy значение KV_AWARE в рабочем варианте, не меняя вызовы со стороны клиента.
Функция поддерживает конечные точки реального времени с GPU для одной модели и компонента инференса, в том числе динамические адаптеры низкоранговой адаптации. Для маршрутизации необходимы как минимум два экземпляра для конечной точки одной модели или две копии компонента инференса; если доступен только один вариант назначения, настройка не влияет на маршрутизацию. Запросы должны передаваться в формате Completions или Chat Completions, совместимом с OpenAI, через поддерживаемые API вызова, а InvokeEndpointWithBidirectionalStream не поддерживается.
На момент запуска маршрутизация с учетом KV не предоставляет отдельных метрик или журналов решений о маршрутизации для учетной записи клиента, а данные о переходе на резервный вариант маршрутизации не отображаются в консоли SageMaker AI или в метриках. Клиенты могут просматривать usage.prompt_tokens_details.cached_tokens после включения подробной информации о токенах промпта, а также отслеживать метрики контейнера, например долю попаданий в кэш и время до выдачи первого токена, с помощью средств подробного мониторинга и CloudWatch.
Функция доступна во всех коммерческих регионах AWS, где поддерживается инференс в реальном времени SageMaker AI с совместимым контейнером, и не требует дополнительной платы сверх стоимости экземпляров конечной точки. AWS по-прежнему рекомендует маршрутизацию с учетом префикса как более простой вариант для стабильных общих промптов, короткого контекста и умеренной нагрузки. Маршрутизация с учетом KV подходит для более длинного повторно используемого контекста, высокой нагрузки на память и частого вытеснения записей. Для каждой рабочей нагрузки остается найти оптимальный баланс инфраструктурных затрат: между восстановлением вычислений при предварительном заполнении на GPU и дополнительными издержками маршрутизации для каждого запроса.












