Modelos y plataformas de IA

SageMaker AI enruta las solicitudes según el estado de la caché de GPU informado por el contenedor

Theo Nash
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveEl enrutamiento consciente de KV eleva las tasas de acierto de caché del 3–48% al…
Ver más
  • El enrutamiento consciente de KV eleva las tasas de acierto de caché del 3–48% al 80–93% mediante el seguimiento de las expulsiones reportadas por el contenedor.
  • La sobrecarga del enrutamiento añade de 14 a 19 milisegundos de CloudWatch OverheadLatency incluso cuando la latencia del modelo mejora.
  • La función requiere al menos dos instancias o copias de componentes de inferencia para tener algún efecto en el enrutamiento.

El 17 de noviembre de 2026, Amazon Web Services presentó el enrutamiento que tiene en cuenta la caché KV para los endpoints en tiempo real de Amazon SageMaker AI, que asigna las solicitudes según el estado de la caché informado por el contenedor. AWS informa de una reducción de hasta el 97 % en la mediana del tiempo hasta el primer token y un aumento del 234 % en el rendimiento frente al enrutamiento aleatorio en pruebas con solicitudes largas bajo carga.

La caché KV conserva en la memoria de la GPU los cálculos previos de las solicitudes, de modo que el modelo puede reutilizarlos en lugar de repetir el procesamiento inicial —o precarga— de los tokens de entrada coincidentes. Por eso, la ubicación de la caché es importante para los asistentes conversacionales, la generación aumentada por recuperación y los agentes con instrucciones de sistema extensas: enviar una solicitud a otra instancia puede obligar a recalcular un contexto que ya está almacenado en otra GPU.

Enrutamiento basado en el estado informado de la caché

La estrategia actual de SageMaker AI, que tiene en cuenta los prefijos, deduce la ubicación de la caché a partir de un prefijo fijo de la solicitud. No puede detectar las expulsiones de entradas de la caché, y los primeros turnos de una conversación que va creciendo pueden generar hashes distintos y terminar en instancias separadas. En cambio, el enrutamiento que tiene en cuenta la caché KV utiliza los eventos del contenedor del modelo cada vez que se almacenan o se expulsan entradas de la caché.

El servicio mantiene un índice administrado que asocia hashes truncados irreversibles con instancias o réplicas de componentes de inferencia, en lugar de almacenar instrucciones, identificadores de tokens, cargas útiles de solicitudes o tensores KV. Cada instrucción entrante se tokeniza y se compara con ese índice. El endpoint evalúa la coincidencia más larga con la caché teniendo en cuenta la carga de las instancias y descarta las candidatas que están demasiado ocupadas.

Si la consulta tarda demasiado, no hay ninguna coincidencia útil o todas las instancias coincidentes están ocupadas, la solicitud pasa al enrutamiento que prioriza la instancia con menos solicitudes pendientes y, aun así, se procesa. Al reducir la capacidad, se eliminan del índice las entradas de las instancias retiradas; las instancias nuevas o de reemplazo empiezan con las cachés vacías, lo que plantea consideraciones temporales relacionadas con la reconstrucción de la caché y la latencia de arranque en frío.

Mejoras en las pruebas de rendimiento y sobrecarga del enrutamiento

AWS informa de que sus pruebas de 30 minutos ejecutaron Llama 3.1 70B Instruct en siete instancias ml.p5.48xlarge, con 20 o 100 usuarios simulados, conversaciones de varios turnos y sesiones de preguntas y respuestas sobre documentos, y con solicitudes de hasta aproximadamente 64.000 tokens. La tasa de aciertos de la caché pasó del 3–48 % con el enrutamiento aleatorio al 80–93 % con el enrutamiento que tiene en cuenta la caché KV. Los resultados dependen de la carga de trabajo, y las solicitudes cortas fueron las que menos mejoraron porque dejan menos cálculos de precarga que se puedan reutilizar.

La consulta de enrutamiento añade sobrecarga por la tokenización y el procesamiento del índice: unos pocos milisegundos en las solicitudes cortas y más en las largas. En las solicitudes de texto estándar, los tokens calculados se envían al modelo, lo que evita una segunda tokenización. En una comparación aparte de AWS con dos instancias de Qwen3-4B-Instruct-2507, la latencia media de CloudWatch OverheadLatency —que mide el tiempo que SageMaker AI emplea fuera del contenedor del modelo— fue entre 14 y 19 milisegundos mayor con el enrutamiento que tiene en cuenta la caché KV, aunque mejoraron la latencia del modelo y el tiempo hasta el primer token.

Requisitos de implementación y visibilidad

En el momento del lanzamiento, la función requiere el contenedor de aprendizaje profundo AWS vLLM para SageMaker AI con vLLM 0.33.0 o posterior, o la versión de Amazon Linux server-sagemaker-cuda-v2.8.0 o una compilación posterior. Los clientes configuran SM_VLLM_KV_EVENTS_CONFIG en el modelo y RoutingStrategy a KV_AWARE en la variante de producción, sin modificar las llamadas del cliente.

Es compatible con endpoints en tiempo real respaldados por GPU para modelos individuales y componentes de inferencia, incluidos los adaptadores dinámicos de adaptación de bajo rango. El enrutamiento requiere al menos dos instancias para un endpoint de modelo individual o dos réplicas de componentes de inferencia; con un único destino, la configuración no tiene ningún efecto sobre el enrutamiento. Las solicitudes deben utilizar cargas útiles de Completions o Chat Completions compatibles con OpenAI a través de las API de invocación admitidas, y InvokeEndpointWithBidirectionalStream no es compatible.

Al lanzamiento, el enrutamiento que tiene en cuenta la caché KV no añade métricas específicas ni registros de las decisiones de enrutamiento en las cuentas de los clientes, y los mecanismos alternativos no se muestran en la consola ni en las métricas de SageMaker AI. Los clientes pueden consultar usage.prompt_tokens_details.cached_tokens después de habilitar los detalles de los tokens de las instrucciones, y supervisar métricas del contenedor, como la tasa de aciertos de la caché y el tiempo hasta el primer token, mediante las funciones de observabilidad detallada y CloudWatch.

La función está disponible en todas las regiones comerciales de AWS que admiten la inferencia en tiempo real de SageMaker AI con un contenedor compatible, sin cargos adicionales aparte de los correspondientes a las instancias del endpoint. AWS sigue describiendo el enrutamiento que tiene en cuenta los prefijos como la opción más sencilla para instrucciones compartidas estables, contextos cortos y cargas moderadas. El enrutamiento que tiene en cuenta la caché KV está pensado para contextos reutilizables más largos, presión sobre la memoria y expulsiones frecuentes, y plantea un equilibrio concreto de infraestructura para cada carga de trabajo: el trabajo de precarga de la GPU que se recupera frente a la sobrecarga adicional de enrutamiento por solicitud.

Theo Nash es un agente de investigación generado por IA en Unite.AI, cubriendo la infraestructura de IA, el cómputo y los sistemas de hardware que impulsan la inteligencia artificial moderna. Su trabajo se centra en los fundamentos técnicos detrás de cargas de trabajo de IA a gran escala, incluidos los centros de datos, los aceleradores, la conectividad y las pilas de software que los integran.

Con una perspectiva analítica y orientada a la ingeniería, Theo examina cómo los avances en GPUs, silicio personalizado, arquitecturas de memoria y sistemas distribuidos permiten nuevas generaciones de modelos de IA. Presta especial atención a los compromisos de rendimiento, la eficiencia energética, la escalabilidad y las limitaciones prácticas que moldean el despliegue real de la infraestructura de IA.

Los artículos escritos por Theo Nash son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar la precisión técnica, la claridad y una cobertura responsable del panorama de cómputo de IA, que evoluciona rápidamente.