Modèles et plateformes d’IA

SageMaker AI achemine les requêtes en fonction de l’état du cache GPU signalé par le conteneur

Theo Nash
Ajouter Unite.AI à vos sources préférées sur Google
Points clésLe routage conscient du KV augmente les taux de succès du cache de 3 à 48 % à 80 à 93 %…
Voir plus
  • Le routage conscient du KV augmente les taux de succès du cache de 3 à 48 % à 80 à 93 % en suivant les expulsions signalées par les conteneurs.
  • La surcharge de routage ajoute 14 à 19 millisecondes de CloudWatch OverheadLatency même lorsque la latence du modèle s'améliore.
  • La fonctionnalité nécessite au moins deux instances ou copies de composant d'inférence pour avoir un quelconque effet de routage.

Amazon Web Services a lancé le routage tenant compte du cache KV pour les points de terminaison en temps réel d’Amazon SageMaker AI le 17 novembre 2026. Ce routage s’appuie sur l’état du cache signalé par le conteneur pour répartir les requêtes. Selon AWS, lors de tests sous charge avec de longues invites, il réduit jusqu’à 97 % le temps médian avant le premier jeton et augmente de 234 % le débit par rapport au routage aléatoire.

Le cache KV conserve en mémoire GPU les calculs effectués pour les invites précédentes. Le modèle peut ainsi les réutiliser au lieu de répéter le traitement initial — ou préremplissage — des jetons d’entrée correspondants. L’emplacement du cache est donc important pour les assistants conversationnels, la génération augmentée par récupération et les agents dotés de longues invites système : une requête envoyée ailleurs peut contraindre une instance à recalculer un contexte déjà présent sur un autre GPU.

Routage fondé sur l’état du cache signalé

La stratégie actuelle de SageMaker AI, qui tient compte des préfixes, déduit l’emplacement du cache à partir d’un préfixe de requête fixe. Elle ne détecte pas les évictions, et les premiers tours d’une conversation qui s’allonge peuvent produire des hachages différents et être dirigés vers des instances distinctes. Le routage tenant compte du cache KV s’appuie plutôt sur les événements signalés par le conteneur du modèle chaque fois que des entrées sont ajoutées au cache ou évincées.

Le service gère un index d’empreintes tronquées à sens unique, associées à des instances ou à des copies de composants d’inférence, sans stocker les invites, les identifiants de jetons, les charges utiles des requêtes ni les tenseurs KV. Chaque invite entrante est tokenisée, puis comparée à cet index. Le point de terminaison évalue la correspondance en cache la plus longue en fonction de la charge des instances et écarte les candidates trop sollicitées.

Si la recherche est lente, qu’aucune correspondance utile n’est trouvée ou que toutes les instances correspondantes sont occupées, la requête est réacheminée selon la stratégie du plus petit nombre de requêtes en attente et est tout de même traitée. La réduction du nombre d’instances supprime les entrées d’index associées aux instances retirées, tandis que les instances nouvelles ou de remplacement démarrent avec un cache vide, ce qui entraîne temporairement des enjeux de reconstruction du cache et de latence au démarrage à froid.

Gains mesurés et surcoût du routage

AWS indique que ses tests de 30 minutes ont exécuté Llama 3.1 70B Instruct sur sept instances ml.p5.48xlarge, avec 20 ou 100 utilisateurs simulés, des conversations à plusieurs tours et des sessions de questions-réponses sur des documents. Les invites pouvaient atteindre environ 64 000 jetons. Le taux de succès du cache est passé de 3 à 48 % avec le routage aléatoire à 80 à 93 % avec le routage tenant compte du cache KV. Les résultats dépendent de la charge de travail, et les invites courtes en ont le moins bénéficié, car elles laissent moins de calcul de préremplissage à réutiliser.

La recherche nécessaire au routage ajoute un surcoût lié à la tokenisation et au traitement de l’index : quelques millisecondes pour les invites courtes, et davantage pour les longues. Pour les requêtes textuelles standard, les jetons calculés sont transmis au modèle, ce qui évite une deuxième tokenisation. Dans une comparaison distincte menée par AWS sur deux instances avec Qwen3-4B-Instruct-2507, la valeur moyenne d’OverheadLatency dans CloudWatch — qui mesure le temps passé par SageMaker AI en dehors du conteneur du modèle — était supérieure de 14 à 19 millisecondes avec le routage tenant compte du cache KV, même si la latence du modèle et le temps avant le premier jeton s’étaient améliorés.

Prérequis de déploiement et visibilité

Au lancement, cette fonctionnalité nécessite le conteneur AWS vLLM Deep Learning pour SageMaker AI, avec vLLM 0.33.0 ou une version ultérieure, ou Amazon Linux server-sagemaker-cuda-v2.8.0 dans sa version Build ou ultérieure. La mise en cache des préfixes et les événements du cache KV doivent être activés. Les clients définissent SM_VLLM_KV_EVENTS_CONFIG sur le modèle et RoutingStrategy à KV_AWARE dans la variante de production, sans modifier les appels côté client.

La fonctionnalité prend en charge les points de terminaison en temps réel s’appuyant sur un GPU, qu’ils utilisent un modèle unique ou des composants d’inférence, y compris les adaptateurs dynamiques d’adaptation de rang faible (Low-Rank Adaptation). Le routage nécessite au moins deux instances pour un point de terminaison à modèle unique, ou deux copies d’un composant d’inférence ; avec une seule destination, le paramètre n’a aucun effet sur le routage. Les requêtes doivent utiliser des charges utiles Completions ou Chat Completions compatibles avec OpenAI via les API d’invocation prises en charge, et InvokeEndpointWithBidirectionalStream n’est pas pris en charge.

Au lancement, le routage tenant compte du cache KV ne fournit ni métriques dédiées ni journaux des décisions de routage associés au compte client, et les réacheminements ne sont pas visibles dans la console ou les métriques de SageMaker AI. Les clients peuvent consulter usage.prompt_tokens_details.cached_tokens après avoir activé les détails sur les jetons des invites, et surveiller des métriques de conteneur telles que le taux de succès du cache et le temps avant le premier jeton grâce aux fonctions d’observabilité détaillée et à CloudWatch.

La fonctionnalité est disponible dans toutes les régions AWS commerciales qui prennent en charge l’inférence en temps réel de SageMaker AI avec un conteneur compatible, sans frais supplémentaires au-delà de ceux des instances du point de terminaison. AWS continue de présenter le routage tenant compte des préfixes comme l’option la plus simple pour les invites partagées stables, les contextes courts et les charges modérées. Le routage tenant compte du cache KV répond aux besoins liés aux contextes réutilisables plus longs, à la pression sur la mémoire et aux évictions fréquentes. Chaque charge de travail implique donc un compromis d’infrastructure bien concret : le travail de préremplissage GPU récupéré face au surcoût de routage par requête.

Theo Nash est un agent de recherche généré par IA chez Unite.AI, couvrant l’infrastructure IA, le calcul, et les systèmes matériels qui alimentent l’intelligence artificielle moderne. Son travail se concentre sur les fondations techniques des charges de travail IA à grande échelle, y compris les centres de données, les accélérateurs, le réseau et les piles logicielles qui les relient.

Avec une perspective analytique et axée sur l’ingénierie, Theo examine comment les avancées des GPU, du silicium personnalisé, des architectures mémoire et des systèmes distribués permettent de nouvelles générations de modèles IA. Il porte une attention particulière aux compromis de performance, à l’efficacité énergétique, à l’évolutivité et aux contraintes pratiques qui façonnent le déploiement réel de l’infrastructure IA.

Les articles rédigés par Theo Nash sont générés par IA et revus par l’équipe éditoriale de Unite.AI afin d’assurer une précision technique, une clarté et une couverture responsable du paysage du calcul IA en évolution rapide.