Modèles et plateformes d’IA

AWS active la surveillance par défaut des points de terminaison d’inférence SageMaker AI

Theo Nash
Ajouter Unite.AI à vos sources préférées sur Google
Points clésLa surveillance par défaut signale la dérive de latence et les GPU inactifs sans que…
Voir plus
  • La surveillance par défaut signale la dérive de latence et les GPU inactifs sans que les utilisateurs aient à définir des seuils à l'avance.
  • Les constats ouvrent un flux de travail agentique SageMaker Studio qui évalue des alternatives sur un calcul séparé avant les changements en production.
  • La surveillance est exempte de coût GPU supplémentaire et peut être désactivée via la variable d'environnement OPT_OUT_TRACKING.

Amazon Web Services (AWS) a activé, le 19 novembre 2026, la surveillance par défaut des points de terminaison d’inférence d’IA générative Amazon SageMaker AI admissibles. Cette mesure ajoute des constats AWS Health concernant les dérives de latence, la capacité GPU inutilisée et les optimisations de service non appliquées.

Aucune configuration n’est nécessaire pour surveiller les points de terminaison utilisant des conteneurs de service vLLM et des instances GPU. La surveillance analyse la latence au niveau du point de terminaison, l’utilisation du GPU et la configuration de service, mais pas le contenu des requêtes ni des réponses. Elle vise à détecter les dérives progressives après le déploiement, à mesure que le trafic, la longueur des invites, les logiciels de service et les besoins en ressources des modèles évoluent.

Cette annonce prolonge les recommandations d’optimisation de l’inférence d’IA générative qu’AWS a présentées le 22 avril 2026. Ce processus permet aux utilisateurs de choisir le coût, la latence ou le débit comme objectif, de comparer jusqu’à trois types d’instances et d’évaluer des configurations sur de véritables GPU avec NVIDIA AIPerf. Il prend également en charge l’évaluation de points de terminaison déjà utilisés en production ; cette nouvelle couche ajoute une observation continue et des notifications à ce processus de décision lancé par l’utilisateur.

Ce que la surveillance détecte

Les constats relatifs aux dérives de latence comparent la latence médiane de bout en bout (p50) et le délai médian avant le premier jeton avec les valeurs de la semaine précédente pour le point de terminaison concerné. Comme la référence repose sur des données historiques, les utilisateurs n’ont pas besoin de définir un seuil à l’avance. L’évaluation qui en découle teste différents paramètres de parallélisme des tenseurs ainsi que d’autres types ou tailles d’instances.

D’autres constats concernent les GPU qui restent largement sous-utilisés, le décodage spéculatif pris en charge mais désactivé, les noyaux GPU non optimisés et les conteneurs de service auxquels manquent des améliorations de performances plus récentes ou des correctifs pour des vulnérabilités critiques ou de gravité élevée. Pour la capacité inutilisée, l’évaluation teste des types d’instances moins coûteux et des tailles plus petites, en fonction du pic de trafic observé. Selon le cas, les tests de configuration comparent la configuration actuelle à une configuration avec décodage spéculatif activé, des noyaux optimisés ou un conteneur mis à jour.

Les exemples d’AWS sont des illustrations pas à pas, et non des mesures effectuées sur l’ensemble de sa flotte : l’un indique que le délai médian avant le premier jeton a augmenté d’environ 200 millisecondes d’une semaine à l’autre, tandis qu’un autre montre que, pendant la majeure partie d’une semaine, même le GPU le plus sollicité n’a utilisé que 12 % de sa capacité, au maximum.

De l’alerte Health à l’évaluation

Les constats sont transmis par AWS Health et par courriel. Chaque point de terminaison reçoit au plus une notification à la fois, couvrant tous les constats applicables. AWS limite le nombre de notifications qu’un compte peut recevoir simultanément, et celles-ci sont propres à la région AWS du point de terminaison.

Une notification précise ce qui a été observé, en quoi cela importe pour la latence, la capacité ou le coût, et quelle action est recommandée ; les estimations sont clairement signalées comme telles. Il s’agit d’une observation, et non d’une évaluation déjà réalisée. L’action ouvre une expérience agentique dans SageMaker Studio, où le point de terminaison et le trafic observé sont préremplis.

Après confirmation de l’utilisateur, l’agent génère un bloc-notes modifiable pour le SDK Python SageMaker, qui utilise le modèle du point de terminaison et un profil de trafic établi à partir de ses métriques. Le bloc-notes associe la tâche de recommandation à l’événement AWS Health, afin que les résultats puissent être reliés au constat. La tâche compare la configuration actuelle à d’autres options selon le temps de réponse, le débit et le coût par million de jetons, en utilisant des ressources de calcul distinctes ; la production reste inchangée tant que l’utilisateur n’applique pas un résultat.

AWS recommande d’appliquer d’abord la configuration choisie à une seule variante de production, tout en gardant la configuration existante disponible pour pouvoir revenir en arrière. Il est également normal de mettre un constat en attente ou de le rejeter ; la notification reste alors dans l’historique des événements AWS Health.

Coûts et options de désactivation

La surveillance n’entraîne aucun coût GPU supplémentaire. Les évaluations sont facturées aux tarifs standard de SageMaker AI ou imputées à une réservation d’apprentissage automatique existante. Pour donner suite à un constat, il faut disposer d’un domaine SageMaker Studio, des autorisations AWS Identity and Access Management nécessaires pour lancer des tâches de recommandation et mettre à jour des points de terminaison, ainsi que d’un quota suffisant pour les instances d’évaluation.

Les clients peuvent gérer l’envoi des notifications dans AWS User Notifications et, s’ils le souhaitent, planifier des recommandations récurrentes, par exemple une fois par mois. Le fait de définir la OPT_OUT_TRACKING variable d’environnement dans un conteneur de modèle interrompt la collecte des métriques du moteur et du GPU de ce point de terminaison, ainsi que des détails sur sa configuration de démarrage, et empêche l’envoi de ses notifications.

La prise en charge d’une optimisation ne garantit pas qu’elle apportera un bénéfice. AWS indique que les résultats du décodage spéculatif dépendent du niveau de concurrence et de la longueur des invites et des réponses, et qu’ils peuvent varier entre les périodes de pointe et les périodes creuses. Cette distinction définit le rôle pratique de la fonctionnalité : la télémétrie par défaut signale un problème potentiel, tandis que l’évaluation détermine si les économies ou l’accélération possibles se confirment pour le trafic qui compte.

Theo Nash est un agent de recherche généré par IA chez Unite.AI, couvrant l’infrastructure IA, le calcul, et les systèmes matériels qui alimentent l’intelligence artificielle moderne. Son travail se concentre sur les fondations techniques des charges de travail IA à grande échelle, y compris les centres de données, les accélérateurs, le réseau et les piles logicielles qui les relient.

Avec une perspective analytique et axée sur l’ingénierie, Theo examine comment les avancées des GPU, du silicium personnalisé, des architectures mémoire et des systèmes distribués permettent de nouvelles générations de modèles IA. Il porte une attention particulière aux compromis de performance, à l’efficacité énergétique, à l’évolutivité et aux contraintes pratiques qui façonnent le déploiement réel de l’infrastructure IA.

Les articles rédigés par Theo Nash sont générés par IA et revus par l’équipe éditoriale de Unite.AI afin d’assurer une précision technique, une clarté et une couverture responsable du paysage du calcul IA en évolution rapide.