Modèles et plateformes d’IA
AWS ajoute NVIDIA Dynamo géré à l’inférence sur SageMaker HyperPod

Points clésLa topologie désagrégée de Dynamo permet aux pools de préremplissage et de décodage de…
Voir plus
- La topologie désagrégée de Dynamo permet aux pools de préremplissage et de décodage de s'étendre indépendamment, tandis que les deux chargent toujours les poids complets du modèle.
- Le gain de débit de 2,05 fois d'AWS compare des résultats contraints par la latence à différents niveaux de concurrence plutôt que des maxima non restreints.
- HyperPod géré automatise la coordination et la récupération, mais laisse les compromis de topologie et d'allocation de GPU au comportement mesuré de la charge de travail.
Amazon Web Services a annoncé le 17 novembre 2026 qu’Amazon SageMaker HyperPod Inference prend désormais en charge NVIDIA Dynamo pour l’inférence gérée de modèles sur plusieurs nœuds et désagrégée. AWS a également publié des résultats de référence montrant un débit agrégé de jetons de sortie par GPU 2,05 fois supérieur au débit le plus élevé répondant aux critères fixés par ses objectifs de latence.
Cet ajout répond à deux contraintes liées au service des grands modèles de langage : faire tenir les poids du modèle et le cache réutilisable clé-valeur (KV) dans la mémoire des GPU, et éviter que le traitement de longs prompts ne ralentisse la génération de jetons lorsque les deux tâches utilisent les mêmes GPU. AWS illustre la pression exercée sur la mémoire avec GLM-5.3, dont les seuls poids en virgule flottante 8 bits (FP8) dépassent les 640 Go de mémoire GPU disponibles sur une ml.p5.48xlarge instance, avant même la prise en compte du cache KV et de la surcharge liée à l’environnement d’exécution.
HyperPod fournit l’infrastructure gérée qui encadre le framework : mise en réseau Elastic Fabric Adapter (EFA), planification coordonnée des GPU, surveillance de l’état des nœuds, des GPU et d’EFA, et remplacement des nœuds. HyperPod gère ce remplacement, tandis que les composants d’orchestration recréent les processus de travail concernés.
Service désagrégé et routage tenant compte du cache KV
Dynamo est un framework distribué d’inférence open source compatible avec vLLM, SGLang et TensorRT-LLM. Son architecture désagrégée s’appuie sur un frontal qui achemine les requêtes vers les processus de préremplissage, chargés de traiter les prompts, et vers les processus de décodage, qui génèrent les jetons. Ces groupes peuvent être mis à l’échelle et réglés indépendamment, mais chacun charge l’intégralité des poids du modèle ; le cache KV est transféré de l’un à l’autre via EFA.
Dans le service agrégé, les deux étapes s’exécutent au sein du même processus de travail. Dans les deux architectures, les processus de travail peuvent s’exécuter sur une seule instance ou s’étendre sur plusieurs instances, en répartissant le modèle entre les GPU grâce au parallélisme tensoriel et au parallélisme de pipeline. Le routeur de Dynamo, qui tient compte du cache KV, prend en considération le cache de préfixe réutilisable et la charge des processus de travail actifs. Selon AWS, la réutilisation des préfixes peut réduire le recalcul des prompts et améliorer le délai avant le premier jeton, tandis que la prise en compte de la charge aide à éviter de surcharger certains processus de travail.
Benchmarks soumis à des contraintes de latence
La comparaison entre Qwen3-235B-A22B-FP8 et Dynamo et TensorRT-LLM a été menée sur deux p5en.48xlarge instances, pour un total de 16 GPU H200. AIPerf a généré des requêtes comprenant 4 000 jetons d’entrée et 200 jetons de sortie. AWS n’a retenu que les mesures pour lesquelles le délai avant le premier jeton au 90e percentile était inférieur à une seconde et la vitesse médiane de génération atteignait au moins 50 jetons par seconde et par utilisateur.
AWS a indiqué que le service désagrégé atteignait 207 jetons générés par seconde et par GPU avec une concurrence de 80, contre 101 avec une concurrence de 32 pour le meilleur résultat admissible du service agrégé. La comparaison porte donc sur le débit sous contraintes de latence à différents niveaux de concurrence, et non sur un débit maximal sans restriction pour l’une ou l’autre architecture.
Un autre test, mené avec Qwen3.5-397B-A17B-FP8, a utilisé Dynamo et vLLM pour comparer huit GPU H200 sur une p5en.48xlarge instance à quatre GPU sur chacune de deux instances, en conservant la même configuration de modèle, de parallélisme et de charge de travail. AWS a indiqué un débit de 126,4 jetons générés par seconde et par GPU pour la configuration à deux nœuds, soit 99,1 % du débit obtenu sur un seul nœud, avec une concurrence de 32 et une forte réutilisation des préfixes. Le modèle tient sur une seule instance et ne serait normalement pas réparti de cette manière en pratique ; le test a donc servi de référence contrôlée pour mesurer l’effet du franchissement d’une limite entre nœuds sur le débit.
Configuration gérée et planification des ressources
Les utilisateurs ont deux possibilités de configuration. Les utilisateurs actuels de Dynamo peuvent fournir un DynamoGraphDeployment manifeste décrivant le graphe de service et gérer eux-mêmes le stockage, le réseau, le placement des pods, les points de terminaison, TLS, l’enregistrement et la mise à l’échelle automatique. La InferenceEndpointConfig voie utilise dynamoSpec pour configurer des points de terminaison gérés et Kubernetes Event-driven Autoscaling (KEDA), quelle que soit l’architecture de service choisie. Elle utilise vLLM par défaut, fournit des paramètres par défaut pour le routage tenant compte du cache KV et le nombre de réplicas, et prend en charge une interface compatible avec OpenAI via les points de terminaison SageMaker.
Le module complémentaire installe les définitions de ressources personnalisées de Dynamo ainsi que ses composants de service et de planification, tandis que les conteneurs AWS Deep Learning fournissent l’environnement d’exécution. Avec la voie gérée, l’opérateur HyperPod Inference prépare les poids à partir d’Amazon S3 ou de FSx et génère le DynamoGraphDeployment. Grove coordonne les groupes de pods associés, tandis que KAI Scheduler utilise l’ordonnancement en groupe afin que les pods de chaque processus de travail multi-nœuds soient placés ensemble. Pour adopter une version prise en charge de Dynamo, il faut mettre à jour le module complémentaire.
L’exemple GLM-5.3 d’AWS illustre concrètement le choix de répartition des GPU. Sa configuration agrégée exécute un réplica de processus de travail du modèle sur deux ml.p5.48xlarge instances, avec un parallélisme tensoriel de 16 voies et deux réplicas frontaux. La variante désagrégée configure un réplica de préremplissage et deux réplicas de décodage, chacun réparti sur deux instances, soit six instances au total. Le nombre distinct de réplicas montre comment un déploiement peut consacrer des capacités différentes au traitement des prompts et à la génération de jetons, plutôt que de mettre à l’échelle un groupe unique qui combine les deux tâches.
AWS recommande de vérifier la communication EFA avant de réaliser des tests de performance, de tester des longueurs représentatives de prompts et de sorties ainsi que la réutilisation de préfixes, de faire varier le niveau de concurrence en fonction des objectifs de niveau de service, puis d’ajuster la topologie et l’allocation des processus de travail en fonction des goulots d’étranglement mesurés, avant de modifier les paramètres du moteur.
HyperPod prend désormais en charge une plus grande part des tâches de coordination et de reprise, mais les conditions de test de performance et les exemples de déploiement montrent qu’une gestion intégrée ne supprime pas les compromis liés au service d’inférence. La configuration la plus adaptée dépend toujours du comportement mesuré des prompts et de la génération, de la répartition des GPU entre les groupes de processus de travail, ainsi que des priorités de la charge de travail en matière de latence et de coût.












