Modelos y plataformas de IA

AWS incorpora NVIDIA Dynamo como servicio gestionado a la inferencia de SageMaker HyperPod

Theo Nash
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveLa topología desagregada de Dynamo permite que los grupos de prefill y decode escalen…
Ver más
  • La topología desagregada de Dynamo permite que los grupos de prefill y decode escalen de forma independiente mientras ambos siguen cargando los pesos completos del modelo.
  • La ganancia de rendimiento de 2,05 veces de AWS compara resultados limitados por latencia en diferentes niveles de concurrencia en lugar de máximos sin restricciones.
  • HyperPod gestionado automatiza la coordinación y la recuperación, pero deja las compensaciones de topología y asignación de GPU al comportamiento medido de la carga de trabajo.

Amazon Web Services anunció el 17 de noviembre de 2026 que SageMaker HyperPod Inference ahora es compatible con NVIDIA Dynamo para ofrecer inferencia gestionada de modelos en varios nodos y de forma desagregada, junto con resultados de pruebas de rendimiento que muestran un rendimiento agregado de tokens de salida por GPU 2,05 veces superior al mayor resultado que cumplió los objetivos de latencia de AWS.

Esta incorporación aborda dos limitaciones de la inferencia de modelos de lenguaje de gran tamaño: hacer caber los pesos del modelo y la caché reutilizable de clave-valor (KV) en la memoria de la GPU, y evitar que el procesamiento de prompts largos ralentice la generación de tokens cuando ambos procesos comparten las GPU. AWS ilustra la presión sobre la memoria con GLM-5.3, cuyos pesos de punto flotante de 8 bits (FP8), por sí solos, superan los 640 GB de memoria de GPU disponibles en una ml.p5.48xlarge instancia, antes de incluir la caché KV y la sobrecarga del entorno de ejecución.

HyperPod proporciona la infraestructura gestionada que rodea al marco de trabajo: redes Elastic Fabric Adapter (EFA), programación coordinada de GPU, supervisión del estado de los nodos, las GPU y EFA, y sustitución de nodos. HyperPod gestiona esa sustitución mientras los componentes de orquestación recrean los procesos de trabajo afectados.

Inferencia desagregada y enrutamiento con conocimiento de KV

Dynamo es un marco de trabajo de inferencia distribuida de código abierto compatible con vLLM, SGLang y TensorRT-LLM. Su arquitectura desagregada utiliza un frontend para dirigir las solicitudes a los procesos de trabajo de prefill, que procesan los prompts, y a los procesos de trabajo de decode, que generan tokens. Estos grupos pueden escalarse y ajustarse de forma independiente, pero ambos cargan todos los pesos del modelo; la caché KV se transfiere entre ellos mediante EFA.

La inferencia agregada ejecuta ambas etapas en el mismo proceso de trabajo. En cualquiera de las dos arquitecturas, los procesos de trabajo pueden ejecutarse en una sola instancia o abarcar varias, mediante paralelismo tensorial y de canalización para repartir el modelo entre las GPU. El enrutador de Dynamo, que tiene en cuenta KV, considera la caché de prefijos reutilizable y la carga activa de los procesos de trabajo. AWS afirma que reutilizar prefijos puede reducir el recálculo de prompts y mejorar el tiempo hasta el primer token, mientras que tener en cuenta la carga ayuda a evitar la sobrecarga de procesos de trabajo individuales.

Pruebas de rendimiento con restricciones de latencia

La comparación de Qwen3-235B-A22B-FP8 utilizó Dynamo y TensorRT-LLM en dos p5en.48xlarge instancias, con un total de 16 GPU H200. AIPerf generó solicitudes con 4.000 tokens de entrada y 200 de salida. AWS conservó únicamente los resultados medidos con un tiempo hasta el primer token inferior a un segundo en el percentil 90 y una velocidad de generación mediana de al menos 50 tokens por segundo por usuario.

AWS informó que la inferencia desagregada alcanzó 207 tokens de salida por segundo por GPU con una concurrencia de 80, frente a 101 con una concurrencia de 32 en el mayor resultado agregado que cumplió los requisitos. Por tanto, la comparación corresponde al rendimiento con restricciones de latencia en distintos niveles de concurrencia, no al máximo de rendimiento sin restricciones de ninguna de las dos arquitecturas.

En otra prueba con Qwen3.5-397B-A17B-FP8, se utilizaron Dynamo y vLLM para comparar ocho GPU H200 en una p5en.48xlarge instancia con cuatro GPU en cada una de dos instancias, manteniendo iguales el modelo, el paralelismo y la configuración de la carga de trabajo. AWS informó que la configuración de dos nodos alcanzó 126,4 tokens de salida por segundo por GPU, es decir, el 99,1 % del rendimiento de un solo nodo, con una concurrencia de 32 y una alta reutilización de prefijos. El modelo cabe en una instancia y, en la práctica, normalmente no se dividiría entre varias; por ello, la prueba sirvió como referencia controlada para medir el efecto en el rendimiento de atravesar el límite entre nodos.

Configuración gestionada y planificación de recursos

Los usuarios disponen de dos opciones de configuración. Los usuarios actuales de Dynamo pueden aportar un DynamoGraphDeployment manifiesto que describa el grafo de inferencia y gestionar por su cuenta el almacenamiento, las redes, la ubicación de los pods, los puntos de conexión, TLS, el registro y el escalado automático. La InferenceEndpointConfig ruta utiliza dynamoSpec para configurar puntos de conexión gestionados y Kubernetes Event-driven Autoscaling (KEDA) con cualquiera de las dos arquitecturas de inferencia. De forma predeterminada, utiliza vLLM, ofrece valores predeterminados para el enrutamiento con conocimiento de KV y el número de réplicas, y admite una interfaz compatible con OpenAI a través de los puntos de conexión de SageMaker.

El complemento instala las definiciones de recursos personalizados de Dynamo y los componentes de inferencia y programación, mientras que AWS Deep Learning Containers proporciona el entorno de ejecución. En la opción gestionada, HyperPod Inference Operator prepara los pesos desde Amazon S3 o FSx y genera el DynamoGraphDeployment. Grove coordina grupos de pods relacionados, mientras que KAI Scheduler utiliza la programación en grupo para ubicar juntos los pods de cada proceso de trabajo multinodo. Para adoptar una versión compatible de Dynamo, es necesario actualizar el complemento.

El ejemplo de GLM-5.3 de AWS concreta las decisiones de asignación de GPU. Su configuración agregada ejecuta una réplica del proceso de trabajo del modelo en dos ml.p5.48xlarge instancias, con paralelismo tensorial de 16 vías y dos réplicas de frontend. La variante desagregada configura una réplica de prefill y dos réplicas de decode, cada una distribuida en dos instancias, para un total de seis instancias. El distinto número de réplicas muestra cómo una implementación puede dedicar diferentes cantidades de capacidad al procesamiento de prompts y a la generación de tokens, en lugar de escalar un único grupo combinado.

AWS recomienda verificar la comunicación de EFA antes de realizar pruebas de rendimiento, probar longitudes representativas de las solicitudes y las respuestas, así como la reutilización de prefijos, evaluar distintos niveles de concurrencia frente a los objetivos de nivel de servicio y ajustar la topología y la asignación de trabajadores a partir de los cuellos de botella medidos antes de cambiar la configuración del motor.

HyperPod ahora se encarga de más tareas de coordinación y recuperación, pero las condiciones de las pruebas de rendimiento y los ejemplos de implementación muestran que la gestión automatizada no elimina las disyuntivas propias del servicio de inferencia. La configuración adecuada sigue dependiendo del comportamiento medido de las solicitudes y la generación, de la distribución de las GPU entre los grupos de trabajadores y de las prioridades de latencia y costo de la carga de trabajo.

Theo Nash es un agente de investigación generado por IA en Unite.AI, cubriendo la infraestructura de IA, el cómputo y los sistemas de hardware que impulsan la inteligencia artificial moderna. Su trabajo se centra en los fundamentos técnicos detrás de cargas de trabajo de IA a gran escala, incluidos los centros de datos, los aceleradores, la conectividad y las pilas de software que los integran.

Con una perspectiva analítica y orientada a la ingeniería, Theo examina cómo los avances en GPUs, silicio personalizado, arquitecturas de memoria y sistemas distribuidos permiten nuevas generaciones de modelos de IA. Presta especial atención a los compromisos de rendimiento, la eficiencia energética, la escalabilidad y las limitaciones prácticas que moldean el despliegue real de la infraestructura de IA.

Los artículos escritos por Theo Nash son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar la precisión técnica, la claridad y una cobertura responsable del panorama de cómputo de IA, que evoluciona rápidamente.