AWS incorpora la partición de GPU de NVIDIA a los puntos de conexión de inferencia de SageMaker

Amazon Web Services (AWS) anunció la compatibilidad con NVIDIA Multi-Instance GPU para Amazon SageMaker Inference el 6 de noviembre de 2026, lo que permite que varios modelos aislados por hardware compartan un acelerador en puntos de conexión en tiempo real, en lugar de asignar una GPU completa a cada implementación.

La función aborda dos limitaciones de la asignación de una GPU completa. La cantidad de aceleradores limita cuántos modelos puede alojar una instancia, independientemente de la poca memoria o capacidad de cómputo que utilice cada modelo, y los clientes que estén considerando una GPU más nueva deben asignar el dispositivo completo. Multi-Instance GPU (MIG), en cambio, asigna a cada partición una proporción fija de las unidades de cómputo y un bloque de memoria dedicado, con aislamiento aplicado por hardware. Como cada modelo permanece residente, esta configuración también evita la demora que se produce cuando un punto de conexión multimodelo carga por primera vez un modelo en el dispositivo compartido.

La partición está limitada a los puntos de conexión en tiempo real que utilizan componentes de inferencia, el mecanismo de SageMaker para implementar varios modelos en un punto de conexión y definir la capacidad de cómputo que recibe cada uno. Los puntos de conexión de un solo modelo, los puntos de conexión sin servidor y los grupos de instancias heterogéneas no se pueden particionar. Las cargas de trabajo asíncronas también quedan fuera del alcance de la función, porque la invocación asíncrona no puede dirigirse a un componente de inferencia.

Salesforce ayudó a definir los requisitos y a validar la implementación inicial. Richard Chang, arquitecto de ingeniería de software de Salesforce, dijo que la empresa esperaba que MIG permitiera consolidar cargas de trabajo de forma segura, mejorar la utilización de las GPU y reducir los costos de inferencia, al tiempo que mantuviera un rendimiento predecible y el aislamiento. Salesforce se prepara para validar el software con cargas de trabajo de producción representativas, por lo que esos beneficios son expectativas y no resultados de producción comunicados.

Dos campos de API controlan la partición

La documentación para desarrolladores de SageMaker AI define dos campos opcionales: AcceleratorPartitionLayouts declara la partición en una variante de producción, y AcceleratorPartitionType selecciona el perfil que utiliza un componente de inferencia. No hay nuevas operaciones de API, tipos de recursos ni acciones de AWS Identity and Access Management; si se omiten ambos campos, se conserva el comportamiento actual de los puntos de conexión.

La disposición seleccionada se aplica de manera uniforme a todos los aceleradores de cada instancia de la variante. En el ejemplo de AWS, cada una de las ocho A100 de una ml.p4d.24xlarge se divide en mig-4g.20gb, mig-2g.10gb y mig-1g.5gb particiones, lo que da lugar a 24 particiones en todo el punto de conexión. Cada copia de un componente de inferencia ocupa una de las particiones solicitadas, mientras que InvokeEndpoint sigue dirigiéndose a los modelos por nombre de componente, sin un identificador de partición. AWS indicó que, en sus pruebas, particionar los aceleradores añadió aproximadamente 17 segundos al aprovisionamiento.

El aislamiento abarca la capacidad de cómputo y la memoria de la GPU, pero no todo el host. Los modelos de una misma instancia siguen compartiendo la CPU del host, la memoria del host, el almacenamiento, la red y el enrutamiento del punto de conexión. Si un componente solicita un perfil que no está en la disposición, se rechaza la solicitud en lugar de asignarle una GPU completa. Para cambiar la disposición de un punto de conexión en ejecución, se necesita un punto de conexión nuevo y migrar el tráfico; para trasladar un componente a otro perfil, se necesita un componente nuevo.

AWS prueba una partición H100 frente a una A100 completa

AWS comparó una mig-3g.40gb partición H100 con una A100-40GB completa, usando Llama-3.1-8B-Instruct en puntos de conexión de inferencia en tiempo real de SageMaker en producción. En ambas configuraciones se utilizó una réplica del modelo, contenedores, tokenizadores y configuraciones de cliente idénticos, y genai-bench ejecutó cinco patrones de tráfico con niveles de concurrencia de 2 a 512. La guía de perfiles de NVIDIA asigna al perfil H100 probado tres de las siete partes de multiprocesadores de transmisión y cuatro de las ocho unidades de memoria. Las dos configuraciones tienen una capacidad de memoria comparable, pero distintas asignaciones de capacidad de cómputo.

En el conjunto de las pruebas, AWS comunicó que la partición H100 ofreció entre un 53 % y un 89 % más de tokens de salida por segundo en el nivel de carga en el que el beneficio en costos de cada escenario era mayor. La latencia entre tokens fue entre un 8,9 % y un 42,1 % menor, y el tiempo hasta el primer token, entre un 5,6 % y un 47,5 % menor. Con la concurrencia más alta en cargas de trabajo de 6.000 y 8.000 tokens, la A100 incumplió el plazo de respuesta en entre un tercio y la mitad de las solicitudes, mientras que la partición no incumplió ninguna.

El análisis de costos de AWS, presentado como una comparación caso por caso y no como una conclusión universal, encontró un costo por millón de tokens de salida entre un 18 % y un 34 % menor una vez que el tráfico superaba el umbral de rentabilidad específico de cada carga de trabajo. Ese umbral se alcanzó con una concurrencia de 64 para las solicitudes de 100 tokens y de 4 para las de 8.000 tokens. Por debajo de ese nivel, la A100 completa seguía siendo más barata, por lo que la GPU completa de la generación anterior podría ser más adecuada para cargas de trabajo con entradas cortas o baja concurrencia. Para comparar el costo unitario, se dividió el precio de las instancias bajo demanda entre la cantidad de unidades probadas en cada instancia.

Hardware compatible y límites operativos

El lanzamiento abarca cuatro familias de instancias, con cantidades de particiones y perfiles determinados por el acelerador:

La partición de GPU está disponible en Este de EE. UU. (Norte de Virginia), Este de EE. UU. (Ohio), Oeste de EE. UU. (Oregón), Asia-Pacífico (Singapur), Asia-Pacífico (Tokio), Europa (Fráncfort) y Europa (Irlanda), sujeta a la disponibilidad de instancias en cada región y a la cuota del endpoint. Ninguna partición abarca varios aceleradores, por lo que los modelos que necesitan una GPU completa o varias GPU siguen requiriendo dispositivos enteros.

Los clientes siguen pagando el precio de la instancia con la GPU completa; la partición puede aumentar la capacidad aprovechable, pero no reduce el precio por hora. Los endpoints particionados y sus componentes de inferencia tampoco publican métricas de uso de GPU, CPU o memoria en CloudWatch, aunque las métricas de invocación y latencia siguen estando disponibles. En P4d, el mig-1g.10gb perfil requiere el controlador R525 de NVIDIA o una versión posterior, y AWS recomienda a los clientes usar una AMI de inferencia más reciente, ya que la imagen predeterminada no lo incluye.

Para planificar la capacidad, el lanzamiento convierte cada acelerador compatible en varios tamaños fijos de GPU, pero una implementación más densa y aislada por hardware implica facturación por la instancia completa, configuraciones que no se pueden modificar una vez implementadas y menos datos de telemetría sobre el uso. Las pruebas comparativas de AWS muestran el valor de medir el tráfico real: en esas pruebas, la partición H100 ofreció ventajas de rendimiento y costo con cargas más exigentes de contextos largos, mientras que los resultados del punto de equilibrio indicaron que una A100 completa era más económica para cargas de trabajo más ligeras.