Modelos y plataformas de IA
AWS habilita la supervisión predeterminada de los endpoints de inferencia de SageMaker AI

Puntos claveLa supervisión predeterminada detecta la deriva de latencia y las GPU inactivas sin…
Ver más
- La supervisión predeterminada detecta la deriva de latencia y las GPU inactivas sin requerir que los usuarios establezcan umbrales de antemano.
- Los hallazgos abren un flujo de trabajo agéntico de SageMaker Studio que evalúa alternativas en cómputo separado antes de los cambios en producción.
- La supervisión no tiene costo adicional de GPU y se puede desactivar mediante la variable de entorno OPT_OUT_TRACKING.
Amazon Web Services (AWS) habilitó el 19 de noviembre de 2026 la supervisión predeterminada de los endpoints de inferencia de IA generativa de Amazon SageMaker AI que cumplen los requisitos, y añadió hallazgos de AWS Health sobre desviaciones de latencia, capacidad de GPU inactiva y optimizaciones de servicio no aplicadas.
La supervisión no requiere configuración en los endpoints que utilizan contenedores de servicio vLLM e instancias con GPU. Lee la latencia a nivel del endpoint, la utilización de GPU y la configuración del servicio, pero no el contenido de las solicitudes ni de las respuestas. Su objetivo es detectar desviaciones graduales tras la implementación, a medida que cambian el tráfico, la longitud de las instrucciones, el software de servicio y los requisitos de recursos del modelo.
El anuncio amplía las recomendaciones para optimizar la inferencia de IA generativa que AWS presentó el 22 de abril de 2026. Ese flujo de trabajo permite a los usuarios elegir el costo, la latencia o el rendimiento como objetivo, comparar hasta tres tipos de instancia y evaluar configuraciones en GPU reales con NVIDIA AIPerf. También permite evaluar endpoints de producción existentes; la nueva capa añade observación continua y notificaciones a ese proceso de toma de decisiones iniciado por el usuario.
Qué detecta la supervisión
Los hallazgos sobre desviaciones de latencia comparan la latencia mediana de extremo a extremo (p50) y el tiempo mediano hasta el primer token con los de la semana anterior del propio endpoint. Como la referencia se basa en datos históricos, los usuarios no necesitan establecer un umbral de antemano. La evaluación resultante prueba distintas configuraciones de paralelismo tensorial y tipos o tamaños de instancia alternativos.
Otros hallazgos abarcan GPU que se mantienen muy por debajo de su capacidad, decodificación especulativa compatible pero desactivada, núcleos de GPU sin ajustar y contenedores de servicio que no incluyen mejoras de rendimiento recientes o parches para vulnerabilidades críticas y de gravedad alta. Para la capacidad no utilizada, la evaluación prueba tipos de instancia más económicos y tamaños más pequeños con el tráfico máximo observado. Las pruebas de configuración comparan la configuración actual con la decodificación especulativa activada, núcleos ajustados o un contenedor actualizado, según corresponda.
Los ejemplos de AWS son ilustraciones explicativas, no mediciones de toda la flota: uno informa que el tiempo mediano hasta el primer token aumentó aproximadamente 200 milisegundos de una semana a otra, mientras que otro indica que incluso la GPU más ocupada utilizó el 12 % o menos de su capacidad durante la mayor parte de una semana.
De la alerta de estado a la evaluación comparativa
Los hallazgos se comunican a través de AWS Health y por correo electrónico. Cada endpoint recibe como máximo una notificación a la vez que abarca todos los hallazgos aplicables; AWS limita cuántas notificaciones recibe una cuenta simultáneamente, y estas son específicas de la región de AWS del endpoint.
La notificación indica qué se observó, por qué es importante para la latencia, la capacidad o el costo, y qué acción se recomienda; las estimaciones se identifican como tales. Se trata de una observación, no de una evaluación comparativa ya realizada. La acción abre una experiencia agéntica en SageMaker Studio, con el endpoint y el tráfico observado ya completados.
Tras la confirmación del usuario, el agente genera un cuaderno editable del SDK de Python de SageMaker que utiliza el modelo del endpoint y un perfil de tráfico derivado de sus métricas. El cuaderno etiqueta el trabajo de recomendación con el evento de AWS Health, de modo que los resultados puedan vincularse al hallazgo. El trabajo compara la configuración actual con otras alternativas en cuanto al tiempo de respuesta, el rendimiento y el costo por millón de tokens, utilizando recursos de cómputo independientes; la producción no cambia hasta que el usuario aplica un resultado.
AWS recomienda aplicar primero la configuración seleccionada a una variante de producción y mantener disponible la configuración existente para poder revertir el cambio. También es normal aplazar o descartar un hallazgo, cuya notificación permanece en el historial de eventos de AWS Health.
Costos y controles para excluirse
La supervisión no tiene costos adicionales de GPU. Las evaluaciones comparativas se facturan según las tarifas estándar de SageMaker AI o se cubren con una reserva de aprendizaje automático existente. Para actuar sobre un hallazgo se requiere un dominio de SageMaker Studio, permisos de AWS Identity and Access Management para ejecutar trabajos de recomendación y actualizar endpoints, y una cuota suficiente para las instancias de evaluación comparativa.
Los clientes pueden gestionar la entrega mediante AWS User Notifications y, si lo desean, programar recomendaciones periódicas, por ejemplo, ejecuciones mensuales. Al establecer la OPT_OUT_TRACKING variable de entorno en un contenedor de modelo, se detiene la recopilación de las métricas del motor, las métricas de GPU y los detalles de configuración de inicio de ese endpoint, y se impiden sus notificaciones.
La compatibilidad con una optimización no garantiza que vaya a producir beneficios. AWS señala que los resultados de la decodificación especulativa dependen de la concurrencia y de la longitud de las instrucciones y las respuestas, y pueden variar entre las horas punta y las horas de menor actividad. Esta distinción define la función práctica de la característica: la telemetría predeterminada emite la alerta, mientras que la evaluación comparativa determina si el posible ahorro o aumento de velocidad se mantiene con el tráfico que importa.












