Modelos y plataformas de IA
AWS añade validación del entrenamiento y detección de trabajos bloqueados a HyperPod

Puntos claveHyperPod ahora verifica que las GPU realmente calculen resultados de entrenamiento…
Ver más
- HyperPod ahora verifica que las GPU realmente calculen resultados de entrenamiento correctos en lugar de solo comprobar la salud del hardware.
- Una regla de detección de bloqueos de 15 minutos reduce el desperdicio de un trabajo estancado de 32 instancias de aproximadamente $16,900 a aproximadamente $530.
- La detección de bloqueos de Slurm permanece desactivada por defecto y un archivo de reglas faltante deja los trabajos sin monitoreo de forma silenciosa.
Amazon Web Services anunció el 18 de noviembre de 2026 tres funciones de fiabilidad para Amazon SageMaker HyperPod, destinadas a detectar fallos numéricos en el entrenamiento, fallos de Kubernetes y trabajos de Slurm atascados, que pueden consumir capacidad de GPU aunque los nodos individuales sigan pareciendo estar en buen estado.
HyperPod ya supervisa los errores de hardware, ejecuta comprobaciones de diagnóstico exhaustivas y prueba la comunicación entre instancias, además de recuperar automáticamente los nodos defectuosos. Sin embargo, esos mecanismos no permiten saber si las GPU calculan correctamente los resultados del entrenamiento, si un trabajo sigue avanzando o si funcionan los servicios de Kubernetes de los que depende.
El ejemplo de costos de AWS muestra el alcance del problema: un bloqueo de ocho horas en 32 instancias ml.p5.48xlarge, que representan 256 GPU NVIDIA H100, desperdicia 2.048 horas de GPU y cuesta alrededor de 16.900 dólares, según el precio aproximado bajo demanda de HyperPod de 66 dólares por hora de instancia en US East (N. Virginia). Una regla de detección de 15 minutos reduce el costo de ese escenario a unos 530 dólares al cancelar el trabajo para que Slurm pueda volver a ponerlo en cola.
Comprobar la corrección del entrenamiento
MultiNodeTrainingValidation amplía las comprobaciones exhaustivas del estado de HyperPod para los clústeres orquestados por Amazon Elastic Kubernetes Service (EKS), mediante grupos de instancias de GPU NVIDIA compatibles con Elastic Fabric Adapter (EFA). La prueba Tiny Megatron ejecuta una carga de trabajo fija de Megatron-LM en todas las GPU de cada instancia, mientras que la prueba Megatron ejecuta esa misma carga de trabajo entre instancias del mismo tipo a través de EFA. Una instancia falla si la pérdida del entrenamiento se convierte en un valor no numérico (NaN) o infinito, o si la ejecución no termina dentro del límite de tiempo.
La comprobación puede ejecutarse al crear o actualizar un grupo de instancias, o bajo demanda para un grupo completo o para instancias seleccionadas a través de la StartClusterHealthCheck API. Los resultados aparecen en los registros de CloudWatch y en las etiquetas de los nodos. Si se produce un fallo, se etiqueta la instancia y, si está habilitada la recuperación automática de nodos, se reinicia o se reemplaza; durante el aprovisionamiento, esto ocurre antes de que los trabajos de los clientes puedan utilizar esa capacidad.
En la prueba de AWS con dos instancias ml.p5.48xlarge, las dos comprobaciones del entrenamiento añadieron unos ocho minutos a una ejecución completa de las comprobaciones exhaustivas del estado, que duró 1 hora y 28 minutos. Las instancias no pueden aceptar cargas de trabajo hasta que terminan las comprobaciones, por lo que el tiempo adicional de aprovisionamiento debe tenerse en cuenta al planificar la capacidad. Superar la carga de trabajo fija confirma que se entrenó correctamente, pero no garantiza que el trabajo de entrenamiento propio de un cliente vaya a converger.
Vincular los fallos del clúster con los trabajos
El agente de supervisión de recursos de Kubernetes de HyperPod se ejecuta como un pod por cada clúster de EKS y prefiere los nodos de CPU para no consumir capacidad de GPU. Supervisa las condiciones de los nodos y los dispositivos de GPU o EFA asignables, los pods de infraestructura críticos, los DaemonSets necesarios y los trabajos de entrenamiento HyperPodPyTorchJob y Kubeflow. Los eventos de Kubernetes de tipo Warning y Normal señalan los fallos y las recuperaciones, mientras que los registros JSON estructurados de CloudWatch conservan el historial y vinculan los trabajos fallidos con sus pods y nodos.
El agente solo informa; no reinicia nodos ni trabajos. La corrección de problemas de hardware sigue a cargo del agente de supervisión del estado y de la recuperación automática de nodos, mientras que el operador de entrenamiento de HyperPod continúa gestionando los reinicios de trabajos.
La integración opcional con NCCL requiere la versión 2.24 o posterior y, en la implementación de AWS, consulta cada 30 segundos el oyente de fiabilidad, disponibilidad y facilidad de mantenimiento (RAS) de cada pod participante. Combina esos informes en un estado del trabajo: correcto, degradado o no saludable. Para acceder al oyente, hay que vincularlo a la IP del pod, lo que expone el puerto TCP 28028 en la red de pods. AWS recomienda aplicar una NetworkPolicy de Kubernetes que limite el acceso al puerto al agente y, al mismo tiempo, permita el tráfico entre los pods del propio trabajo antes de habilitar la supervisión.
Detectar trabajos de Slurm que dejan de avanzar
La función de Slurm requiere una imagen de máquina de Amazon (AMI) de HyperPod Slurm publicada el 10 de noviembre de 2026 o después. Está desactivada de forma predeterminada y se habilita para cada trabajo mediante la HYPERPOD_HANG_RULES variable de entorno, que apunta a un archivo de reglas legible en la misma ruta de cada nodo de cómputo. No se necesitan cambios en los scripts de entrenamiento ni en los contenedores, y la función es compatible con PyTorch, TensorFlow, JAX y scripts personalizados.
La detección predeterminada supervisa la salida del trabajo y la actividad de la GPU para detectar si la salida se detiene mientras las GPU están inactivas pero siguen teniendo memoria asignada, o si la salida permanece en silencio durante más tiempo, independientemente del estado de las GPU. Las reglas personalizadas de expresiones regulares pueden sustituir la detección predeterminada, exigir mensajes periódicos de progreso o declarar de inmediato un bloqueo cuando aparece un patrón de error. Cada método tiene puntos ciegos: la detección predeterminada puede no detectar un trabajo que mantiene ocupadas las GPU sin avanzar, mientras que las reglas personalizadas no detectan bloqueos que no se ajustan a sus patrones.
Una detección escribe un HANG_DETECTED evento en CloudWatch. La acción predeterminada notify deja el trabajo en ejecución; cancel permite que Slurm vuelva a ponerlo en cola hasta el MaxBatchRequeue límite del clúster, aunque los trabajos enviados con --no-requeue permanecen cancelados. Esto es independiente de la reanudación automática, que reinicia los trabajos que terminan tras fallos de hardware, no los que siguen asignados sin avanzar.
La ausencia de un archivo de reglas o su invalidez genera un CONFIG_ERROR un evento en CloudWatch y deja el trabajo sin supervisión, sin que aparezca un error en sbatch, squeue ni en la salida del trabajo. Como el agente no comprueba quién es el propietario del archivo de reglas, AWS recomienda restringir los permisos del archivo y del directorio principal para evitar que otro usuario lo sustituya y modifique la detección o la cancelación de los trabajos que lo utilizan.
En conjunto, estas incorporaciones permiten conocer la corrección del entrenamiento y el progreso de los trabajos, además del estado del hardware, y reducen la necesidad de reconstruir manualmente lo ocurrido a partir de los registros cuando se desperdicia capacidad. La contrapartida es operativa: las comprobaciones de aprovisionamiento más largas, la supervisión con CloudWatch y las reglas de detección cuidadosamente ajustadas pasan a formar parte de la protección del tiempo de uso de las GPU, especialmente cuando la cancelación automática debe distinguir un bloqueo de las pausas normales durante la creación de puntos de control o la evaluación.












