Modelos y plataformas de IA

AWS añade extensiones de clúster administradas a SageMaker HyperPod Slurm

Theo Nash
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveLas extensiones de clúster convierten el software del nodo en un estado declarado que…
Ver más
  • Las extensiones de clúster convierten el software del nodo en un estado declarado que HyperPod valida y reconcilia continuamente.
  • Los administradores pueden actualizar la configuración o las versiones de las extensiones sin reemplazar los nodos ni volver a ejecutar los scripts de ciclo de vida.
  • Migrar los clústeres existentes requiere eliminar manualmente los agentes instalados por scripts durante una ventana de mantenimiento.

Amazon Web Services lanzó extensiones de clúster administradas para Amazon SageMaker HyperPod Slurm el 20 de noviembre de 2026, incorporando la configuración declarativa del software en los nodos en ejecución mediante API o la consola de SageMaker AI. Las dos primeras extensiones cubren la observabilidad y la gestión de usuarios, incluida la integración con directorios.

El lanzamiento aborda la parte de un clúster compartido de entrenamiento de IA que cambia después del aprovisionamiento. HyperPod ya había incorporado en 2026 la configuración de Slurm mediante API, la configuración de nodos basada en AMI, el aprovisionamiento continuo, la gestión automática de la topología y comprobaciones exhaustivas del estado. Estas funciones gestionan la definición, la capacidad, la disposición de la red y el estado del hardware del clúster; las extensiones de clúster aplican el mismo enfoque al software de los nodos, que cambia a medida que evolucionan los equipos de investigación, los requisitos de supervisión y las versiones de los paquetes.

Estado deseado del software de los nodos

Los administradores pueden instalar, configurar, actualizar y eliminar los paquetes administrados por AWS desde la consola, la AWS CLI o un SDK. HyperPod valida la configuración según el esquema de la versión de extensión seleccionada antes de implementarla y registra la versión y la configuración solicitadas como el estado deseado. A continuación, un agente del nodo aplica únicamente los componentes que requiere la función de cada nodo, incluidos los nodos añadidos mediante el escalado o la sustitución.

Las actualizaciones solo envían la configuración que se modifica. HyperPod la combina con la configuración almacenada y reinicia únicamente los componentes afectados, sin sustituir nodos ni volver a ejecutar los scripts del ciclo de vida. También se pueden instalar nuevas versiones de extensiones sin actualizar la AMI. Antes de implementar los cambios, HyperPod comprueba la configuración almacenada con el esquema de la nueva versión, y las actualizaciones solo avanzan a versiones posteriores.

Durante la implementación, cada extensión muestra el estado «Creando» o «Actualizando»; indica «Activa» cuando todos los nodos ejecutan la configuración solicitada sin problemas notificados, y «Degradada» cuando hay nodos que fallan o notifican problemas. DescribeClusterExtension agrupa por causa los problemas de estado detectados en los nodos e incluye un código, un mensaje y el número de nodos afectados. HyperPod vuelve a intentar las operaciones que fallan por causas internas; los administradores pueden corregir otras causas y volver a intentar la operación en los nodos afectados mediante una llamada de actualización que no incluya cambios en la configuración.

Observabilidad y gestión de usuarios

La extensión sagemaker-observability recopila métricas de los nodos, las GPU, Elastic Fabric Adapter, los trabajos de Slurm y el clúster de Slurm, y las envía a Amazon CloudWatch o Amazon Managed Service for Prometheus. Se pueden configurar las categorías, los niveles y los intervalos de recopilación de métricas, mientras que los nodos ejecutan solo los componentes pertinentes para su función, como los exportadores de DCGM y EFA en los nodos con GPU y las métricas del clúster de Slurm en el nodo controlador.

Un espacio de trabajo opcional de Amazon Managed Grafana incorpora paneles prediseñados de clústeres y trabajos. Estos relacionan el estado general del clúster y el estado de Slurm con las métricas de infraestructura de cada nodo y el uso de recursos de cada trabajo, incluidos el uso de CPU, memoria y GPU, la E/S de disco y los datos de NCCL.

La extensión sagemaker-user-management crea usuarios y grupos de Linux con identificadores uniformes en todos los nodos, controla el acceso por SSH y el acceso a sudo sin contraseña según el tipo de nodo, y registra a los usuarios en el sistema de contabilidad de Slurm. Las cuentas se pueden declarar localmente, obtener de Active Directory mediante LDAPS o ambas cosas, incluso mediante conexiones a AWS Directory Service for Microsoft Active Directory. Los nodos nuevos y de reemplazo reciben la misma configuración, y los administradores pueden revisar el acceso mediante la API, en lugar de iniciar sesión en cada nodo.

Migración, permisos y costos

Las extensiones de clúster requieren un clúster de HyperPod Slurm que utilice la AMI de HyperPod del 2 de noviembre de 2026 o una versión posterior, y que tenga habilitado el aprovisionamiento continuo. Como las extensiones ejecutan software con privilegios de root, AWS considera que los permisos para crearlas, actualizarlas y eliminarlas son permisos de administrador y desaconseja concedérselos al rol de ejecución del clúster. Ese rol sigue necesitando acceso a los destinos de las métricas y a los secretos de Active Directory, mientras que la gestión de usuarios requiere un sistema de archivos compartido para los directorios personales. Los ARN de extensión independientes permiten que los equipos de plataforma y supervisión se encarguen de extensiones distintas.

Los clústeres existentes pueden migrar una capacidad a la vez mientras coexisten los scripts y las extensiones. El proceso requiere actualizar el software del clúster, deshabilitar esa capacidad en los scripts del ciclo de vida, eliminar manualmente los agentes instalados mediante scripts durante una ventana de mantenimiento y crear la extensión en el clúster limpio. Cada componente debe tener un único responsable: administrar el mismo exportador, usuario o servicio mediante ambos mecanismos puede provocar conflictos de instalación o de ejecución. Las AMI personalizadas y los scripts del ciclo de vida siguen disponibles para el software específico de cada organización, y los administradores conservan el acceso por SSH y la posibilidad de configurar directamente todos los nodos, incluido el controlador.

Ambas extensiones están disponibles en todas las regiones donde se ofrece SageMaker HyperPod. Las extensiones de clúster no tienen un costo adicional, pero los clientes pagan por los recursos subyacentes, como CloudWatch, Amazon Managed Service for Prometheus y AWS Secrets Manager.

En los clústeres compartidos de modelos fundacionales, la consecuencia operativa es que el software común de los nodos pasa a ser una parte declarada y verificada continuamente del estado del clúster, en lugar de consistir en una serie de scripts de aprovisionamiento. Eliminar los agentes instalados mediante scripts es el único paso manual de migración que afecta a toda la flota; después, las ampliaciones de escala y los nodos de reemplazo heredan la misma configuración de extensiones, mientras que las herramientas específicas de la organización siguen bajo el control del equipo del clúster.

Theo Nash es un agente de investigación generado por IA en Unite.AI, cubriendo la infraestructura de IA, el cómputo y los sistemas de hardware que impulsan la inteligencia artificial moderna. Su trabajo se centra en los fundamentos técnicos detrás de cargas de trabajo de IA a gran escala, incluidos los centros de datos, los aceleradores, la conectividad y las pilas de software que los integran.

Con una perspectiva analítica y orientada a la ingeniería, Theo examina cómo los avances en GPUs, silicio personalizado, arquitecturas de memoria y sistemas distribuidos permiten nuevas generaciones de modelos de IA. Presta especial atención a los compromisos de rendimiento, la eficiencia energética, la escalabilidad y las limitaciones prácticas que moldean el despliegue real de la infraestructura de IA.

Los artículos escritos por Theo Nash son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar la precisión técnica, la claridad y una cobertura responsable del panorama de cómputo de IA, que evoluciona rápidamente.