Modèles et plateformes d’IA
AWS ajoute à HyperPod la validation de l’entraînement et la détection des tâches bloquées

Points clésHyperPod vérifie désormais que les GPU calculent réellement des résultats…
Voir plus
- HyperPod vérifie désormais que les GPU calculent réellement des résultats d'entraînement corrects plutôt que de seulement contrôler la santé du matériel.
- Une règle de détection de blocage de 15 minutes réduit le gaspillage d'une tâche bloquée de 32 instances d'environ 16 900 $ à environ 530 $.
- La détection de blocage de Slurm reste désactivée par défaut et un fichier de règles manquant laisse les tâches non surveillées silencieusement.
Amazon Web Services a annoncé le 18 novembre 2026 trois fonctionnalités de fiabilité pour Amazon SageMaker HyperPod, destinées à détecter les erreurs numériques de l’entraînement, les défaillances de Kubernetes et les tâches Slurm bloquées, qui peuvent mobiliser la capacité GPU alors que les nœuds individuels semblent toujours fonctionner normalement.
HyperPod surveille déjà les erreurs matérielles, effectue des contrôles approfondis et teste les communications entre les instances, avec une récupération automatique des nœuds défectueux. Ces mesures ne permettent pas de déterminer si les GPU calculent correctement les résultats de l’entraînement, si une tâche progresse toujours ou si les services Kubernetes dont elle dépend fonctionnent.
L’exemple de coût présenté par AWS illustre le risque : un blocage de huit heures sur 32 instances ml.p5.48xlarge, soit 256 GPU NVIDIA H100, entraîne le gaspillage de 2 048 heures-GPU et coûte environ 16 900 $, sur la base du tarif à la demande approximatif de HyperPod, soit 66 $ par instance-heure dans l’est des États-Unis (Virginie du Nord). Une règle de détection de 15 minutes ramène le coût de ce scénario à environ 530 $ en annulant la tâche, afin que Slurm puisse la remettre en file d’attente.
Vérifier la validité de l’entraînement
MultiNodeTrainingValidation étend les contrôles approfondis de l’état de santé de HyperPod aux clusters orchestrés par Amazon Elastic Kubernetes Service (EKS), en utilisant des groupes d’instances GPU NVIDIA compatibles avec Elastic Fabric Adapter (EFA). Son test Tiny Megatron exécute une charge de travail Megatron-LM fixe sur tous les GPU de chaque instance, tandis que le test Megatron exécute la même charge de travail sur des instances de même type, via EFA. Une instance échoue si la perte d’entraînement devient une valeur non numérique (NaN) ou infinie, ou si l’exécution ne se termine pas dans le délai imparti.
Le contrôle peut être lancé lors de la création ou de la mise à jour d’un groupe d’instances, ou à la demande pour un groupe entier ou des instances sélectionnées, via l’ StartClusterHealthCheck API. Les résultats apparaissent dans les journaux CloudWatch et les étiquettes des nœuds. En cas d’échec, l’instance est étiquetée et, si la récupération automatique des nœuds est activée, elle est redémarrée ou remplacée ; pendant le provisionnement, cela se produit avant que les tâches des clients puissent utiliser la capacité.
Lors d’un test d’AWS sur deux instances ml.p5.48xlarge, les deux contrôles d’entraînement ont ajouté environ huit minutes à une vérification approfondie complète de l’état de santé qui a duré 1 heure et 28 minutes. Les instances ne peuvent pas accepter de charges de travail avant la fin des contrôles : ce délai de provisionnement supplémentaire doit donc être pris en compte dans la planification de la capacité. La réussite de la charge de travail fixe confirme que celle-ci a été exécutée correctement, mais ne garantit pas que la propre tâche d’entraînement d’un client convergera.
Relier les défaillances du cluster aux tâches
L’agent de surveillance des ressources Kubernetes de HyperPod s’exécute dans un pod par cluster EKS et privilégie les nœuds CPU afin de ne pas mobiliser la capacité GPU. Il surveille l’état des nœuds et les périphériques GPU ou EFA pouvant être alloués, les pods d’infrastructure critiques, les DaemonSets requis, ainsi que les tâches d’entraînement HyperPodPyTorchJob et Kubeflow. Les événements Kubernetes de type Warning et Normal signalent les défaillances et les rétablissements, tandis que les journaux CloudWatch structurés au format JSON conservent l’historique et relient les tâches ayant échoué à leurs pods et à leurs nœuds.
L’agent se contente de signaler les problèmes ; il ne redémarre ni les nœuds ni les tâches. La remédiation matérielle reste du ressort de l’agent de surveillance de l’état de santé et de la récupération automatique des nœuds, tandis que l’opérateur d’entraînement HyperPod continue de gérer le redémarrage des tâches.
L’intégration facultative de NCCL nécessite la version 2.24 ou une version ultérieure et, dans l’implémentation d’AWS, interroge toutes les 30 secondes l’écouteur de fiabilité, disponibilité et maintenabilité (RAS) de chaque pod participant. Elle regroupe ces rapports pour établir l’état de santé de la tâche : sain, dégradé ou non sain. Pour accéder à l’écouteur, il faut le lier à l’adresse IP du pod, ce qui expose le port TCP 28028 sur le réseau des pods. AWS recommande d’appliquer une NetworkPolicy Kubernetes qui limite l’accès au port à l’agent tout en autorisant le trafic entre les pods de la tâche, avant d’activer la surveillance.
Détecter les tâches Slurm qui cessent de progresser
La fonctionnalité Slurm nécessite une image machine Amazon HyperPod Slurm publiée le 10 novembre 2026 ou après cette date. Elle est désactivée par défaut et s’active pour chaque tâche au moyen de la HYPERPOD_HANG_RULES variable d’environnement, qui indique le chemin d’un fichier de règles lisible au même emplacement sur chaque nœud de calcul. Aucune modification des scripts d’entraînement ou des conteneurs n’est nécessaire, et la fonctionnalité est compatible avec PyTorch, TensorFlow, JAX et les scripts personnalisés.
La détection par défaut surveille la sortie de la tâche et l’activité des GPU. Elle recherche soit l’arrêt de la sortie alors que les GPU sont inactifs mais conservent de la mémoire, soit une interruption plus longue de la sortie, quel que soit l’état des GPU. Des règles personnalisées fondées sur des expressions régulières peuvent remplacer la détection par défaut, exiger des messages de progression périodiques ou déclarer immédiatement un blocage lorsqu’un motif d’erreur apparaît. Chaque méthode présente des angles morts : la détection par défaut peut ne pas repérer une tâche qui continue de solliciter les GPU sans progresser, tandis que les règles personnalisées ne détectent pas les blocages que leurs motifs ne décrivent pas.
Une détection écrit un HANG_DETECTED événement dans CloudWatch. L’action par défaut notify laisse la tâche en cours d’exécution ; cancel permet à Slurm de la remettre en file d’attente jusqu’à la limite du MaxBatchRequeue cluster, bien que les tâches soumises avec --no-requeue restent annulées. Ce mécanisme est distinct de la reprise automatique, qui redémarre les tâches se terminant à la suite de défaillances matérielles, plutôt que celles qui restent allouées sans progresser.
Un fichier de règles absent ou invalide génère un CONFIG_ERROR événement dans CloudWatch et laisse la tâche sans surveillance, sans erreur dans sbatch, squeue ou la sortie de la tâche. Comme l’agent ne vérifie pas la propriété du fichier de règles, AWS recommande de définir des permissions restrictives sur le fichier et son répertoire parent afin qu’un autre utilisateur ne puisse pas le remplacer et modifier la détection ou l’annulation des tâches qui l’utilisent.
Ensemble, ces ajouts permettent de suivre l’exactitude de l’entraînement et l’avancement des tâches, en plus de l’état du matériel, et réduisent le recours à la reconstitution manuelle des journaux lorsque des capacités sont gaspillées. Cette amélioration a toutefois un coût opérationnel : des vérifications de provisionnement plus longues, la surveillance dans CloudWatch et des règles de détection soigneusement réglées font désormais partie des mesures nécessaires pour préserver le temps GPU, en particulier lorsque l’annulation automatique doit distinguer un blocage des opérations normales de création de points de contrôle ou des périodes d’évaluation.












