KI-Modelle und Plattformen
AWS ergänzt HyperPod um Trainingsvalidierung und Erkennung hängender Jobs

Wichtige PunkteHyperPod überprüft jetzt, dass GPUs tatsächlich korrekte Trainingsergebnisse berechnen…
Mehr anzeigen
- HyperPod überprüft jetzt, dass GPUs tatsächlich korrekte Trainingsergebnisse berechnen, statt nur den Hardwarezustand zu prüfen.
- Eine Regel zur Erkennung von Hängern nach 15 Minuten senkt die Verschwendung eines blockierten Jobs mit 32 Instanzen von etwa 16.900 $ auf etwa 530 $.
- Die Slurm-Hängererkennung ist standardmäßig deaktiviert, und eine fehlende Regeldatei führt dazu, dass Jobs stillschweigend nicht überwacht werden.
Amazon Web Services kündigte am 18. November 2026 drei Zuverlässigkeitsfunktionen für Amazon SageMaker HyperPod an. Sie zielen auf numerische Fehler beim Training, Kubernetes-Ausfälle und festgefahrene Slurm-Jobs ab, die GPU-Kapazität belegen können, obwohl einzelne Knoten weiterhin als fehlerfrei erscheinen.
HyperPod überwacht bereits Hardwarefehler, führt umfassende Diagnoseprüfungen durch und testet die Kommunikation zwischen Instanzen. Fehlerhafte Knoten werden automatisch wiederhergestellt. Diese Mechanismen zeigen jedoch nicht, ob GPUs korrekte Trainingsergebnisse berechnen, ob ein Job weiterhin Fortschritte macht oder ob die benötigten Kubernetes-Dienste funktionieren.
Das Kostenbeispiel von AWS verdeutlicht das Ausmaß: Ein achtstündiger Stillstand auf 32 ml.p5.48xlarge-Instanzen, die zusammen 256 NVIDIA H100-GPUs umfassen, verschwendet 2.048 GPU-Stunden und verursacht Kosten von etwa 16.900 US-Dollar. Dabei wird der ungefähre On-Demand-Preis von HyperPod in US East (N. Virginia) zugrunde gelegt: 66 US-Dollar pro Instanzstunde. Eine Erkennungsregel mit einer Frist von 15 Minuten senkt die Kosten in diesem Szenario auf etwa 530 US-Dollar, indem sie den Job abbricht, sodass Slurm ihn erneut einreihen kann.
Die Korrektheit des Trainings prüfen
MultiNodeTrainingValidation erweitert die umfassenden Zustandsprüfungen von HyperPod für Cluster, die mit Amazon Elastic Kubernetes Service (EKS) orchestriert werden. Dazu kommen unterstützte NVIDIA-GPU-Instanzgruppen mit Elastic Fabric Adapter (EFA). Der Tiny-Megatron-Test führt auf allen GPUs jeder Instanz eine festgelegte Megatron-LM-Arbeitslast aus. Der Megatron-Test führt dieselbe Arbeitslast über EFA auf Instanzen desselben Typs aus. Eine Instanz gilt als fehlerhaft, wenn der Trainingsverlust zu „not-a-number“ (NaN) oder unendlich wird oder der Lauf nicht innerhalb des Zeitlimits abgeschlossen wird.
Die Prüfung kann beim Erstellen oder Aktualisieren einer Instanzgruppe sowie bei Bedarf für eine ganze Gruppe oder ausgewählte Instanzen über die StartClusterHealthCheck API ausgeführt werden. Die Ergebnisse erscheinen in CloudWatch-Protokollen und Knotenlabels. Bei einem Fehler wird die Instanz entsprechend gekennzeichnet. Ist die automatische Knotenwiederherstellung aktiviert, wird sie neu gestartet oder ersetzt. Während der Bereitstellung geschieht dies, bevor Kundenjobs die Kapazität nutzen können.
Bei einem AWS-Test mit zwei ml.p5.48xlarge-Instanzen verlängerten die beiden Trainingsprüfungen einen vollständigen Lauf der umfassenden Zustandsprüfung um etwa acht Minuten; dieser dauerte insgesamt 1 Stunde und 28 Minuten. Instanzen können erst dann Arbeitslasten annehmen, wenn die Prüfungen abgeschlossen sind. Die zusätzliche Bereitstellungszeit muss daher bei der Kapazitätsplanung berücksichtigt werden. Ein erfolgreich absolvierter Test mit der festgelegten Arbeitslast bestätigt, dass diese korrekt trainiert wurde, garantiert aber nicht, dass der Trainingsjob eines Kunden konvergiert.
Clusterfehler mit Jobs verknüpfen
Der HyperPod Kubernetes Resource Monitoring Agent läuft als ein Pod pro EKS-Cluster und bevorzugt CPU-Knoten, damit er keine GPU-Kapazität beansprucht. Er überwacht Knotenzustände und zuweisbare GPU- oder EFA-Geräte, wichtige Infrastruktur-Pods, erforderliche DaemonSets sowie HyperPodPyTorchJob- und Kubeflow-Trainingsjobs. Kubernetes-Ereignisse vom Typ „Warning“ und „Normal“ kennzeichnen Fehler und deren Behebung. Strukturierte CloudWatch-Protokolle im JSON-Format halten den Verlauf fest und verknüpfen fehlgeschlagene Jobs mit den zugehörigen Pods und Knoten.
Der Agent meldet Probleme lediglich; er startet weder Knoten neu noch setzt er Jobs erneut in Gang. Die Behebung von Hardwareproblemen bleibt dem Zustandsüberwachungs-Agenten und der automatischen Knotenwiederherstellung überlassen. Der HyperPod-Trainingsoperator kümmert sich weiterhin um den Neustart von Jobs.
Die optionale NCCL-Integration erfordert Version 2.24 oder höher. In der Implementierung von AWS fragt sie alle 30 Sekunden den RAS-Listener (Zuverlässigkeit, Verfügbarkeit und Wartungsfreundlichkeit) jedes teilnehmenden Pods ab. Die Meldungen werden zu einem Jobstatus zusammengefasst: fehlerfrei, beeinträchtigt oder fehlerhaft. Um den Listener zu erreichen, muss er an die IP-Adresse des Pods gebunden werden, wodurch TCP-Port 28028 im Pod-Netzwerk geöffnet wird. AWS empfiehlt, vor der Aktivierung der Überwachung eine Kubernetes-NetworkPolicy anzuwenden, die den Portzugriff auf den Agenten beschränkt und zugleich den Datenverkehr zwischen den Pods des jeweiligen Jobs zulässt.
Slurm-Jobs erkennen, die keine Fortschritte mehr machen
Für die Slurm-Funktion ist ein HyperPod-Slurm-Amazon-Machine-Image erforderlich, das am oder nach dem 10. November 2026 veröffentlicht wurde. Sie ist standardmäßig deaktiviert und wird für jeden Job mit der HYPERPOD_HANG_RULES Umgebungsvariablen aktiviert, die auf eine Regeldatei verweist, welche auf jedem Rechenknoten unter demselben Pfad lesbar ist. Änderungen am Trainingsskript oder Container sind nicht erforderlich. Die Funktion unterstützt PyTorch, TensorFlow, JAX und benutzerdefinierte Skripte.
Die standardmäßige Erkennung überwacht die Jobausgabe und die GPU-Aktivität. Sie erkennt, wenn die Ausgabe ausbleibt, während die GPUs untätig sind, aber weiterhin Speicher belegen, oder wenn die Ausgabe unabhängig vom GPU-Status über längere Zeit ausbleibt. Benutzerdefinierte Regeln mit regulären Ausdrücken können die standardmäßige Erkennung ersetzen, regelmäßige Fortschrittsmeldungen voraussetzen oder einen Stillstand sofort melden, sobald ein Fehlermuster auftritt. Beide Verfahren haben Einschränkungen: Die standardmäßige Erkennung kann einen Job übersehen, der die GPUs weiterhin auslastet, ohne Fortschritte zu machen. Benutzerdefinierte Regeln übersehen dagegen Stillstände, die nicht von ihren Mustern erfasst werden.
Bei einer Erkennung wird ein HANG_DETECTED Ereignis in CloudWatch geschrieben. Die standardmäßige notify Aktion lässt den Job weiterlaufen; cancel ermöglicht es Slurm, ihn bis zum Cluster- MaxBatchRequeue Limit erneut einzureihen, obwohl Jobs, die mit --no-requeue weiterhin abgebrochen bleiben. Dies ist von der automatischen Fortsetzung zu unterscheiden, die Jobs neu startet, wenn sie nach Hardwareausfällen beendet werden, nicht aber, wenn sie weiterhin Ressourcen belegen, ohne Fortschritte zu machen.
Eine fehlende oder ungültige Regeldatei führt zu einem CONFIG_ERROR Ereignis in CloudWatch aus und lässt den Job unbeaufsichtigt, ohne einen Fehler in sbatch, squeue oder der Jobausgabe. Da der Agent den Besitzer der Regeldatei nicht überprüft, empfiehlt AWS restriktive Berechtigungen für die Datei und das übergeordnete Verzeichnis, damit ein anderer Benutzer die Datei nicht ersetzen und die Erkennung oder den Abbruch von Jobs verändern kann, die sie verwenden.
Zusammen sorgen diese Ergänzungen dafür, dass die Trainingskorrektheit und der Fortschritt von Jobs neben dem Zustand der Hardware sichtbar sind. So muss man sich weniger auf die manuelle Rekonstruktion von Protokollen verlassen, wenn Kapazitäten ungenutzt bleiben. Der Kompromiss ist betrieblicher Natur: Längere Bereitstellungsprüfungen, die Überwachung in CloudWatch und sorgfältig abgestimmte Erkennungsregeln gehören nun zum Schutz der GPU-Zeit – insbesondere dann, wenn beim automatischen Abbruch zwischen einem Hänger und normalen Checkpoint- oder Evaluierungspausen unterschieden werden muss.












