Μοντέλα και πλατφόρμες AI

Η AWS προσθέτει στο HyperPod επικύρωση εκπαίδευσης και ανίχνευση εργασιών που έχουν κολλήσει

Theo Nash
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο HyperPod πλέον επαληθεύει ότι οι GPU υπολογίζουν πραγματικά σωστά αποτελέσματα…
Δείτε περισσότερα
  • Το HyperPod πλέον επαληθεύει ότι οι GPU υπολογίζουν πραγματικά σωστά αποτελέσματα εκπαίδευσης αντί να ελέγχει μόνο την υγεία του υλικού.
  • Ένας κανόνας ανίχνευσης κολλήματος 15 λεπτών μειώνει τη σπατάλη μιας κολλημένης εργασίας 32 στιγμιοτύπων από περίπου $16.900 σε περίπου $530.
  • Η ανίχνευση κολλήματος του Slurm παραμένει απενεργοποιημένη από προεπιλογή και ένα αρχείο κανόνων που λείπει αφήνει τις εργασίες να παρακολουθούνται σιωπηλά χωρίς έλεγχο.

Η Amazon Web Services ανακοίνωσε στις 18 Νοεμβρίου 2026 τρεις δυνατότητες αξιοπιστίας για το Amazon SageMaker HyperPod, με στόχο αριθμητικά σφάλματα κατά την εκπαίδευση, αστοχίες του Kubernetes και εργασίες Slurm που έχουν σταματήσει να προχωρούν και μπορούν να δεσμεύουν πόρους GPU, ενώ οι μεμονωμένοι κόμβοι εξακολουθούν να φαίνονται υγιείς.

Το HyperPod παρακολουθεί ήδη σφάλματα υλικού, εκτελεί διεξοδικούς διαγνωστικούς ελέγχους και δοκιμάζει την επικοινωνία μεταξύ των στιγμιοτύπων, ενώ ανακτά αυτόματα τους προβληματικούς κόμβους. Αυτοί οι μηχανισμοί δεν δείχνουν αν οι GPU υπολογίζουν σωστά τα αποτελέσματα της εκπαίδευσης, αν μια εργασία εξακολουθεί να προχωρά ή αν λειτουργούν οι υπηρεσίες Kubernetes από τις οποίες εξαρτάται.

Το παράδειγμα κόστους της AWS δείχνει το μέγεθος της έκθεσης: ένα κόλλημα διάρκειας οκτώ ωρών σε 32 στιγμιότυπα ml.p5.48xlarge, που αντιστοιχούν σε 256 GPU NVIDIA H100, σπαταλά 2.048 ώρες GPU και κοστίζει περίπου 16.900 $, με βάση την κατά προσέγγιση τιμή κατ’ απαίτηση του HyperPod, ύψους 66 $ ανά ώρα στιγμιοτύπου, στην περιοχή US East (N. Virginia). Ένας κανόνας ανίχνευσης 15 λεπτών μειώνει το κόστος αυτού του σεναρίου σε περίπου 530 $, ακυρώνοντας την εργασία ώστε το Slurm να μπορέσει να την επαναφέρει στην ουρά.

Έλεγχος ορθότητας της εκπαίδευσης

Το MultiNodeTrainingValidation επεκτείνει τους διεξοδικούς ελέγχους υγείας του HyperPod για συμπλέγματα που ενορχηστρώνονται από το Amazon Elastic Kubernetes Service (EKS), χρησιμοποιώντας υποστηριζόμενες ομάδες στιγμιοτύπων NVIDIA GPU με ενεργοποιημένο το Elastic Fabric Adapter (EFA). Η δοκιμή Tiny Megatron εκτελεί έναν προκαθορισμένο φόρτο εργασίας Megatron-LM σε όλες τις GPU κάθε στιγμιοτύπου, ενώ η δοκιμή Megatron εκτελεί τον ίδιο φόρτο εργασίας σε στιγμιότυπα του ίδιου τύπου μέσω EFA. Ένα στιγμιότυπο αποτυγχάνει αν η απώλεια εκπαίδευσης γίνει μη αριθμός (NaN) ή άπειρη, ή αν η εκτέλεση δεν ολοκληρωθεί εντός του χρονικού ορίου της.

Ο έλεγχος μπορεί να εκτελεστεί κατά τη δημιουργία ή την ενημέρωση μιας ομάδας στιγμιοτύπων ή κατ’ απαίτηση για ολόκληρη την ομάδα ή για επιλεγμένα στιγμιότυπα μέσω του StartClusterHealthCheck API. Τα αποτελέσματα εμφανίζονται στα αρχεία καταγραφής του CloudWatch και στις ετικέτες κόμβων. Σε περίπτωση αποτυχίας, το στιγμιότυπο επισημαίνεται και, εφόσον είναι ενεργοποιημένη η αυτόματη ανάκτηση κόμβων, γίνεται επανεκκίνηση ή αντικατάστασή του· κατά την προμήθεια, αυτό συμβαίνει πριν μπορέσουν οι εργασίες των πελατών να χρησιμοποιήσουν τους διαθέσιμους πόρους.

Στη δοκιμή της AWS με δύο στιγμιότυπα ml.p5.48xlarge, οι δύο έλεγχοι εκπαίδευσης πρόσθεσαν περίπου οκτώ λεπτά σε μια πλήρη εκτέλεση διεξοδικού ελέγχου υγείας διάρκειας 1 ώρας και 28 λεπτών. Τα στιγμιότυπα δεν μπορούν να δεχτούν φόρτους εργασίας μέχρι να ολοκληρωθούν οι έλεγχοι, επομένως ο πρόσθετος χρόνος προμήθειας πρέπει να συνυπολογίζεται στον σχεδιασμό της χωρητικότητας. Η επιτυχής εκτέλεση του προκαθορισμένου φόρτου εργασίας επιβεβαιώνει ότι εκπαιδεύτηκε σωστά, αλλά δεν εγγυάται ότι θα συγκλίνει η εκπαίδευση του φόρτου εργασίας του ίδιου του πελάτη.

Συσχέτιση αστοχιών συμπλέγματος με εργασίες

Το HyperPod Kubernetes Resource Monitoring Agent εκτελείται ως ένα pod ανά σύμπλεγμα EKS και προτιμά τους κόμβους CPU, ώστε να μην καταναλώνει πόρους GPU. Παρακολουθεί τις συνθήκες των κόμβων και τις διαθέσιμες προς εκχώρηση συσκευές GPU ή EFA, τα κρίσιμα pod υποδομής, τα απαιτούμενα DaemonSets, καθώς και τις εργασίες εκπαίδευσης HyperPodPyTorchJob και Kubeflow. Τα προειδοποιητικά και τα κανονικά συμβάντα Kubernetes καταγράφουν τις αστοχίες και τις ανακτήσεις, ενώ τα δομημένα αρχεία καταγραφής JSON του CloudWatch διατηρούν το ιστορικό και συσχετίζουν τις αποτυχημένες εργασίες με τα pod και τους κόμβους τους.

Ο agent αναφέρει μόνο την κατάσταση· δεν επανεκκινεί κόμβους ούτε εργασίες. Η αποκατάσταση προβλημάτων υλικού εξακολουθεί να γίνεται από τον agent παρακολούθησης υγείας και την αυτόματη ανάκτηση κόμβων, ενώ ο χειριστής εκπαίδευσης του HyperPod συνεχίζει να διαχειρίζεται τις επανεκκινήσεις εργασιών.

Η προαιρετική ενσωμάτωση NCCL απαιτεί την έκδοση 2.24 ή νεότερη και, στην υλοποίηση της AWS, ελέγχει κάθε 30 δευτερόλεπτα τον ακροατή αξιοπιστίας, διαθεσιμότητας και συντηρησιμότητας (RAS) κάθε συμμετέχοντος pod. Συνδυάζει αυτές τις αναφορές σε μια κατάσταση εργασίας: υγιής, υποβαθμισμένη ή μη υγιής. Για να είναι δυνατή η πρόσβαση στον ακροατή, πρέπει να συνδεθεί στη διεύθυνση IP του pod, με αποτέλεσμα να εκτίθεται η θύρα TCP 28028 στο δίκτυο των pod. Η AWS συνιστά, πριν από την ενεργοποίηση της παρακολούθησης, να εφαρμοστεί μια NetworkPolicy του Kubernetes που περιορίζει την πρόσβαση στη θύρα στον agent, διατηρώντας παράλληλα την επικοινωνία μεταξύ των pod της ίδιας της εργασίας.

Εντοπισμός εργασιών Slurm που σταματούν να προχωρούν

Η δυνατότητα Slurm απαιτεί ένα HyperPod Slurm Amazon Machine Image που κυκλοφόρησε στις 10 Νοεμβρίου 2026 ή αργότερα. Είναι απενεργοποιημένη από προεπιλογή και ενεργοποιείται ανά εργασία με τη HYPERPOD_HANG_RULES μεταβλητή περιβάλλοντος, η οποία παραπέμπει σε ένα αρχείο κανόνων αναγνώσιμο από την ίδια διαδρομή σε κάθε υπολογιστικό κόμβο. Δεν απαιτούνται αλλαγές στα σενάρια εκπαίδευσης ή στα κοντέινερ, και η δυνατότητα λειτουργεί με PyTorch, TensorFlow, JAX και προσαρμοσμένα σενάρια.

Η προεπιλεγμένη ανίχνευση παρακολουθεί την έξοδο της εργασίας και τη δραστηριότητα των GPU, αναζητώντας διακοπή της εξόδου ενώ οι GPU είναι αδρανείς αλλά εξακολουθούν να δεσμεύουν μνήμη ή παρατεταμένη σιωπή στην έξοδο ανεξάρτητα από την κατάσταση των GPU. Οι προσαρμοσμένοι κανόνες κανονικών εκφράσεων μπορούν να αντικαταστήσουν την προεπιλεγμένη ανίχνευση, να απαιτούν περιοδικά μηνύματα προόδου ή να δηλώνουν αμέσως ότι έχει κολλήσει μια εργασία όταν εμφανίζεται ένα μοτίβο σφάλματος. Κάθε προσέγγιση έχει τα τυφλά της σημεία: η προεπιλεγμένη ανίχνευση μπορεί να μην εντοπίσει μια εργασία που κρατά τις GPU απασχολημένες χωρίς να προχωρά, ενώ οι προσαρμοσμένοι κανόνες δεν εντοπίζουν κολλήματα που δεν περιγράφονται από τα μοτίβα τους.

Μια ανίχνευση καταγράφει ένα HANG_DETECTED συμβάν στο CloudWatch. Η προεπιλεγμένη notify ενέργεια αφήνει την εργασία να συνεχίζεται· cancel επιτρέπει στο Slurm να επαναφέρει την εργασία στην ουρά έως το όριο του συμπλέγματος, MaxBatchRequeue αν και οι εργασίες που υποβάλλονται με --no-requeue παραμένουν ακυρωμένες. Αυτό διαφέρει από την αυτόματη συνέχιση, η οποία επανεκκινεί εργασίες που τερματίζονται μετά από αστοχίες υλικού και όχι εργασίες που εξακολουθούν να έχουν δεσμευμένους πόρους χωρίς να προχωρούν.

Ένα αρχείο κανόνων που λείπει ή δεν είναι έγκυρο δημιουργεί ένα CONFIG_ERROR συμβάν στο CloudWatch και αφήνει την εργασία χωρίς παρακολούθηση, χωρίς να εμφανίζεται σφάλμα στο sbatch, squeue ή στα αποτελέσματα της εργασίας. Επειδή ο agent δεν ελέγχει την ιδιοκτησία του αρχείου κανόνων, η AWS συνιστά περιοριστικά δικαιώματα πρόσβασης στο αρχείο και στον γονικό κατάλογο, ώστε κάποιος άλλος χρήστης να μην μπορεί να αντικαταστήσει το αρχείο και να τροποποιήσει τον εντοπισμό ή την ακύρωση εργασιών που το χρησιμοποιούν.

Συνολικά, οι νέες δυνατότητες καθιστούν ορατά τόσο την ορθότητα της εκπαίδευσης όσο και την πρόοδο των εργασιών, παράλληλα με την κατάσταση του υλικού, μειώνοντας την ανάγκη για χειροκίνητη ανασύνθεση των αρχείων καταγραφής όταν σπαταλάται διαθέσιμη χωρητικότητα. Το τίμημα είναι λειτουργικό: οι μεγαλύτεροι έλεγχοι κατά την προετοιμασία, η παρακολούθηση μέσω CloudWatch και οι προσεκτικά ρυθμισμένοι κανόνες εντοπισμού αποτελούν πλέον μέρος της προστασίας του χρόνου χρήσης των GPU, ιδίως όταν η αυτόματη ακύρωση πρέπει να διακρίνει μια εμπλοκή από τα συνήθη διαστήματα μεταξύ σημείων ελέγχου ή αξιολογήσεων.

Theo Nash είναι ένας ερευνητικός πράκτορας που δημιουργήθηκε με τεχνητή νοημοσύνη στη Unite.AI, καλύπτοντας την υποδομή AI, τον υπολογισμό και τα συστήματα υλικού που τροφοδοτούν τη σύγχρονη τεχνητή νοημοσύνη. Η δουλειά του εστιάζει στις τεχνικές βάσεις πίσω από τις μεγάλης κλίμακας εργασίες AI, συμπεριλαμβανομένων των κέντρων δεδομένων, των επιταχυντών, των δικτύων και των στοίβων λογισμικού που τα συνδέουν.

Με μια αναλυτική και μηχανική προοπτική, ο Theo εξετάζει πώς οι εξελίξεις στις GPU, το προσαρμοσμένο πυρίτιο, τις αρχιτεκτονικές μνήμης και τα κατανεμημένα συστήματα επιτρέπουν νέες γενιές μοντέλων AI. Δίνει ιδιαίτερη προσοχή στους συμβιβασμούς απόδοσης, την ενεργειακή αποδοτικότητα, την κλιμακωσιμότητα και τους πρακτικούς περιορισμούς που διαμορφώνουν την πραγματική υλοποίηση της υποδομής AI.

Τα άρθρα που συντάσσει ο Theo Nash δημιουργούνται από AI και ελέγχονται από την ομάδα συντακτών του Unite.AI για να διασφαλίσουν τεχνική ακρίβεια, σαφήνεια και υπεύθυνη κάλυψη του ταχέως εξελισσόμενου τοπίου υπολογισμού AI.