Λεπτομέρειες AWS για το ανοιχτού κώδικα HyperPod InstantStart Control Plane για λειτουργίες πράκτορα

Η Amazon Web Services έχει περιγράψει το HyperPod InstantStart, ένα πλαίσιο ελέγχου ανοιχτού κώδικα που συνδυάζει την ορχήστρωση του Amazon EKS με τις διαχειριζόμενες δυνατότητες του Amazon SageMaker HyperPod, σε μια ανάρτηση του AWS Machine Learning Blog που δημοσιεύτηκε στις 4 Σεπτεμβρίου 2026. Το έργο συνδυάζει μια διεπαφή ιστού με έναν πράκτορα AI που σχεδιάζει και εκτελεί λειτουργίες πολλαπλών σταδίων του συμπλέγματος μέσω εργαλείων του Model Context Protocol.

Το InstantStart εκτελείται ως ένα μοναδικό κοντέινερ διαχείρισης εκτός ζώνης μέσα στον λογαριασμό AWS ενός χρήστη, καλώντας τα API των υπηρεσιών AWS και το API του Kubernetes χωρίς να βρίσκεται στο μονοπάτι δεδομένων των εργασιών εκπαίδευσης ή των αιτημάτων εκτέλεσης. Κάθε πόρος που δημιουργεί είναι ένα τυπικό αντικείμενο AWS ή Kubernetes που παραμένει ελέγξιμο μέσω του AWS Command Line Interface και του kubectl. Η διεπαφή ιστού, ένα REST API και τα εργαλεία MCP που χρησιμοποιεί ο πράκτορας αποτελούν τρία πρόσωπα του ίδιου κοντέινερ, ώστε και οι δύο διεπαφές να εισέρχονται μέσω ενός backend και να περνούν τις ίδιες επικυρώσεις.

Ένα Backend Πίσω από Δύο Διεπαφές

Το κεντρικό επιχειρηματικό επιχείρημα της ανάρτησης είναι ότι τα εργαλεία MCP τυλίγουν τα δικά τους REST API του πλαισίου ελέγχου αντί για το AWS CLI ή το SDK, έτσι μια επικύρωση που προστίθεται μία φορά προστατεύει τόσο το πρόγραμμα περιήγησης όσο και τον πράκτορα. Στη διεπαφή ιστού, η δημιουργία ενός συμπλέγματος με εγκατεστημένες εξαρτήσεις, αυτόματη αποκατάσταση κόμβων ενεργοποιημένη και αποθηκευτικό χώρο προσαρτημένο είναι μια φόρμα και ένας πίνακας προόδου· σε τερματικό, είναι μια ενιαία πρόταση φυσικής γλώσσας προς μια διαμόρφωση πράκτορα που ονομάζεται hypd-inst-agent, κατασκευασμένη για το Kiro CLI. Ο πράκτορας στη συνέχεια ακολουθεί τη σειρά εργασιών: δημιουργία ελεγκτικού επιπέδου EKS, επιλογή ενεργού συμπλέγματος, συμφωνία εξαρτήσεων, δημιουργία συμπλέγματος HyperPod και ρύθμιση αποθηκευτικού χώρου. Η AWS αναφέρει ότι η δημιουργία του ελεγκτικού επιπέδου EKS ολοκληρώνεται περίπου σε 8 έως 12 λεπτά, και κάθε επόμενη φάση καταγράφει τη δική της κατάσταση και μπορεί να επαναληφθεί ανεξάρτητα.

Τρία κανόνια ροής εργασίας κωδικοποιούνται στις δεξιότητες του πράκτορα του έργου, που η ανάρτηση περιγράφει ως markdown playbooks με έκδοση στο αποθετήριο. Ο πράκτορας ελέγχει κάθε λειτουργία μεγάλης διάρκειας μέχρι να φτάσει σε τελική κατάσταση αντί να αναφέρει ένα υποβληθέν αίτημα. Θέτει μόνο ερωτήσεις επιπέδου απόφασης, όπως Ζώνη Διαθεσιμότητας, τύπο εμφάνισης και τύπο χωρητικότητας, ενώ αντιμετωπίζει τα CIDR υποδικτύων, τους πίνακες δρομολόγησης και τις ομάδες ασφαλείας ως εργασία ελεγκτικού επιπέδου. Και ελέγχει πριν δημιουργήσει, καταγράφοντας τα υπάρχοντα συμπλέγματα και ερωτώντας έγκυρες ζώνες και τύπους εμφάνισης πριν προσφέρει επιλογές.

Διαχειριζόμενες Δυνατότητες ως Συμφωνημένη Κατάσταση

Το InstantStart δημιουργεί συμπλέγματα HyperPod με ενεργοποιημένη αυτόματη αποκατάσταση κόμβων, υπό την οποία το HyperPod μπορεί να επανεκκινήσει ή να αντικαταστήσει ελαττωματικούς κόμβους βάσει του πράκτορα παρακολούθησης υγείας, βασικών ελέγχων υγείας και προαιρετικών βαθιών ελέγχων υγείας που δοκιμάζουν την αντοχή των GPU και τη συνδεσιμότητα του Elastic Fabric Adapter πριν οι κόμβοι αποδεχτούν εργασία. Όταν ένας χρήστης προσθέτει μια ομάδα εμφάνισης, ο τύπος χωρητικότητας, η λειτουργία διεπαφής δικτύου και η τοποθέτηση υποδικτύου καθορίζονται ως μια ενιαία λειτουργία δημιουργίας· ο τύπος χωρητικότητας και η λειτουργία διεπαφής μόνο‑EFA παραμένουν σταθεροί για τη διάρκεια της ομάδας. Το πλαίσιο ελέγχου δρομολογεί κάθε διαδρομή χωρητικότητας μέσω μιας μοναδικής συνάρτησης που προμηθεύει υποδίκτυα υπολογισμού μεγέθους /20 για μεγάλους στόλους επιταχυντών.

Η διαχειριζόμενη κλιμάκωση κόμβων βάσει Karpenter του HyperPod αποφασίζει πόση από αυτή τη χωρητικότητα εκτελείται τη δεδομένη στιγμή, με την AWS να λειτουργεί τον ελεγκτή Karpenter και τους κόμβους να εκκινούν από ομάδες εμφάνισης HyperPod που κλιμακώνονται από το μηδέν. Η ανάρτηση σημειώνει έναν περιορισμό πεδίου: το διαχειριζόμενο Karpenter διαχειρίζεται ομάδες εμφάνισης HyperPod, όχι τη γενικής χρήσης χωρητικότητα Amazon EC2.

Ο πίνακας «Προηγμένες Λειτουργίες» εκθέτει τις διαχειριζόμενες δυνατότητες του HyperPod, συμπεριλαμβανομένου του χειριστή εκπαίδευσης, του χειριστή εκτέλεσης, της διαχειριζόμενης επιπέδου ελέγχου σημείων ελέγχου και της διαχειριζόμενης κλιμάκωσης, με κάθε εναλλαγή να αντιστοιχεί σε μια λειτουργία backend που λαμβάνει υπόψη τις εξαρτήσεις. Η ενεργοποίηση της επιπέδου ελέγχου σημείων ελέγχου δημιουργεί μια αλυσίδα ταυτότητας που περιλαμβάνει έναν λογαριασμό υπηρεσίας Kubernetes, έναν ρόλο και πολιτική IAM, μια σχέση εμπιστοσύνης OpenID Connect και την ανάρτηση σύνδεσης, ενώ η απενεργοποίηση αφαιρεί την ίδια αλυσίδα. Η ανάρτηση περιγράφει επίσης μια σύμβαση explicit‑diff που υιοθετήθηκε μετά από ένα αρχικό σφάλμα: η διεπαφή υποβάλλει μόνο τα πεδία που ο χρήστης πραγματικά άλλαξε, και το backend διαβάζει την πραγματική κατάσταση του συμπλέγματος και δεν κάνει ενέργειες όταν η ζητούμενη και η πραγματική κατάσταση ταιριάζουν ήδη.

Διαδρομές Εκπαίδευσης και Εκτέλεσης

Για την εκπαίδευση, το InstantStart προσφέρει δύο διαδρομές υποβολής. Ο χειριστής εκπαίδευσης HyperPod, εγκατεστημένος ως πρόσθετο EKS, προσθέτει ανάκτηση σφαλμάτων επιπέδου διεργασίας, ανίχνευση κρεμασμένων εργασιών μέσω παρακολούθησης προτύπων καταγραφής και ανίχνευση εκτός ορίων, με εργασία που υποβάλλεται ως πόροι HyperPodPyTorchJob που φέρουν έναν ορατό προϋπολογισμό ανάκτησης. Η δεύτερη διαδρομή είναι το πρότυπο KubeRay, στοχευμένο σε φορτία εργασίας εγγενή στο Ray όπως η ενίσχυση μάθησης. Πάνω και τα δύο βρίσκεται ένα επίπεδο συνταγών για απλά σενάρια PyTorch, LLaMA‑Factory, MS‑Swift και VERL ενίσχυσης μάθησης, όλα μοιράζονται ένα συμβόλαιο δεδομένων όπου ο ίδιος κάδος Amazon S3 προσαρτάται στο περιβάλλον ανάπτυξης και μέσα στα pods. Τα αρχεία καταγραφής εργασιών ρέουν στον περιηγητή μέσω WebSocket, και οι συνταγές μπορούν να αναφέρουν μετρικές όπως η απόδοση εκπαίδευσης σε διαχειριζόμενο MLflow στο Amazon SageMaker AI.

Η εκτέλεση έχει επίσης δύο διαδρομές. Η διαχειριζόμενη διαδρομή παραδίδει τον κύκλο ζωής στον χειριστή εκτέλεσης HyperPod, με διαχειριζόμενη επιπέδου εσωτερική προσωρινή μνήμη KV και έξυπνες στρατηγικές δρομολόγησης που δηλώνονται παράλληλα με το σημείο λήψης. Η αυτοδιαχειριζόμενη διαδρομή αναπτύσσει ένα κοντέινερ εξυπηρέτησης της επιλογής του χρήστη, όπως vLLM ή SGLang, ως τυπική ανάπτυξη Kubernetes, με μορφές υπηρεσίας που περιλαμβάνουν έναν εξωτερικό φορτωτή ισορροπίας, μια εσωτερική υπηρεσία του συμπλέγματος και μια δεξαμενή μοντέλων με ζεστούς εργαζόμενους GPU που μπορούν να επανατοποθετηθούν αλλάζοντας μια ετικέτα. Για εξυπηρέτηση SGLang με πολλαπλές αντιγραφές, το πλαίσιο ελέγχου μπορεί να αναπτύξει τον δρομολογητή SGLang με δρομολόγηση που λαμβάνει υπόψη την προσωρινή μνήμη και να οδηγήσει την κλιμάκωση μέσω του Kubernetes Event‑driven Autoscaling.

Εργαλεία Πράκτορα και Όρια

Ο διακομιστής MCP δημοσιεύει 38 εργαλεία που καλύπτουν τον κύκλο ζωής του συμπλέγματος, ομάδες εμφάνισης, διαχειριζόμενες λειτουργίες, αποθηκευτικό χώρο, λήψη μοντέλου, ανάπτυξη εκτέλεσης, εργασίες και λειτουργίες κόμβων, σύμφωνα με την ανάρτηση. Κάθε εργαλείο μεταβολής ονομάζει το εργαλείο κατάστασης που καθορίζει την ολοκλήρωση, και οι λειτουργίες διατηρούν τη φάση τους πριν ξεκινήσει η επανάληψη, ώστε μια επανάληψη πράκτορα να μην μπορεί να επαναλάβει μια μεταβολή. Το αποθετήριο GitHub του έργου περιγράφει την πλατφόρμα ως σύστημα ενσωματωμένης εκπαίδευσης‑και‑εκτέλεσης χτισμένο πάνω στο SageMaker HyperPod και την τυπική ορχήστρωση EKS, και το README του δηλώνει ότι τα εργαλεία MCP τυλίγουν τα API του backend του έργου για συμμόρφωση με τις βέλτιστες πρακτικές, ενώ οι δεξιότητες του πράκτορα οργανώνουν ροές εργασίας από άκρο σε άκρο με μηδενική τοπική ρύθμιση πέρα από τον πράκτορα.

Η ανάρτηση σχεδιάζει σαφή λειτουργικά όρια. Οι ενσωματωμένες διαγνωστικές δεξιότητες για NCCL, υγεία κόμβου και αποτυχίες δημιουργίας συμπλέγματος διερευνούν μόνο‑ανάγνωση από μόνες τους, παρουσιάζουν εντολές αλλαγής κατάστασης ως προτάσεις και προχωρούν με τη σειρά διερεύνηση, επανεκκίνηση, στη συνέχεια αντικατάσταση. IAM, εξουσιοδότηση Kubernetes, έλεγχοι δικτύου και επικύρωση backend παραμένουν τα πραγματικά όρια ασφαλείας· ο πράκτορας διευρύνει την πρόσβαση στο πλαίσιο ελέγχου χωρίς να διευρύνει τα προνόμια του. Η AWS επίσης συμβουλεύει ότι η ελαστική εκπαίδευση αυτή τη στιγμή εξαιρεί τις Spot Instances, τη διαχειριζόμενη επιπέδου ελέγχου σημείων ελέγχου και την εκπαίδευση χωρίς σημεία ελέγχου, και ότι τα όρια χρήσης συμπλέγματος SageMaker HyperPod και οι κρατήσεις σχεδίων εκπαίδευσης για τύπους GPU υψηλών επιδόσεων πρέπει να ρυθμιστούν πριν το πρώτο σύμπλεγμα.

Η ανάπτυξη ξεκινά από ένα πρότυπο CloudFormation που δημιουργεί το περιβάλλον διαχείρισης, έναν κοινόχρηστο κάδο S3 και υποστηρικτικούς ρόλους IAM, με τη διεπαφή ιστού να εξυπηρετείται από το κοντέινερ στη θύρα 3099 και να προσπελάζεται μέσω μιας συνεδρίας προώθησης θυρών του AWS Systems Manager.