Μοντέλα και πλατφόρμες AI

Η AWS προσθέτει το διαχειριζόμενο NVIDIA Dynamo στο SageMaker HyperPod Inference

Theo Nash
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ αποκεντρωμένη τοπολογία του Dynamo επιτρέπει στις δεξαμενές prefill και decode να…
Δείτε περισσότερα
  • Η αποκεντρωμένη τοπολογία του Dynamo επιτρέπει στις δεξαμενές prefill και decode να κλιμακώνονται ανεξάρτητα, ενώ και οι δύο εξακολουθούν να φορτώνουν τα πλήρη βάρη του μοντέλου.
  • Το κέρδος απόδοσης 2,05 φορές του AWS συγκρίνει αποτελέσματα περιορισμένα από την καθυστέρηση σε διαφορετικά επίπεδα ταυτοχρονισμού και όχι απεριόριστα μέγιστα.
  • Το Managed HyperPod αυτοματοποιεί τον συντονισμό και την ανάκτηση, αλλά αφήνει τις ανταλλαγές τοπολογίας και κατανομής GPU στη μετρούμενη συμπεριφορά του φόρτου εργασίας.

Η Amazon Web Services ανακοίνωσε στις 17 Νοεμβρίου 2026 ότι το Amazon SageMaker HyperPod Inference υποστηρίζει πλέον το NVIDIA Dynamo για διαχειριζόμενη εξυπηρέτηση μοντέλων σε πολλαπλούς κόμβους και με αποσυνδεδεμένη αρχιτεκτονική, ενώ παρουσίασε και αποτελέσματα συγκριτικών δοκιμών που δείχνουν 2,05 φορές την υψηλότερη επιλέξιμη συγκεντρωτική απόδοση εξόδου σε διακριτικά ανά GPU, με βάση τους στόχους καθυστέρησης της AWS.

Η προσθήκη αυτή αντιμετωπίζει δύο περιορισμούς στην εξυπηρέτηση μεγάλων γλωσσικών μοντέλων: την αποθήκευση των βαρών του μοντέλου και της επαναχρησιμοποιήσιμης κρυφής μνήμης κλειδιών-τιμών (KV) στη μνήμη της GPU, καθώς και την αποτροπή της επιβράδυνσης της παραγωγής διακριτικών από την επεξεργασία μεγάλων προτροπών, όταν και οι δύο εργασίες χρησιμοποιούν τις ίδιες GPU. Η AWS καταδεικνύει την πίεση στη μνήμη με το GLM-5.3, του οποίου τα βάρη κινητής υποδιαστολής 8 bit (FP8) από μόνα τους υπερβαίνουν τα 640 GB μνήμης GPU σε μία ml.p5.48xlarge υπολογιστική μονάδα, πριν συνυπολογιστούν η κρυφή μνήμη KV και οι επιβαρύνσεις χρόνου εκτέλεσης.

Το HyperPod παρέχει τη διαχειριζόμενη υποδομή γύρω από το πλαίσιο: δικτύωση Elastic Fabric Adapter (EFA), συντονισμένο προγραμματισμό GPU, παρακολούθηση της κατάστασης των κόμβων, των GPU και του EFA, καθώς και αντικατάσταση κόμβων. Το HyperPod διαχειρίζεται την αντικατάσταση, ενώ τα στοιχεία ενορχήστρωσης αναδημιουργούν τους επηρεαζόμενους εργαζόμενους κόμβους.

Αποσυνδεδεμένη εξυπηρέτηση και δρομολόγηση με επίγνωση της KV

Το Dynamo είναι ένα πλαίσιο κατανεμημένης εξαγωγής συμπερασμάτων ανοιχτού κώδικα, το οποίο συνεργάζεται με τα vLLM, SGLang και TensorRT-LLM. Η αποσυνδεδεμένη αρχιτεκτονική του χρησιμοποιεί ένα frontend για να δρομολογεί αιτήματα σε εργαζόμενους κόμβους προεπεξεργασίας, οι οποίοι επεξεργάζονται τις προτροπές, και σε εργαζόμενους κόμβους αποκωδικοποίησης, οι οποίοι παράγουν διακριτικά. Αυτές οι ομάδες μπορούν να κλιμακώνονται και να ρυθμίζονται ανεξάρτητα, αλλά και οι δύο φορτώνουν όλα τα βάρη του μοντέλου· η κρυφή μνήμη KV μεταφέρεται μεταξύ τους μέσω EFA.

Στη συγκεντρωτική εξυπηρέτηση, και τα δύο στάδια εκτελούνται στον ίδιο εργαζόμενο κόμβο. Και στις δύο αρχιτεκτονικές, οι εργαζόμενοι κόμβοι μπορούν να εκτελούνται σε μία υπολογιστική μονάδα ή να κατανέμονται σε πολλές, χρησιμοποιώντας παραλληλισμό τανυστών και διοχέτευσης για να μοιράζουν το μοντέλο στις GPU. Ο δρομολογητής του Dynamo, που λαμβάνει υπόψη την KV, συνυπολογίζει την επαναχρησιμοποιήσιμη κρυφή μνήμη προθεμάτων και το τρέχον φορτίο των εργαζόμενων κόμβων. Σύμφωνα με την AWS, η επαναχρησιμοποίηση προθεμάτων μπορεί να περιορίσει τον επανυπολογισμό των προτροπών και να βελτιώσει τον χρόνο μέχρι το πρώτο διακριτικό, ενώ η επίγνωση του φορτίου βοηθά να αποφευχθεί η υπερφόρτωση μεμονωμένων εργαζόμενων κόμβων.

Συγκριτικές δοκιμές με περιορισμούς καθυστέρησης

Η σύγκριση των Qwen3-235B-A22B-FP8 χρησιμοποίησε τα Dynamo και TensorRT-LLM σε δύο p5en.48xlarge υπολογιστικές μονάδες, με συνολικά 16 GPU H200. Το AIPerf δημιούργησε αιτήματα που περιείχαν 4.000 διακριτικά εισόδου και 200 διακριτικά εξόδου. Η AWS διατήρησε μόνο τις μετρήσεις όπου ο χρόνος μέχρι το πρώτο διακριτικό στο 90ό εκατοστημόριο ήταν μικρότερος από ένα δευτερόλεπτο και η διάμεση ταχύτητα παραγωγής ήταν τουλάχιστον 50 διακριτικά ανά δευτερόλεπτο ανά χρήστη.

Η AWS ανέφερε ότι η αποσυνδεδεμένη εξυπηρέτηση έφτασε τα 207 διακριτικά εξόδου ανά δευτερόλεπτο ανά GPU σε ταυτόχρονη εκτέλεση 80 αιτημάτων, έναντι 101 σε ταυτόχρονη εκτέλεση 32 αιτημάτων για το υψηλότερο επιλέξιμο αποτέλεσμα συγκεντρωτικής εξυπηρέτησης. Επομένως, η σύγκριση αφορά την απόδοση υπό περιορισμούς καθυστέρησης σε διαφορετικά επίπεδα ταυτόχρονης εκτέλεσης και όχι ένα μέγιστο απόδοσης χωρίς περιορισμούς για καθεμία από τις δύο αρχιτεκτονικές.

Σε ξεχωριστή δοκιμή με το Qwen3.5-397B-A17B-FP8, χρησιμοποιήθηκαν τα Dynamo και vLLM για τη σύγκριση οκτώ GPU H200 σε μία p5en.48xlarge υπολογιστική μονάδα με τέσσερις GPU σε καθεμία από δύο υπολογιστικές μονάδες, διατηρώντας αμετάβλητες τις ρυθμίσεις του μοντέλου, του παραλληλισμού και του φόρτου εργασίας. Η AWS ανέφερε 126,4 διακριτικά εξόδου ανά δευτερόλεπτο ανά GPU για τη διαμόρφωση δύο κόμβων, δηλαδή το 99,1% της απόδοσης ενός κόμβου, σε ταυτόχρονη εκτέλεση 32 αιτημάτων με υψηλό βαθμό επαναχρησιμοποίησης προθεμάτων. Το μοντέλο χωρά σε μία υπολογιστική μονάδα και στην πράξη συνήθως δεν θα κατανεμόταν σε περισσότερες, επομένως η δοκιμή λειτούργησε ως ελεγχόμενη βάση αναφοράς για την επίδραση της διέλευσης από ένα όριο κόμβου στην απόδοση.

Διαχειριζόμενη διαμόρφωση και σχεδιασμός πόρων

Οι χρήστες έχουν δύο επιλογές διαμόρφωσης. Οι υφιστάμενοι χρήστες του Dynamo μπορούν να εισαγάγουν ένα DynamoGraphDeployment μανιφέστο που περιγράφει το γράφημα εξυπηρέτησης και να διαχειρίζονται οι ίδιοι την αποθήκευση, τη δικτύωση, την τοποθέτηση των pod, τα τελικά σημεία, το TLS, την καταχώριση και την αυτόματη κλιμάκωση. Η InferenceEndpointConfig διαδρομή χρησιμοποιεί dynamoSpec για τη διαμόρφωση διαχειριζόμενων τελικών σημείων και το Kubernetes Event-driven Autoscaling (KEDA), και για τις δύο αρχιτεκτονικές εξυπηρέτησης. Ως προεπιλογή χρησιμοποιεί το vLLM, παρέχει προεπιλεγμένες ρυθμίσεις για δρομολόγηση με επίγνωση της KV και για τον αριθμό των αντιγράφων, ενώ υποστηρίζει διεπαφή συμβατή με το OpenAI μέσω τελικών σημείων του SageMaker.

Το πρόσθετο εγκαθιστά τους ορισμούς προσαρμοσμένων πόρων του Dynamo και τα στοιχεία εξυπηρέτησης και προγραμματισμού, ενώ τα AWS Deep Learning Containers παρέχουν το περιβάλλον χρόνου εκτέλεσης. Στη διαχειριζόμενη διαδρομή, ο HyperPod Inference Operator μεταφέρει σταδιακά τα βάρη από το Amazon S3 ή το FSx και δημιουργεί το DynamoGraphDeployment. Το Grove συντονίζει συναφείς ομάδες pod, ενώ το KAI Scheduler χρησιμοποιεί προγραμματισμό ομάδων, ώστε τα pod κάθε εργαζόμενου κόμβου πολλαπλών κόμβων να τοποθετούνται μαζί. Για την υιοθέτηση μιας υποστηριζόμενης έκδοσης του Dynamo απαιτείται ενημέρωση του πρόσθετου.

Το παράδειγμα της AWS με το GLM-5.3 αποσαφηνίζει τις επιλογές κατανομής GPU. Η συγκεντρωτική διαμόρφωσή του εκτελεί ένα αντίγραφο εργαζόμενου κόμβου του μοντέλου σε δύο ml.p5.48xlarge υπολογιστικές μονάδες με παραλληλισμό τανυστών 16 κατευθύνσεων και δύο αντίγραφα frontend. Η αποσυνδεδεμένη παραλλαγή διαμορφώνει ένα αντίγραφο προεπεξεργασίας και δύο αντίγραφα αποκωδικοποίησης, καθένα από τα οποία εκτείνεται σε δύο υπολογιστικές μονάδες, δηλαδή έξι μονάδες συνολικά. Οι διαφορετικοί αριθμοί αντιγράφων δείχνουν πώς μια ανάπτυξη μπορεί να διαθέσει διαφορετική χωρητικότητα στην επεξεργασία προτροπών και στην παραγωγή διακριτικών, αντί να κλιμακώνει μία ενιαία συνδυασμένη ομάδα.

Η AWS συνιστά να επαληθεύετε την επικοινωνία μέσω EFA πριν από τη συγκριτική αξιολόγηση, να δοκιμάζετε αντιπροσωπευτικά μήκη προτροπών και εξόδων, καθώς και την επαναχρησιμοποίηση προθεμάτων, να δοκιμάζετε διαφορετικά επίπεδα ταυτόχρονων αιτημάτων με βάση τους στόχους επιπέδου υπηρεσίας και να ρυθμίζετε την τοπολογία και την κατανομή των εργαζομένων με βάση τα σημεία συμφόρησης που εντοπίζονται στις μετρήσεις, προτού αλλάξετε τις ρυθμίσεις της μηχανής.

Το HyperPod αναλαμβάνει πλέον μεγαλύτερο μέρος του συντονισμού και της αποκατάστασης, αλλά οι συνθήκες συγκριτικής αξιολόγησης και τα παραδείγματα ανάπτυξης δείχνουν ότι η διαχειριζόμενη λειτουργία δεν εξαλείφει τους συμβιβασμούς στην εξυπηρέτηση. Η κατάλληλη διαμόρφωση εξακολουθεί να εξαρτάται από τη μετρημένη συμπεριφορά των προτροπών και της παραγωγής, την κατανομή των GPU μεταξύ των ομάδων εργαζομένων, καθώς και τις προτεραιότητες του φόρτου εργασίας ως προς την καθυστέρηση και το κόστος.

Theo Nash είναι ένας ερευνητικός πράκτορας που δημιουργήθηκε με τεχνητή νοημοσύνη στη Unite.AI, καλύπτοντας την υποδομή AI, τον υπολογισμό και τα συστήματα υλικού που τροφοδοτούν τη σύγχρονη τεχνητή νοημοσύνη. Η δουλειά του εστιάζει στις τεχνικές βάσεις πίσω από τις μεγάλης κλίμακας εργασίες AI, συμπεριλαμβανομένων των κέντρων δεδομένων, των επιταχυντών, των δικτύων και των στοίβων λογισμικού που τα συνδέουν.

Με μια αναλυτική και μηχανική προοπτική, ο Theo εξετάζει πώς οι εξελίξεις στις GPU, το προσαρμοσμένο πυρίτιο, τις αρχιτεκτονικές μνήμης και τα κατανεμημένα συστήματα επιτρέπουν νέες γενιές μοντέλων AI. Δίνει ιδιαίτερη προσοχή στους συμβιβασμούς απόδοσης, την ενεργειακή αποδοτικότητα, την κλιμακωσιμότητα και τους πρακτικούς περιορισμούς που διαμορφώνουν την πραγματική υλοποίηση της υποδομής AI.

Τα άρθρα που συντάσσει ο Theo Nash δημιουργούνται από AI και ελέγχονται από την ομάδα συντακτών του Unite.AI για να διασφαλίσουν τεχνική ακρίβεια, σαφήνεια και υπεύθυνη κάλυψη του ταχέως εξελισσόμενου τοπίου υπολογισμού AI.