Μοντέλα και πλατφόρμες AI
Η AWS δρομολογεί αιτήματα συμπερασματολογίας του HyperPod μεταξύ περιοχών μέσω ενός μόνο endpoint

Βασικά σημείαΗ παγκόσμια πύλη προσθέτει ένα επίπεδο επιλογής συστάδας πάνω από την υπάρχουσα…
Δείτε περισσότερα
- Η παγκόσμια πύλη προσθέτει ένα επίπεδο επιλογής συστάδας πάνω από την υπάρχουσα δρομολόγηση του Inference Gateway σε επίπεδο pod.
- Οι διαχειριστές ρυθμίζουν τέσσερα σταθμισμένα σήματα, συμπεριλαμβανομένου του RegionProximity στο 0,40, για να εξισορροπήσουν την καθυστέρηση έναντι της ανθεκτικότητας.
- Η AWS δηλώνει ότι η πύλη δεν καταγράφει ούτε αποθηκεύει προτροπές ή ολοκληρώσεις και δρομολογεί μόνο μέσω PrivateLink.
Στις 20 Νοεμβρίου 2026, η AWS παρουσίασε την Παγκόσμια Πύλη Συμπερασματολογίας Amazon SageMaker HyperPod, προσφέροντας στους πελάτες ένα ενιαίο διαχειριζόμενο endpoint για αιτήματα συμπερασματολογίας σε καταχωρισμένα συμπλέγματα HyperPod, εντός μίας περιοχής AWS ή σε πολλές περιοχές. Η υπηρεσία επιλέγει σύμπλεγμα με βάση τα σήματα χωρητικότητας, ουράς, εγγύτητας και σφαλμάτων, ενώ προβλέπει αυτόματη μετάβαση σε εφεδρικό σύμπλεγμα όταν κάποιο σύμπλεγμα καθίσταται μη διαθέσιμο.
Η κυκλοφορία προσθέτει ένα δεύτερο επίπεδο δρομολόγησης πάνω από την υπάρχουσα Πύλη Συμπερασματολογίας SageMaker HyperPod. Η πύλη σε επίπεδο συμπλέγματος εξακολουθεί να επιλέγει μεμονωμένα pod μοντέλων βάσει σημάτων όπως η χρήση της κρυφής μνήμης key-value (KV) και το μήκος της ουράς· το νέο καθολικό επίπεδο επιλέγει πρώτα το σύμπλεγμα, χωρίς να αλλάζει ο τρόπος επιλογής των pod.
Η AWS αντιμετωπίζει ένα πρόβλημα αξιοποίησης της χωρητικότητας: τα αιτήματα μπορεί να περιμένουν σε ουρά σε ένα κορεσμένο σύμπλεγμα, ενώ GPU που έχουν ήδη τεθεί σε λειτουργία παραμένουν αδρανείς αλλού. Στο παράδειγμά της, όπου τέσσερα μοντέλα εξυπηρετούνται σε πέντε συμπλέγματα σε δύο περιοχές, η εξυπηρέτηση ανά μοντέλο απαιτεί από τους πελάτες να παρακολουθούν 20 endpoint. Οι πύλες σε επίπεδο συμπλέγματος μειώνουν τον αριθμό σε πέντε, ενώ η καθολική πύλη τον περιορίζει σε ένα. Το διαχειριζόμενο επίπεδο καταργεί την ανάγκη δημιουργίας και συντήρησης εξισορροπητών φορτίου, DNS και δικτύωσης μεταξύ περιοχών για αυτήν τη δρομολόγηση, ενώ επιτρέπει την εκτροπή της κίνησης αιχμής προς συμπλέγματα με διαθέσιμη χωρητικότητα.
Ρυθμιζόμενη επιλογή συμπλέγματος
Ο διαχειριστής δημοσιεύει κάθε συμμετέχον σύμπλεγμα ενεργοποιώντας spec.globalRouting στο υπάρχον InferenceGatewayConfig, και στη συνέχεια καλεί CreateGlobalInferenceGateway με τα συμπλέγματα που θέλει να ομαδοποιήσει. Η δημοσίευση δημιουργεί έναν Network Load Balancer, μια υπηρεσία endpoint εικονικού ιδιωτικού νέφους (VPC) και πόρους πιστοποιητικών στον λογαριασμό του πελάτη. Δεν είναι δυνατή η επιτυχής προσθήκη ενός μη δημοσιευμένου συμπλέγματος.
Οι πελάτες στέλνουν αιτήματα συμβατά με το OpenAI, υπογεγραμμένα με το AWS Signature Version 4 (SigV4), στο περιφερειακό endpoint. Η πύλη επαληθεύει την ταυτότητα του καλούντος και επιλέγει ένα υγιές σύμπλεγμα, το AWS PrivateLink μεταφέρει το αίτημα εντός ή μεταξύ περιοχών και η Πύλη Συμπερασματολογίας του συμπλέγματος επιλέγει το pod μοντέλου. Το SageMaker διαχειρίζεται τον στόλο δρομολόγησης, τα ιδιωτικά endpoint, την επικύρωση πιστοποιητικών, τους ελέγχους υγείας, την επαλήθευση ταυτότητας και τον περιορισμό του ρυθμού αιτημάτων· ένας διαχειριζόμενος από την υπηρεσία μηχανισμός δημοσίευσης σε κάθε σύμπλεγμα παρέχει μετρήσεις φόρτου.
Για κάθε αίτημα, η πύλη βαθμολογεί τα υγιή συμπλέγματα χρησιμοποιώντας τέσσερα ρυθμιζόμενα σήματα:
| Σήμα | Τι μετρά | Προεπιλεγμένη στάθμιση |
|---|---|---|
KVHeadroom |
Διαθέσιμη κρυφή μνήμη KV και μνήμη GPU στο σύμπλεγμα | 0.20 |
QueueDepth |
Ο βαθμός συμφόρησης του συμπλέγματος | 0.25 |
RegionProximity |
Απόσταση μεταξύ του συμπλέγματος και της περιοχής της πύλης | 0.40 |
ErrorRate |
Πρόσφατα αποτυχημένα αιτήματα στο σύμπλεγμα | 0.15 |
Οι πελάτες που παρακάμπτουν τις προεπιλεγμένες τιμές πρέπει να ορίσουν και τις τέσσερις σταθμίσεις, με τιμές από 0.0 έως 1.0, οι οποίες αθροίζουν σε 1.0, και μπορούν να απενεργοποιήσουν ένα σήμα ορίζοντάς το σε μηδέν. UpdateGlobalInferenceGateway αλλάζει τη στάθμιση για τα νέα αιτήματα χωρίς να απαιτείται εκ νέου προμήθεια πόρων, ενώ τα αιτήματα που βρίσκονται σε εξέλιξη ολοκληρώνονται με τις παλιές ρυθμίσεις. Η AWS αναφέρει ότι οι φόρτοι εργασίας που δίνουν προτεραιότητα στην ανθεκτικότητα αντί στην εγγύτητα μπορούν να αυξήσουν ErrorRate και να μειώσουν RegionProximity.
Μετάβαση σε εφεδρικό σύμπλεγμα και ιδιωτικότητα
Η πύλη ελέγχει την υγεία κάθε συμπλέγματος και, μετά από αστοχία, μεταφέρει την κίνηση στο αμέσως καταλληλότερο σύμπλεγμα, χωρίς να απαιτούνται αλλαγές από την πλευρά του πελάτη, επαναφέροντας σταδιακά ένα σύμπλεγμα που έχει ανακάμψει. Ένα αποτυχημένο αίτημα επαναλαμβάνεται μία φορά σε άλλο σύμπλεγμα, εκτός αν έχει ξεκινήσει η ροή δεδομένων· αν δεν απομένει κανένα υγιές σύμπλεγμα, η πύλη επιστρέφει HTTP 503. Η προσθήκη ενός υγιούς συμπλέγματος δεν αλλάζει το endpoint ούτε διαταράσσει τη λειτουργία άλλων συμπλεγμάτων, ενώ η αφαίρεση ενός συμπλέγματος σταματά τα νέα αιτήματα, αλλά επιτρέπει να ολοκληρωθούν όσα βρίσκονται ήδη σε εξέλιξη.
Το IAM ελέγχει ξεχωριστά τις τυπικές κλήσεις και τις κλήσεις ροής, ενώ τα JSON Web Token των πελατών, όταν χρησιμοποιούνται, μεταφέρονται μέσα στην υπογραφή SigV4. Τα αιτήματα φτάνουν στα συμπλέγματα μόνο μέσω του AWS PrivateLink και, σύμφωνα με την AWS, η πύλη δεν καταγράφει ούτε αποθηκεύει τα prompt ή τις ολοκληρωμένες απαντήσεις. Η διαγραφή της καθολικής πύλης διακόπτει τη λειτουργία του endpoint της, αλλά τα endpoint ανά σύμπλεγμα συνεχίζουν να εξυπηρετούν αιτήματα.
Ο Jinhyung Park, αντιπρόεδρος του τμήματος πλατφόρμας τεχνητής νοημοσύνης της Bagelcode, δήλωσε στην ανακοίνωση της AWS ότι, κατά τις δοκιμές beta, αιτήματα δρομολογήθηκαν μέσω της πύλης μεταξύ δύο περιοχών και η εξυπηρέτησή τους συνεχίστηκε όταν ένα σύμπλεγμα έπαψε να μπορεί να εξυπηρετήσει το μοντέλο. Έτσι, η μικρή ομάδα πλατφόρμας της εταιρείας απέκτησε δυνατότητα μετάβασης σε εφεδρικό σύμπλεγμα μεταξύ περιοχών, χωρίς να χρειαστεί να δημιουργήσει ή να συντηρεί δικό της επίπεδο δρομολόγησης.
Διαθεσιμότητα και μετάβαση
Η υπηρεσία είναι διαθέσιμη σε 13 περιοχές: Ανατολικές ΗΠΑ (Βόρεια Βιρτζίνια και Οχάιο), Δυτικές ΗΠΑ (Βόρεια Καλιφόρνια και Όρεγκον), Νότια Αμερική (Σάο Πάολο), Ευρώπη (Φρανκφούρτη, Ιρλανδία, Λονδίνο και Στοκχόλμη) και Ασία-Ειρηνικός (Τόκιο, Μουμπάι, Σιγκαπούρη και Σίδνεϊ).
Η AWS συνιστά στους χρήστες με ένα μόνο σύμπλεγμα να παραμείνουν στο endpoint της Πύλης Συμπερασματολογίας του συμπλέγματος και να υιοθετήσουν την καθολική υπηρεσία όταν προσθέσουν δεύτερο σύμπλεγμα. Τα υπάρχοντα endpoint ανά σύμπλεγμα συνεχίζουν να εξυπηρετούν αιτήματα κατά τη μετάβαση των πελατών, ενώ μια πύλη που περιλαμβάνει μόνο συμπλέγματα σε μία περιοχή μπορεί να διατηρήσει εκεί τον φόρτο εργασίας. Ένα δημοσιευμένο σύμπλεγμα που δεν ανήκει σε καμία πύλη δεν δέχεται κίνηση, παρότι ο Network Load Balancer του εξακολουθεί να λειτουργεί και να επιβαρύνεται με χρεώσεις.
Συγκεντρώνοντας σε μία πολιτική τα σήματα εγγύτητας, χωρητικότητας και αστοχίας, η υπηρεσία μετατρέπει την αξιοποίηση της αδρανούσας χωρητικότητας GPU σε επιλογή διαμόρφωσης αντί για ξεχωριστό έργο δικτύωσης.












