Μοντέλα και πλατφόρμες AI
Το Amazon SageMaker AI προσθέτει δρομολογητή περιφερειακής ανακατεύθυνσης, πλέον γενικά διαθέσιμο

Βασικά σημείαΟ δρομολογητής μεταφέρει τη μηχανική εναλλαγής σε περίπτωση αποτυχίας στο SageMaker AI…
Δείτε περισσότερα
- Ο δρομολογητής μεταφέρει τη μηχανική εναλλαγής σε περίπτωση αποτυχίας στο SageMaker AI, αλλά οι πελάτες πρέπει ακόμη να πληρώνουν για εφεδρική χωρητικότητα αλλού.
- Οι βαθμολογίες υγείας αγνοούν την καθυστέρηση του μοντέλου, οπότε τα endpoints που επιστρέφουν επιτυχείς αποκρίσεις διατηρούν την κίνησή τους παρά τη βραδύτητα.
- Οι πελάτες δεν μπορούν να ορίσουν όρια βαρών ή χρονισμό εναλλαγής σε περίπτωση αποτυχίας, επειδή ο δρομολογητής ελέγχει όλες τις αποφάσεις δρομολόγησης αυτόματα.
Η Amazon Web Services έθεσε σε γενική διαθεσιμότητα τη δρομολόγηση συμπερασμού μεταξύ Περιφερειών στο Amazon SageMaker AI στις 19 Νοεμβρίου 2026, επιτρέποντας στις εφαρμογές να καλούν έναν δρομολογητή για πρόσβαση σε υπάρχοντες πόρους εξυπηρέτησης μοντέλων σε Περιφέρειες και λογαριασμούς AWS, όταν εξαντλείται η τοπική χωρητικότητα.
Ένα τελικό σημείο SageMaker AI λειτουργεί σε μία Περιφέρεια και σε έναν λογαριασμό. Όταν η αυτόματη κλιμάκωση δεν μπορεί να προσθέσει τον απαιτούμενο τύπο στιγμιότυπου, τα αιτήματα μπορεί να υπόκεινται σε περιορισμό ρυθμού και να λήγουν λόγω χρονικού ορίου, ακόμη κι αν το ίδιο μοντέλο διαθέτει αχρησιμοποίητη χωρητικότητα αλλού. Οι πελάτες που χρησιμοποιούσαν διαχειριζόμενα τελικά σημεία έπρεπε προηγουμένως να δημιουργούν τη δική τους δρομολόγηση μεταξύ Περιφερειών, συμπεριλαμβανομένων του εντοπισμού αστοχιών, των ασφαλών επαναλήψεων, της διαχείρισης ανάκαμψης και της πρόσβασης μεταξύ λογαριασμών.
Ο νέος δρομολογητής συμπερασμού Περιφερειών χρησιμοποιεί έναν επώνυμο στόχο δρομολόγησης για κάθε λογικό μοντέλο. Ένας στόχος μπορεί να συνδυάζει τελικά σημεία πραγματικού χρόνου και στοιχεία συμπερασμού σε διαφορετικές Περιφέρειες και λογαριασμούς ή να περιλαμβάνει μόνο ασύγχρονα τελικά σημεία. Η εφαρμογή καλεί τον στόχο μέσω του δρομολογητή. Τα μοντέλα, οι διαμορφώσεις τελικών σημείων, οι ομάδες στιγμιότυπων, τα κοντέινερ και η αυτόματη κλιμάκωση παραμένουν αμετάβλητα, ενώ οι απευθείας InvokeEndpoint κλήσεις εξακολουθούν να λειτουργούν. Ο δρομολογητής δεν δημιουργεί χωρητικότητα, δεν αναπτύσσει μοντέλα ούτε κλιμακώνει τελικά σημεία, επομένως κάθε προορισμός πρέπει να λειτουργεί ήδη στην Περιφέρειά του.
Η ανακατεύθυνση βασίζεται σε ενδείξεις υγείας
Ο δρομολογητής προτιμά τους υγιείς προορισμούς στη δική του Περιφέρεια και κατανέμει ομοιόμορφα τα αιτήματα μεταξύ πολλών υγιών τοπικών προορισμών. Η βαθμολογία υγείας βασίζεται σε πρόσφατα αιτήματα, τα οποία καταγράφονται στην Περιφέρεια κάθε προορισμού: τα σφάλματα διακομιστή, οι περιορισμοί ρυθμού και οι λήξεις χρονικού ορίου τη μειώνουν, τα σφάλματα πλατφόρμας τη μειώνουν περισσότερο, ενώ οι αστοχίες που προκαλούνται από τα αιτήματα, όπως η μη έγκυρη είσοδος, δεν την επηρεάζουν. Η καθυστέρηση του μοντέλου δεν συνυπολογίζεται, επομένως ένα τελικό σημείο που συνεχίζει να επιστρέφει επιτυχείς αποκρίσεις διατηρεί την κίνησή του. Το SageMaker AI δημοσιεύει healthy, overloaded και degraded καταστάσεις στο CloudWatch· οι υπερφορτωμένοι προορισμοί χάνουν μέρος της κίνησής τους, ενώ οι υποβαθμισμένοι διατηρούν μόνο ένα μικρό μερίδιο, ώστε ο δρομολογητής να μπορεί να εντοπίσει την ανάκαμψη.
Η AWS αναφέρει ότι η κίνηση αρχίζει να μεταφέρεται μέσα σε περίπου ένα λεπτό από τη στιγμή που τα σφάλματα γίνονται επίμονα ή αργότερα, αν οι προορισμοί έχουν μικρή κίνηση, και επιστρέφει σταδιακά μέσα σε αρκετά λεπτά μετά την ανάκαμψη. Οι πελάτες δεν μπορούν να ορίσουν συντελεστές βαρύτητας, σειρά εφεδρικών επιλογών, κατώφλια ή χρόνο ανακατεύθυνσης. Αν οι πληροφορίες υγείας για απομακρυσμένους προορισμούς καταστούν παρωχημένες, ο δρομολογητής διατηρεί την κίνηση στη δική του Περιφέρεια.
Η συμπεριφορά επανάληψης είναι πιο περιορισμένη για τον συμπερασμό πραγματικού χρόνου. Ο δρομολογητής επιχειρεί μία δεύτερη φορά σε διαφορετικό προορισμό μόνο όταν το μοντέλο δεν εκτελέστηκε, μεταξύ άλλων μετά από περιορισμό ρυθμού, σφάλμα 503, μη έτοιμο μοντέλο, απόρριψη λόγω ορίου κίνησης ή άρνηση πρόσβασης στον προορισμό. Δεν επαναλαμβάνει ποτέ αιτήματα που έληξαν λόγω χρονικού ορίου, σφάλματα 500 ή σφάλματα μοντέλου. Τα ασύγχρονα αιτήματα δοκιμάζονται μία φορά σε κάθε επιλέξιμο προορισμό, ξεκινώντας από τους τοπικούς, μέχρι κάποιος να τα αποδεχτεί.
Κάθε απόκριση πραγματικού χρόνου προσδιορίζει τον προορισμό εξυπηρέτησης στο InvokedRoutedResourceArn και παρέχει ένα RoutingReason του local-preferred, capacity-available, failover ή only-healthy. Οι μετρήσεις OpenTelemetry στο CloudWatch προσθέτουν δεδομένα για τα αιτήματα και τα σφάλματα ανά προορισμό, τη διάρκεια στον προορισμό, την επιβάρυνση του δρομολογητή και του δικτύου μεταξύ Περιφερειών, καθώς και την υγεία. Οι ασύγχρονες αποκρίσεις δεν προσδιορίζουν τον προορισμό τους, αν και οι μετρήσεις του CloudWatch δείχνουν πού δρομολογήθηκαν τα αιτήματα.
Η χωρητικότητα και οι έλεγχοι πρόσβασης παραμένουν ευθύνη των κατόχων των τελικών σημείων
Η υπερχείλιση μπορεί να οδηγήσει ένα τελικό σημείο που δέχεται κίνηση σε περιορισμό ρυθμού. Από προεπιλογή, ένα τελικό σημείο πραγματικού χρόνου δέχεται οποιονδήποτε όγκο κίνησης από άλλες Περιφέρειες. Ένα προαιρετικό όριο επιτρέπει στον κάτοχό του να ορίσει έναν ρυθμό κλήσεων ανά στιγμιότυπο, δοκιμασμένο υπό φορτίο, καθώς και το μέγιστο ποσοστό που διατίθεται σε άλλες Περιφέρειες. Το επιτρεπόμενο όριο μεταβάλλεται ανάλογα με τον αριθμό των στιγμιότυπων σε λειτουργία, συμπεριλαμβανομένων των αλλαγών που οφείλονται στην αυτόματη κλιμάκωση. Στο παράδειγμα της AWS, 50 κλήσεις ανά δευτερόλεπτο ανά στιγμιότυπο, όριο 20% και τέσσερα στιγμιότυπα επιτρέπουν 40 αιτήματα ανά δευτερόλεπτο από άλλες Περιφέρειες, ενώ ο αριθμός αυξάνεται σε 60 όταν προστίθενται δύο στιγμιότυπα.
Μόνο τα αιτήματα από άλλες Περιφέρειες συνυπολογίζονται σε αυτό το όριο, ενώ οι κλήσεις από την Περιφέρεια του τελικού σημείου δεν υπόκεινται ποτέ σε περιορισμό μέσω αυτού του μηχανισμού. Τα πλεονάζοντα αιτήματα απορρίπτονται πριν εκτελεστεί το μοντέλο και επαναλαμβάνονται μία φορά αλλού· αν κανένας προορισμός δεν μπορεί να τα δεχτεί, η εφαρμογή λαμβάνει σφάλμα περιορισμού ρυθμού. Όλα τα στοιχεία συμπερασμού σε ένα τελικό σημείο υπόκεινται στο ίδιο όριο.
Για προορισμούς μεταξύ λογαριασμών, και οι δύο λογαριασμοί πρέπει να επιτρέπουν τα αιτήματα. Μια πολιτική τελικού σημείου μπορεί να περιορίσει την πρόσβαση σε έναν συγκεκριμένο δρομολογητή, ενώ ο δρομολογητής δεν παρέχει στον καλούντα πρόσβαση σε τελικό σημείο το οποίο δεν θα μπορούσε να καλέσει απευθείας.
Όρια ανάπτυξης και τιμολόγηση
Η υπηρεσία είναι γενικά διαθέσιμη στις περισσότερες εμπορικές Περιφέρειες AWS, εκτός από τις me-south-1 και me-central-1, για συμπερασμό πραγματικού χρόνου και ασύγχρονο συμπερασμό. Δεν υποστηρίζει ροή αποκρίσεων. Τα αιτήματα πραγματικού χρόνου έχουν περίπου ένα λεπτό για να λάβουν απόκριση από προορισμό, τα ωφέλιμα φορτία πραγματικού χρόνου μπορούν να φτάσουν έως τα 6 MB και κάθε δρομολογητής υποστηρίζει έως 20 στόχους δρομολόγησης, με έως 10 προορισμούς ανά στόχο.
Ο ίδιος ο δρομολογητής λειτουργεί σε μία Περιφέρεια, επομένως η AWS συνιστά τη δημιουργία δρομολογητών σε δύο Περιφέρειες και την εναλλαγή μεταξύ τους από την πλευρά του πελάτη, ώστε να διασφαλίζεται η ανθεκτικότητα του σημείου εισόδου. Τα όρια κατοικίας δεδομένων χρειάζονται επίσης ρητή διαμόρφωση, καθώς ένα αίτημα μπορεί να υποβληθεί σε επεξεργασία στην Περιφέρεια του δρομολογητή ή σε οποιαδήποτε Περιφέρεια διαθέτει καταχωρισμένο προορισμό.
Δεν υπάρχει πρόσθετη χρέωση για τη δρομολόγηση. Οι πελάτες πληρώνουν τις συνήθεις χρεώσεις για τα τελικά σημεία και τα στοιχεία εξαγωγής συμπερασμάτων του SageMaker AI, είτε τα αιτήματα φτάνουν απευθείας είτε μέσω δρομολογητή, καθώς και τις συνήθεις χρεώσεις του CloudWatch για τις μετρήσεις και τα ερωτήματα του δρομολογητή.
Με την κυκλοφορία αυτή, η μηχανική της εναλλαγής σε εφεδρική λειτουργία μεταφέρεται στο SageMaker AI, ενώ ο κεντρικός συμβιβασμός ως προς τα οικονομικά του υπολογιστικού νέφους εξακολουθεί να βαρύνει τους πελάτες: η συνέχιση της υπηρεσίας όταν υπάρχει έλλειψη πόρων σε μία Περιοχή εξακολουθεί να εξαρτάται από την πληρωμή και τη διάθεση αξιοποιήσιμης χωρητικότητας για εξαγωγή συμπερασμάτων σε κάποια άλλη.












