Μοντέλα και πλατφόρμες AI
Το SageMaker AI δρομολογεί αιτήματα με βάση την κατάσταση της μνήμης cache της GPU, όπως αναφέρεται από το κοντέινερ

Βασικά σημείαΗ δρομολόγηση με επίγνωση KV αυξάνει τα ποσοστά επιτυχίας της προσωρινής μνήμης από…
Δείτε περισσότερα
- Η δρομολόγηση με επίγνωση KV αυξάνει τα ποσοστά επιτυχίας της προσωρινής μνήμης από 3–48% σε 80–93% παρακολουθώντας τις εκκενώσεις που αναφέρει το container.
- Η επιβάρυνση δρομολόγησης προσθέτει 14 έως 19 χιλιοστά του δευτερολέπτου CloudWatch OverheadLatency ακόμη και όταν η καθυστέρηση του μοντέλου βελτιώνεται.
- Η λειτουργία απαιτεί τουλάχιστον δύο instances ή αντίγραφα inference-component για να έχει οποιοδήποτε αποτέλεσμα δρομολόγησης.
Στις 17 Νοεμβρίου 2026, η Amazon Web Services παρουσίασε τη δρομολόγηση με επίγνωση της μνήμης cache KV για τα τελικά σημεία πραγματικού χρόνου του Amazon SageMaker AI, χρησιμοποιώντας την κατάσταση της μνήμης cache που αναφέρει το κοντέινερ για τη δρομολόγηση των αιτημάτων. Σύμφωνα με την AWS, σε δοκιμές με μεγάλα αιτήματα υπό φόρτο, η διάμεση καθυστέρηση μέχρι το πρώτο token ήταν έως και 97% μικρότερη και η διεκπεραιωτική ικανότητα 234% υψηλότερη σε σύγκριση με την τυχαία δρομολόγηση.
Η μνήμη cache KV διατηρεί στη μνήμη της GPU τους υπολογισμούς προηγούμενων αιτημάτων, ώστε το μοντέλο να μπορεί να τους επαναχρησιμοποιήσει αντί να επαναλάβει την αρχική επεξεργασία, ή προπλήρωση, των αντίστοιχων token εισόδου. Γι’ αυτό, η τοποθέτηση της μνήμης cache έχει σημασία για βοηθούς συνομιλίας, την παραγωγή με επαυξημένη ανάκτηση και πράκτορες με μεγάλα μηνύματα συστήματος: η αποστολή ενός αιτήματος σε άλλη τοποθεσία μπορεί να αναγκάσει μια παρουσία να υπολογίσει ξανά το πλαίσιο που έχει ήδη αποθηκευμένο μια άλλη GPU.
Δρομολόγηση με βάση την αναφερόμενη κατάσταση της μνήμης cache
Η υπάρχουσα στρατηγική του SageMaker AI, η οποία λαμβάνει υπόψη το πρόθεμα, συμπεραίνει τη θέση της μνήμης cache από ένα σταθερό πρόθεμα αιτήματος. Δεν μπορεί να εντοπίσει εκτοπίσεις εγγραφών από τη μνήμη cache, ενώ οι αρχικοί γύροι μιας συνομιλίας που μεγαλώνει μπορεί να κατακερματίζονται διαφορετικά και να καταλήγουν σε ξεχωριστές παρουσίες. Αντίθετα, η δρομολόγηση με επίγνωση της μνήμης cache KV χρησιμοποιεί συμβάντα από το κοντέινερ του μοντέλου κάθε φορά που αποθηκεύονται ή εκτοπίζονται εγγραφές από τη μνήμη cache.
Η υπηρεσία διατηρεί ένα διαχειριζόμενο ευρετήριο κατακερματισμών που έχουν περικοπεί μονόδρομα και αντιστοιχιστεί σε παρουσίες ή αντίγραφα στοιχείων εξαγωγής συμπερασμάτων, αντί να αποθηκεύει προτροπές, αναγνωριστικά token, ωφέλιμα φορτία αιτημάτων ή τανυστές KV. Κάθε εισερχόμενη προτροπή μετατρέπεται σε token και αντιπαραβάλλεται με το ευρετήριο. Το τελικό σημείο σταθμίζει τη μεγαλύτερη αντιστοιχία στη μνήμη cache σε σχέση με τον φόρτο της παρουσίας και παραλείπει τους υποψηφίους που είναι υπερβολικά απασχολημένοι.
Αν η αναζήτηση καθυστερήσει, δεν υπάρχει χρήσιμη αντιστοιχία ή όλες οι παρουσίες με αντιστοιχία είναι απασχολημένες, το αίτημα δρομολογείται εναλλακτικά στην παρουσία με τα λιγότερα εκκρεμή αιτήματα και εξακολουθεί να εξυπηρετείται. Κατά τη μείωση της κλίμακας αφαιρούνται από το ευρετήριο οι εγγραφές για τις παρουσίες που αποσύρονται, ενώ οι νέες ή οι παρουσίες αντικατάστασης ξεκινούν με άδειες μνήμες cache, γεγονός που συνεπάγεται προσωρινή αναδημιουργία της μνήμης cache και καθυστέρηση κατά την ψυχρή εκκίνηση.
Οφέλη στις δοκιμές συγκριτικής αξιολόγησης και επιβάρυνση από τη δρομολόγηση
Η AWS αναφέρει ότι οι δοκιμές της, διάρκειας 30 λεπτών, εκτέλεσαν το Llama 3.1 70B Instruct σε επτά παρουσίες ml.p5.48xlarge, με 20 ή 100 προσομοιωμένους χρήστες, συνομιλίες πολλών γύρων και συνεδρίες ερωταποκρίσεων πάνω σε έγγραφα, ενώ οι προτροπές έφταναν περίπου τα 64.000 token. Το ποσοστό επιτυχίας της μνήμης cache αυξήθηκε από 3–48% με την τυχαία δρομολόγηση σε 80–93% με τη δρομολόγηση που λαμβάνει υπόψη τη μνήμη cache KV. Τα αποτελέσματα εξαρτώνται από τον φόρτο εργασίας, ενώ τα σύντομα αιτήματα ωφελήθηκαν λιγότερο, επειδή αφήνουν λιγότερους υπολογισμούς προπλήρωσης προς επαναχρησιμοποίηση.
Η αναζήτηση για τη δρομολόγηση προσθέτει επιβάρυνση από τη μετατροπή σε token και την επεξεργασία του ευρετηρίου: λίγα χιλιοστά του δευτερολέπτου για σύντομες προτροπές και περισσότερα για μεγαλύτερες. Τα τυπικά αιτήματα μόνο κειμένου διαβιβάζουν τα υπολογισμένα token στο μοντέλο, αποφεύγοντας έτσι μια δεύτερη μετατροπή σε token. Σε ξεχωριστή σύγκριση της AWS, με δύο παρουσίες του Qwen3-4B-Instruct-2507, η μέση τιμή του CloudWatch OverheadLatency —που μετρά τον χρόνο που δαπανά το SageMaker AI εκτός του κοντέινερ του μοντέλου— ήταν κατά 14 έως 19 χιλιοστά του δευτερολέπτου υψηλότερη με τη δρομολόγηση που λαμβάνει υπόψη τη μνήμη cache KV, παρότι βελτιώθηκαν η καθυστέρηση του μοντέλου και ο χρόνος μέχρι το πρώτο token.
Απαιτήσεις ανάπτυξης και ορατότητα
Κατά την κυκλοφορία της, η λειτουργία απαιτεί το AWS vLLM Deep Learning Container για το SageMaker AI με vLLM 0.33.0 ή νεότερη έκδοση, ή την έκδοση Amazon Linux server-sagemaker-cuda-v2.8.0 ή νεότερη έκδοση. Πρέπει να είναι ενεργοποιημένα η προσωρινή αποθήκευση προθεμάτων και τα συμβάντα της μνήμης cache KV. Οι πελάτες ορίζουν SM_VLLM_KV_EVENTS_CONFIG στο μοντέλο και RoutingStrategy σε KV_AWARE στην παραλλαγή παραγωγής, χωρίς να αλλάζουν τις κλήσεις των πελατών.
Υποστηρίζει τελικά σημεία πραγματικού χρόνου με GPU, τόσο για μεμονωμένα μοντέλα όσο και για στοιχεία εξαγωγής συμπερασμάτων, συμπεριλαμβανομένων δυναμικών προσαρμογέων Low-Rank Adaptation. Η δρομολόγηση απαιτεί τουλάχιστον δύο παρουσίες για ένα τελικό σημείο μεμονωμένου μοντέλου ή δύο αντίγραφα στοιχείου εξαγωγής συμπερασμάτων· όταν υπάρχει μόνο ένας προορισμός, η ρύθμιση δεν επηρεάζει τη δρομολόγηση. Τα αιτήματα πρέπει να χρησιμοποιούν ωφέλιμα φορτία Completions ή Chat Completions συμβατά με το OpenAI, μέσω των υποστηριζόμενων API κλήσης, ενώ η InvokeEndpointWithBidirectionalStream δεν υποστηρίζεται.
Κατά την κυκλοφορία της, η δρομολόγηση με επίγνωση της μνήμης cache KV δεν προσθέτει ειδικές μετρήσεις ή αρχεία καταγραφής αποφάσεων δρομολόγησης για λογαριασμούς πελατών, ενώ οι εναλλακτικές διαδρομές δεν εμφανίζονται στην κονσόλα ή στις μετρήσεις του SageMaker AI. Οι πελάτες μπορούν να ελέγχουν usage.prompt_tokens_details.cached_tokens αφού ενεργοποιήσουν τις λεπτομέρειες για τα token της προτροπής, και να παρακολουθούν μετρήσεις του κοντέινερ, όπως το ποσοστό επιτυχίας της μνήμης cache και τον χρόνο μέχρι το πρώτο token, μέσω της λεπτομερούς παρατηρησιμότητας και του CloudWatch.
Η λειτουργία είναι διαθέσιμη σε όλες τις εμπορικές περιοχές AWS που υποστηρίζουν την εξαγωγή συμπερασμάτων πραγματικού χρόνου του SageMaker AI με υποστηριζόμενο κοντέινερ, χωρίς πρόσθετη χρέωση πέρα από το κόστος των παρουσιών του τελικού σημείου. Η AWS εξακολουθεί να περιγράφει τη δρομολόγηση με επίγνωση προθεμάτων ως την απλούστερη επιλογή για σταθερές, κοινόχρηστες προτροπές, σύντομα συμφραζόμενα και μέτριο φόρτο. Η δρομολόγηση με επίγνωση της μνήμης cache KV ανταποκρίνεται καλύτερα σε μεγαλύτερα συμφραζόμενα που μπορούν να επαναχρησιμοποιηθούν, στην πίεση της μνήμης και στις συχνές εκτοπίσεις εγγραφών, αφήνοντας κάθε φόρτο εργασίας με μια σαφή ισορροπία υποδομής: την εξοικονόμηση υπολογισμών προπλήρωσης της GPU έναντι της πρόσθετης επιβάρυνσης δρομολόγησης ανά αίτημα.












