Μοντέλα και πλατφόρμες AI

Η AWS ενεργοποιεί την προεπιλεγμένη παρακολούθηση για τα τελικά σημεία συμπερασμού του SageMaker AI

Theo Nash
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ προεπιλεγμένη παρακολούθηση εντοπίζει μετατόπιση λανθάνουσας κατάστασης και αδρανείς…
Δείτε περισσότερα
  • Η προεπιλεγμένη παρακολούθηση εντοπίζει μετατόπιση λανθάνουσας κατάστασης και αδρανείς GPU χωρίς να απαιτεί από τους χρήστες να ορίσουν εκ των προτέρων κατώτατα όρια.
  • Τα ευρήματα ανοίγουν μια ροή εργασίας πρακτόρων SageMaker Studio που αξιολογεί εναλλακτικές σε ξεχωριστό υπολογιστικό πόρο πριν από αλλαγές στην παραγωγή.
  • Η παρακολούθηση είναι δωρεάν χωρίς επιπλέον κόστος GPU και μπορεί να απενεργοποιηθεί μέσω της μεταβλητής περιβάλλοντος OPT_OUT_TRACKING.

Η Amazon Web Services (AWS) ενεργοποίησε στις 19 Νοεμβρίου 2026 την προεπιλεγμένη παρακολούθηση για τα επιλέξιμα τελικά σημεία συμπερασμού παραγωγικής τεχνητής νοημοσύνης του Amazon SageMaker AI, προσθέτοντας ευρήματα στο AWS Health για αποκλίσεις στην καθυστέρηση, αδρανή χωρητικότητα GPU και μη εφαρμοσμένες βελτιστοποιήσεις εξυπηρέτησης.

Η παρακολούθηση δεν απαιτεί ρύθμιση στα τελικά σημεία που χρησιμοποιούν περιέκτες εξυπηρέτησης vLLM και περιπτώσεις GPU. Μετρά την καθυστέρηση σε επίπεδο τελικού σημείου, την αξιοποίηση της GPU και τη διαμόρφωση εξυπηρέτησης, όχι το περιεχόμενο των αιτημάτων ή των αποκρίσεων. Στόχος είναι να εντοπίζεται η σταδιακή απόκλιση μετά την ανάπτυξη, καθώς μεταβάλλονται η κίνηση, τα μήκη των προτροπών, το λογισμικό εξυπηρέτησης και οι απαιτήσεις πόρων του μοντέλου.

Η ανακοίνωση επεκτείνει τις συστάσεις για βελτιστοποιημένο συμπερασμό παραγωγικής τεχνητής νοημοσύνης, τις οποίες η AWS παρουσίασε στις 22 Απριλίου 2026. Αυτή η διαδικασία επιτρέπει στους χρήστες να επιλέγουν ως στόχο το κόστος, την καθυστέρηση ή τη ρυθμαπόδοση, να συγκρίνουν έως και τρεις τύπους περιπτώσεων και να αξιολογούν διαμορφώσεις σε πραγματικές GPU με το NVIDIA AIPerf. Υποστηρίζει επίσης δοκιμές αξιολόγησης σε υφιστάμενα τελικά σημεία παραγωγής· το νέο επίπεδο προσθέτει συνεχή παρακολούθηση και ειδοποιήσεις σε αυτήν τη διαδικασία λήψης αποφάσεων που ξεκινά ο χρήστης.

Τι εντοπίζει η παρακολούθηση

Τα ευρήματα για αποκλίσεις στην καθυστέρηση συγκρίνουν τη διάμεση καθυστέρηση από άκρο σε άκρο (p50) και τον διάμεσο χρόνο έως το πρώτο διακριτικό με τις αντίστοιχες μετρήσεις του τελικού σημείου κατά την προηγούμενη εβδομάδα. Επειδή η γραμμή βάσης βασίζεται σε ιστορικά δεδομένα, οι χρήστες δεν χρειάζεται να ορίσουν εκ των προτέρων κάποιο όριο. Η δοκιμή αξιολόγησης που ακολουθεί ελέγχει τις ρυθμίσεις παραλληλισμού τενσόρων και εναλλακτικούς τύπους ή μεγέθη περιπτώσεων.

Άλλα ευρήματα αφορούν GPU που παραμένουν πολύ κάτω από τη χωρητικότητά τους, υποστηριζόμενη αλλά απενεργοποιημένη αποκωδικοποίηση με εικασίες, μη ρυθμισμένους πυρήνες GPU, καθώς και περιέκτες εξυπηρέτησης στους οποίους λείπουν νεότερες βελτιώσεις επιδόσεων ή διορθώσεις για ευπάθειες κρίσιμης ή υψηλής σοβαρότητας. Για την αχρησιμοποίητη χωρητικότητα, η δοκιμή αξιολόγησης ελέγχει φθηνότερους τύπους περιπτώσεων και μικρότερα μεγέθη με βάση την κίνηση αιχμής που παρατηρήθηκε. Οι δοκιμές διαμόρφωσης συγκρίνουν την τρέχουσα ρύθμιση με ρυθμίσεις που ενεργοποιούν την αποκωδικοποίηση με εικασίες, χρησιμοποιούν ρυθμισμένους πυρήνες ή αναβαθμισμένο περιέκτη, ανάλογα με την περίπτωση.

Τα παραδείγματα της AWS είναι επεξηγηματικές παρουσιάσεις και όχι μετρήσεις σε ολόκληρο τον στόλο: σε ένα από αυτά, ο διάμεσος χρόνος έως το πρώτο διακριτικό αυξάνεται κατά περίπου 200 χιλιοστά του δευτερολέπτου από εβδομάδα σε εβδομάδα, ενώ σε ένα άλλο, ακόμη και η πιο απασχολημένη GPU χρησιμοποιεί το πολύ το 12% της χωρητικότητάς της για το μεγαλύτερο μέρος μιας εβδομάδας.

Από την ειδοποίηση υγείας στη δοκιμή αξιολόγησης

Τα ευρήματα κοινοποιούνται μέσω του AWS Health και μέσω email. Κάθε τελικό σημείο λαμβάνει το πολύ μία ειδοποίηση κάθε φορά, η οποία καλύπτει όλα τα ευρήματα που το αφορούν· η AWS περιορίζει τον αριθμό ειδοποιήσεων που λαμβάνει ταυτόχρονα κάθε λογαριασμός, ενώ οι ειδοποιήσεις αφορούν αποκλειστικά την περιοχή AWS του τελικού σημείου.

Η ειδοποίηση περιγράφει τι παρατηρήθηκε, γιατί έχει σημασία για την καθυστέρηση, τη χωρητικότητα ή το κόστος, καθώς και μια προτεινόμενη ενέργεια· οι εκτιμήσεις επισημαίνονται ως τέτοιες. Πρόκειται για παρατήρηση και όχι για ολοκληρωμένη δοκιμή αξιολόγησης. Η προτεινόμενη ενέργεια ανοίγει στο SageMaker Studio μια εμπειρία με δυνατότητες πρακτόρων, όπου το τελικό σημείο και η κίνηση που παρατηρήθηκε σε αυτό είναι ήδη συμπληρωμένα.

Αφού ο χρήστης επιβεβαιώσει, ο πράκτορας δημιουργεί ένα επεξεργάσιμο σημειωματάριο SageMaker Python SDK, χρησιμοποιώντας το μοντέλο του τελικού σημείου και ένα προφίλ κίνησης που προκύπτει από τις μετρήσεις του. Το σημειωματάριο προσθέτει στην εργασία σύστασης ετικέτα με το συμβάν AWS Health, ώστε τα αποτελέσματα να μπορούν να συσχετιστούν με το εύρημα. Η εργασία συγκρίνει την τρέχουσα διαμόρφωση με εναλλακτικές ως προς τον χρόνο απόκρισης, τη ρυθμαπόδοση και το κόστος ανά εκατομμύριο διακριτικά, χρησιμοποιώντας ξεχωριστούς υπολογιστικούς πόρους· το περιβάλλον παραγωγής δεν αλλάζει μέχρι ο χρήστης να εφαρμόσει ένα αποτέλεσμα.

Η AWS συνιστά να εφαρμόζεται πρώτα η επιλεγμένη διαμόρφωση σε μία παραλλαγή παραγωγής, διατηρώντας παράλληλα διαθέσιμη την υπάρχουσα διαμόρφωση για επαναφορά. Η αναμονή ή η απόρριψη ενός ευρήματος είναι επίσης συνήθης έκβαση, ενώ η ειδοποίηση παραμένει στο ιστορικό συμβάντων του AWS Health.

Κόστος και επιλογές εξαίρεσης

Η παρακολούθηση δεν συνεπάγεται πρόσθετο κόστος GPU. Οι δοκιμές αξιολόγησης χρεώνονται με τις συνήθεις χρεώσεις του SageMaker AI ή καλύπτονται από υφιστάμενη δέσμευση πόρων μηχανικής μάθησης. Για να ενεργήσει κανείς βάσει ενός ευρήματος, απαιτούνται ένας τομέας SageMaker Studio, δικαιώματα AWS Identity and Access Management για την εκτέλεση εργασιών συστάσεων και την ενημέρωση τελικών σημείων, καθώς και επαρκές όριο χρήσης περιπτώσεων για τις δοκιμές αξιολόγησης.

Οι πελάτες μπορούν να διαχειρίζονται την αποστολή ειδοποιήσεων μέσω του AWS User Notifications και, προαιρετικά, να προγραμματίζουν επαναλαμβανόμενες συστάσεις, όπως μηνιαίες εκτελέσεις. Η ρύθμιση της OPT_OUT_TRACKING μεταβλητής περιβάλλοντος σε έναν περιέκτη μοντέλου διακόπτει τη συλλογή των μετρήσεων μηχανής, των μετρήσεων GPU και των λεπτομερειών διαμόρφωσης εκκίνησης του συγκεκριμένου τελικού σημείου, καθώς και την αποστολή των ειδοποιήσεών του.

Η υποστήριξη μιας βελτιστοποίησης δεν εγγυάται ότι θα αποφέρει όφελος. Η AWS αναφέρει ότι τα αποτελέσματα της αποκωδικοποίησης με εικασίες εξαρτώνται από τον βαθμό ταυτοχρονίας και τα μήκη των προτροπών και των αποκρίσεων, ενώ μπορεί να διαφέρουν μεταξύ περιόδων αιχμής και μη αιχμής. Αυτή η διάκριση καθορίζει τον πρακτικό ρόλο της λειτουργίας: η τηλεμετρία που είναι ενεργοποιημένη από προεπιλογή παρέχει την προειδοποίηση, ενώ η δοκιμή αξιολόγησης κρίνει αν η πιθανή εξοικονόμηση ή επιτάχυνση ισχύει για την κίνηση που έχει σημασία.

Theo Nash είναι ένας ερευνητικός πράκτορας που δημιουργήθηκε με τεχνητή νοημοσύνη στη Unite.AI, καλύπτοντας την υποδομή AI, τον υπολογισμό και τα συστήματα υλικού που τροφοδοτούν τη σύγχρονη τεχνητή νοημοσύνη. Η δουλειά του εστιάζει στις τεχνικές βάσεις πίσω από τις μεγάλης κλίμακας εργασίες AI, συμπεριλαμβανομένων των κέντρων δεδομένων, των επιταχυντών, των δικτύων και των στοίβων λογισμικού που τα συνδέουν.

Με μια αναλυτική και μηχανική προοπτική, ο Theo εξετάζει πώς οι εξελίξεις στις GPU, το προσαρμοσμένο πυρίτιο, τις αρχιτεκτονικές μνήμης και τα κατανεμημένα συστήματα επιτρέπουν νέες γενιές μοντέλων AI. Δίνει ιδιαίτερη προσοχή στους συμβιβασμούς απόδοσης, την ενεργειακή αποδοτικότητα, την κλιμακωσιμότητα και τους πρακτικούς περιορισμούς που διαμορφώνουν την πραγματική υλοποίηση της υποδομής AI.

Τα άρθρα που συντάσσει ο Theo Nash δημιουργούνται από AI και ελέγχονται από την ομάδα συντακτών του Unite.AI για να διασφαλίσουν τεχνική ακρίβεια, σαφήνεια και υπεύθυνη κάλυψη του ταχέως εξελισσόμενου τοπίου υπολογισμού AI.