Μοντέλα και πλατφόρμες AI
Η AWS προσθέτει κατατάξεις ποιότητας, ταχύτητας και κόστους στο SageMaker JumpStart

Βασικά σημείαΗ AWS διατηρεί τις βαθμολογίες συγκριτικής αξιολόγησης ξεχωριστές ώστε οι ομάδες να…
Δείτε περισσότερα
- Η AWS διατηρεί τις βαθμολογίες συγκριτικής αξιολόγησης ξεχωριστές ώστε οι ομάδες να μπορούν να δίνουν προτεραιότητα στη δοκιμή που έχει σημασία για την εφαρμογή τους.
- Οι κατατάξεις αντικατοπτρίζουν μια επιλεγμένη διαμόρφωση ανάπτυξης και όχι μια καθολική σειρά κατάταξης της ποιότητας των μοντέλων.
- Η εκτίμηση ωριαίου κόστους δεν περιλαμβάνει τη μεταφορά δεδομένων, την αποθήκευση και τις εκπτώσεις, επομένως δεν αποτελεί τον πλήρη λογαριασμό.
Στις 18 Νοεμβρίου 2026, η Amazon Web Services παρουσίασε τον Πίνακα κατάταξης μοντέλων του Amazon SageMaker JumpStart, προσφέροντας στους χρήστες του SageMaker Studio μια ενιαία εικόνα των αποτελεσμάτων συγκριτικών δοκιμών, των επιδόσεων απόκρισης και του εκτιμώμενου κόστους υπολογιστικών πόρων για περισσότερα από 70 μοντέλα.
Η παρουσίαση έρχεται να αντιμετωπίσει το πρόβλημα επιλογής που δημιουργεί ο κατάλογος του JumpStart, ο οποίος περιλαμβάνει εκατοντάδες μοντέλα θεμελίωσης με ανοιχτά βάρη: τα δημοσιευμένα αποτελέσματα μπορεί να προέρχονται από διαφορετικές προτροπές, ρυθμίσεις και υλικό, ενώ η συμπεριφορά κατά την ανάπτυξη και το κόστος ποικίλλουν ανάλογα με τη διαμόρφωση. Η νέα προβολή «Πίνακας κατάταξης» βρίσκεται δίπλα στις ενότητες «Κατηγορίες» και «Όλα τα μοντέλα» στη σελίδα βασικών μοντέλων του JumpStart, ανοίγει απευθείας στις κατατάξεις μεγάλων γλωσσικών μοντέλων και διατηρεί τις δυνατότητες αναζήτησης και φιλτραρίσματος του JumpStart. Στην παρουσίαση περιλαμβάνονται μοντέλα των Meta, Google, Qwen, IBM και Arcee, ενώ ο πίνακας διαθέτει διεύθυνση URL που μπορεί να κοινοποιηθεί.
Συνεπείς δοκιμές και έλεγχος της ανάπτυξης
Η AWS αναφέρει ότι εκτελεί κάθε συγκριτική δοκιμή με κοινό πλαίσιο αξιολόγησης και ίδιες ρυθμίσεις για όλα τα μοντέλα που δοκιμάζει. Οι τρεις δοκιμές είναι οι BIG-Bench Hard, που καλύπτει τη συλλογιστική πολλαπλών βημάτων· GPQA Diamond, η οποία χρησιμοποιεί επιστημονικές ερωτήσεις επιπέδου μεταπτυχιακών σπουδών, δύσκολο να απαντηθούν μέσω αναζητήσεων στο διαδίκτυο· και MMLU-Pro, η οποία ελέγχει ευρύτερες γνώσεις και συλλογιστική με δυσκολότερες ερωτήσεις πολλαπλής επιλογής.
Οι βαθμολογίες παραμένουν ξεχωριστές και δεν συνδυάζονται σε έναν σύνθετο δείκτη, ώστε οι χρήστες να μπορούν να δίνουν προτεραιότητα στη δοκιμή που έχει τη μεγαλύτερη σημασία για την εφαρμογή τους. Και στις τρεις συγκριτικές δοκιμές, οι υψηλότερες βαθμολογίες είναι καλύτερες.
Για τις λειτουργικές μετρήσεις, η AWS στέλνει ένα τυποποιημένο φορτίο εργασίας σε τελικά σημεία που χρησιμοποιούν τις ίδιες διαμορφώσεις ανάπτυξης του JumpStart με αυτές που είναι διαθέσιμες στους πελάτες. Ο πίνακας αναφέρει τον χρόνο μέχρι το πρώτο token, τη ρυθμαπόδοση ανά αίτημα σε token ανά δευτερόλεπτο και το εκτιμώμενο κόστος του υπολογιστικού πόρου ανά ώρα. Αυτά τα στοιχεία εξαρτώνται από δύο ρυθμίσεις: ένα προφίλ χρήσης, με προεπιλεγμένη τιμή «Μέγιστο πλαίσιο», και έναν στόχο βελτιστοποίησης, με προεπιλεγμένη τιμή «Ισορροπημένη». Η αλλαγή του προφίλ μεταβάλλει τα αποτελέσματα επιδόσεων και κόστους, χωρίς να αλλάζει τις βαθμολογίες ποιότητας.
Η επιλογή «Ισορροπημένη» επιλέγει τη διαμόρφωση με το χαμηλότερο εκτιμώμενο κόστος ανά token, λαμβάνοντας υπόψη τόσο την ωριαία τιμή όσο και την ταχύτητα παραγωγής. Οι άλλοι στόχοι επιλέγουν τη χαμηλότερη ωριαία τιμή του υπολογιστικού πόρου, τον μικρότερο χρόνο μέχρι το πρώτο token ή την υψηλότερη ρυθμαπόδοση· ορισμένες διαμορφώσεις υψηλής ρυθμαπόδοσης χρησιμοποιούν αποκωδικοποίηση μέσω πρόβλεψης. Έτσι, η κατάταξη αφορά συγκεκριμένη διαμόρφωση ανάπτυξης και όχι μια καθολική σειρά κατάταξης των μοντέλων.
Η επιλογή μεταφέρεται και στην ανάπτυξη
Οι ομάδες μπορούν πρώτα να αποκλείσουν μοντέλα που δεν πληρούν απαιτήσεις, όπως η άδεια χρήσης, ο πάροχος ή η τροπικότητα εισόδου και εξόδου, και στη συνέχεια να ταξινομήσουν τα μοντέλα που απομένουν με βάση μια επιλεγμένη συγκριτική δοκιμή. Οι μπλε χρωματικοί χάρτες επισημαίνουν τα καλύτερα αποτελέσματα στις στήλες, ενώ οι στήλες με δυνατότητα προσαρμογής και τα παγωμένα ονόματα μοντέλων διευκολύνουν τις συγκρίσεις σε ευρύτερο πίνακα.
Η επιλογή ενός μοντέλου ανοίγει τις επιλογές ανάπτυξης και, όπου υποστηρίζεται η προσαρμογή χωρίς διακομιστή, τα σχετικά εργαλεία προσαρμογής. Η τεκμηρίωση του SageMaker JumpStart επισημαίνει ότι η προσαρμογή, η λεπτομερής ρύθμιση και η αξιολόγηση δεν είναι διαθέσιμες για όλα τα μοντέλα.
Η AWS συνιστά την ανάπτυξη με το ίδιο προφίλ χρήσης και τον ίδιο στόχο βελτιστοποίησης που χρησιμοποιήθηκαν στη σύγκριση, καθώς μια διαφορετική διαμόρφωση μπορεί να αλλάξει την ποιότητα, την καθυστέρηση, τη ρυθμαπόδοση και το κόστος. Η ωριαία εκτίμηση καλύπτει μόνο τον υπολογιστικό πόρο SageMaker, με την τιμή κατ’ απαίτηση για τον προεπιλεγμένο τύπο υπολογιστικού πόρου της διαμόρφωσης. Η μεταφορά δεδομένων, η αποθήκευση, οι χρεώσεις για στοιχεία συμπερασματολογίας, οι εκπτώσεις Reserved Instance και τα AWS Savings Plans δεν περιλαμβάνονται στο ποσό. Επομένως, η στήλη τιμών του πίνακα κατάταξης δεν αντιπροσωπεύει το συνολικό κόστος.
Όρια των συγκριτικών δοκιμών και πιθανή επέκταση
Η AWS συνιστά τη χρήση του πίνακα για τη δημιουργία μιας σύντομης λίστας και, στη συνέχεια, τη δοκιμή των δύο ή τριών επικρατέστερων υποψηφίων με τα δεδομένα και τις προτροπές του ίδιου του οργανισμού πριν από την παραγωγική χρήση. Οι βαθμολογίες θα πρέπει να συγκρίνονται στο πλαίσιο κάθε συγκριτικής δοκιμής ξεχωριστά, ενώ τα αποτελέσματα με μικρή διαφορά θα πρέπει να θεωρούνται ισόπαλα, καθώς οι μικρές αποκλίσεις μπορεί να οφείλονται σε διακυμάνσεις μεταξύ εκτελέσεων. Τα μοντέλα συλλογιστικής και τα μοντέλα χωρίς συλλογιστική χρησιμοποιούν διαφορετικές παραμέτρους παραγωγής, ενώ τα αποτελέσματα GPQA Diamond για μοντέλα συλλογιστικής υπολογίζονται ως μέσος όρος 10 επαναλήψεων. Επομένως, οι συγκρίσεις μεταξύ αυτών των τύπων μοντέλων είναι κατά προσέγγιση.
Η AWS αναφέρει ότι διερευνά τη δημιουργία πινάκων κατάταξης για επιμελημένους ιδιωτικούς κόμβους, πρόσθετων πινάκων για εργασίες όπως ο εντοπισμός αντικειμένων, οι ενσωματώσεις κειμένου και η κατανόηση εικόνων, καθώς και την προσθήκη περισσότερων μοντέλων και συγκριτικών δοκιμών. Η απουσία βαθμολογίας δεν σημαίνει χαμηλή ποιότητα· ορισμένα μοντέλα απλώς δεν έχουν ακόμη αξιολογηθεί, ενώ οι συγκριτικές δοκιμές που συνοδεύουν την παρουσίαση εστιάζουν στα μεγάλα γλωσσικά μοντέλα (LLM).
Για τους χρήστες του JumpStart, η επιλογή μοντέλου μπορεί πλέον να ξεκινά από στοιχεία που αφορούν τη συγκεκριμένη ανάπτυξη, μέσα στην υπηρεσία όπου θα εκτελείται το μοντέλο. Το ερώτημα που απομένει είναι πιο περιορισμένο, αλλά εξακολουθεί να έχει σημαντικές συνέπειες: αν το πλεονέκτημα ενός μοντέλου στις συγκριτικές δοκιμές διατηρείται στον φόρτο εργασίας του ίδιου του οργανισμού και αν τυχόν όφελος δικαιολογεί τη μετρημένη συμπεριφορά απόκρισής του και το κόστος του υπολογιστικού πόρου.












