Αναφορές
Η κάρτα αξιολόγησης της οικονομίας της συναγωγής αμφισβητεί τη χρήση της αξιοποίησης των GPU ως δείκτη επιδόσεων της ΤΝ

Βασικά σημείαΗ αξιοποίηση της GPU δεν μπορεί να διακρίνει την παραγωγική απόδοση από την δαπανηρή…
Δείτε περισσότερα
- Η αξιοποίηση της GPU δεν μπορεί να διακρίνει την παραγωγική απόδοση από την δαπανηρή αναδόμηση περιεχομένου.
- Η κάρτα βαθμολογίας μετρά τη χρήσιμη απόδοση σε σχέση με την ισχύ, τον χώρο στο rack και το κόστος αντί για τη δραστηριότητα του τσιπ.
- Η κοινόχρηστη κρυφή μνήμη NVMe μείωσε τον επανυπολογισμό περιεχομένου στο 6,8% των κύκλων prefill στο benchmark.
Μια GPU που βρίσκεται διαρκώς σε λειτουργία δεν είναι απαραίτητα και παραγωγική. Αυτό είναι το επιχείρημα πίσω από την Κάρτα αξιολόγησης της οικονομίας της συναγωγής, μια νέα έρευνα των NAND Research και WEKA, η οποία προτείνει έναν ευρύτερο τρόπο αξιολόγησης της υποδομής που χρησιμοποιείται για την παραγωγική ΤΝ.
Το πλαίσιο αυτό μετατοπίζει την προσοχή από τη δραστηριότητα των τσιπ στο χρήσιμο αποτέλεσμα που παρέχεται εντός ενός στόχου εξυπηρέτησης, σε συνάρτηση με την κατανάλωση ηλεκτρικής ενέργειας, τον χώρο στα ικριώματα και το κόστος. Η σημασία του αυξάνεται καθώς οι πράκτορες ΤΝ διατηρούν μακροσκελείς συνομιλίες, καλούν εργαλεία και επανέρχονται επανειλημμένα σε προηγούμενο περιεχόμενο. Ένας διακομιστής συναγωγής μπορεί να δαπανά σημαντικούς υπολογιστικούς πόρους για την ανακατασκευή αυτού του περιεχομένου, ενώ ο πίνακας ελέγχου της αξιοποίησής του εξακολουθεί να δείχνει υγιή εικόνα.
Παράλληλα με την ανακοίνωση, η WEKA προβάλλει μια οκτάωρη δοκιμή συγκριτικής αξιολόγησης που πραγματοποιήθηκε με τη Nebius σε υλικό NVIDIA HGX B300 και δημοσιεύει ίχνη φόρτου εργασίας και εργαλεία, ώστε άλλοι να μπορούν να αναπαραγάγουν τη σύγκριση. Η κάρτα αξιολόγησης είναι ένα προτεινόμενο πλαίσιο αξιολόγησης και όχι ένα καθιερωμένο πρότυπο του κλάδου. Η WEKA, της οποίας η τεχνολογία αποθήκευσης ωφελείται από αυτή την προσέγγιση, χρηματοδότησε την έρευνα.
Γιατί η αξιοποίηση των GPU μπορεί να κρύβει το κόστος της επαναλαμβανόμενης εργασίας
Συναγωγή είναι η διαδικασία εκτέλεσης ενός εκπαιδευμένου μοντέλου για την παραγωγή μιας απάντησης. Πριν δημιουργήσει νέα διακριτικά, το μοντέλο επεξεργάζεται την είσοδο και το ιστορικό της συνομιλίας, σε μια φάση που ονομάζεται προπλήρωση. Κατά τη διάρκειά της, δημιουργεί μια κρυφή μνήμη κλειδιών-τιμών, ή κρυφή μνήμη KV: ενδιάμεσα δεδομένα προσοχής που του επιτρέπουν να επαναχρησιμοποιεί προηγούμενους υπολογισμούς όταν συνεχίζεται η συνομιλία.
Το ταχύτερο σημείο αποθήκευσης για αυτή την κρυφή μνήμη είναι η μνήμη υψηλού εύρους ζώνης της GPU, γνωστή ως HBM. Ωστόσο, η HBM πρέπει να χωρέσει και τα βάρη του μοντέλου, καθώς και άλλα δεδομένα εργασίας. Οι μακροχρόνιες συνεδρίες και οι ανταγωνιστικές απαιτήσεις των χρηστών μπορεί να αναγκάσουν έναν διακομιστή να απομακρύνει το αποθηκευμένο περιεχόμενο της συνομιλίας για να ελευθερώσει χώρο.
Όταν ο χρήστης ή ο πράκτορας επιστρέψει, ίσως χρειαστεί να αναδημιουργηθεί η κρυφή μνήμη που λείπει, με επανεπεξεργασία παλαιότερων διακριτικών. Αυτό δεν σημαίνει ότι το μοντέλο έχει χάσει οριστικά τη συνομιλία. Σημαίνει ότι η υποδομή έχει απορρίψει μια αναπαραγώγιμη αναπαράσταση και πρέπει να επωμιστεί το κόστος της ανακατασκευής της.
Αυτό δημιουργεί μια παγίδα στη μέτρηση. Η επανεπεξεργασία του περιεχομένου της προηγούμενης ημέρας κρατά την GPU ενεργή, όπως ακριβώς και η δημιουργία μιας χρήσιμης νέας απάντησης. Η αξιοποίηση παραμένει πολύτιμος διαγνωστικός δείκτης, αλλά από μόνη της δεν μπορεί να δείξει στον διαχειριστή πόση παραγωγική εργασία έλαβαν οι πελάτες.
Τι μετρά η κάρτα αξιολόγησης της οικονομίας της συναγωγής
Η κάρτα αξιολόγησης προβλέπει συνεχείς δοκιμές διάρκειας τουλάχιστον οκτώ ωρών, αρκετά μεγάλες ώστε να αποκαλύπτουν συμπεριφορές που μπορεί να μη φανούν σε σύντομες επιδείξεις. Για να είναι συγκρίσιμα τα αποτελέσματα, πρέπει να διατηρούνται σταθερά το μοντέλο, η ακρίβεια, ο φόρτος εργασίας, η ταυτόχρονη εκτέλεση, οι συνθήκες της κρυφής μνήμης, το όριο ποιότητας και οι στόχοι επιπέδου υπηρεσίας. Τα όρια της μέτρησης καλύπτουν τη στοίβα εξυπηρέτησης, ενώ πρέπει να γνωστοποιούνται οι επιβαρύνσεις από την ψύξη και τις εγκαταστάσεις.
Μόνο τα επιτυχή αποτελέσματα που πληρούν τους στόχους ποιότητας και εξυπηρέτησης συνυπολογίζονται στην ωφέλιμη διεκπεραιωτική ικανότητα. Τα αποτυχημένα αιτήματα, οι επαναλήψεις, οι λήξεις χρονικών ορίων και τα απορριφθέντα αποτελέσματα πρέπει να παραμένουν ορατά και να μη διαγράφονται από τον υπολογισμό.
| Δείκτης | Τι βοηθά να αποκαλυφθεί |
|---|---|
| Διακριτικά ανά βατ | Πόσο αποδοτικά μετατρέπεται η ηλεκτρική ισχύς σε χρήσιμο αποτέλεσμα του μοντέλου. |
| Διακριτικά ανά ικρίωμα | Πόσο αποτέλεσμα παρέχει η εγκατάσταση μέσα σε δεδομένο φυσικό χώρο. |
| Κόστος ανά συναγωγή | Το κόστος εξυπηρέτησης ενός επιτυχούς αιτήματος σε όλο το σύστημα. |
| Ωφέλιμη απόδοση GPU | Παραγωγικό αποτέλεσμα που παρέχεται εντός των στόχων εξυπηρέτησης, αντί για την ακατέργαστη δραστηριότητα του τσιπ. |
| Χρόνος μέχρι το πρώτο διακριτικό και καθυστέρηση από άκρο σε άκρο | Πόσο περιμένουν οι χρήστες μέχρι να αρχίσει και να ολοκληρωθεί μια απάντηση. |
| Αποδοτικότητα μνήμης | Πόσο αποτελεσματικά αξιοποιεί το σύστημα τη σπάνια διαθέσιμη χωρητικότητα μνήμης. |
| Λειτουργική πυκνότητα | Πώς επηρεάζουν οι περιορισμοί της εγκατάστασης και της λειτουργίας τη διαθέσιμη χωρητικότητα. |
| Ταυτόχρονη εκτέλεση εργασιών από πράκτορες | Πόσο καλά υποστηρίζει το σύστημα πολλαπλούς ενεργούς φόρτους εργασίας πρακτόρων. |
| Διατήρηση περιεχομένου συμφραζομένων | Πόσο αποτελεσματικά διατηρείται το επαναχρησιμοποιήσιμο περιεχόμενο συνεδριών καθώς αυξάνονται οι φόρτοι εργασίας. |
Η διάκριση ανάμεσα στη διεκπεραιωτική ικανότητα και την ωφέλιμη διεκπεραιωτική ικανότητα είναι ιδιαίτερα σημαντική. Ένας διακομιστής που παράγει περισσότερα διακριτικά αλλά δεν τηρεί την προθεσμία απάντησης του πελάτη μπορεί να είναι λιγότερο χρήσιμος από ένα σύστημα που φαίνεται πιο αργό αλλά ανταποκρίνεται σταθερά εντός της προθεσμίας. Παρομοίως, μια μεγαλύτερη κρυφή μνήμη είναι οικονομικά συμφέρουσα μόνο αν τα οφέλη της υπερβαίνουν το πρόσθετο κόστος αποθήκευσης, δικτύωσης και λειτουργίας.
Πώς η κοινόχρηστη αποθήκευση επεκτείνει την κρυφή μνήμη KV
Η τεχνική περιγραφή της δοκιμής συγκριτικής αξιολόγησης από τη WEKA παρουσιάζει το NeuralMesh με το Augmented Memory Grid, το οποίο διατηρεί επαναχρησιμοποιήσιμα δεδομένα KV σε κοινόχρηστο χώρο αποθήκευσης NVMe, πέρα από τη μνήμη της ίδιας της GPU. Το NVMe είναι μια διεπαφή υψηλών επιδόσεων που χρησιμοποιείται συνήθως με μονάδες αποθήκευσης flash.
Σε αυτή τη σχεδίαση, η κρυφή μνήμη γίνεται ένας πόρος που η υποδομή εξυπηρέτησης μπορεί να ανακτά μέσω του δικτύου, αντί να τον αναδημιουργεί επανειλημμένα σε μια GPU. Το RDMA, δηλαδή η άμεση πρόσβαση σε απομακρυσμένη μνήμη, και το NVIDIA GPUDirect Storage συμβάλλουν στη μεταφορά δεδομένων απευθείας από το σύστημα αποθήκευσης στη GPU, με λιγότερη εμπλοκή της CPU.
Πρόκειται για έναν συμβιβασμό ανάμεσα στη μεταφορά ήδη υπαρχόντων δεδομένων και τον εκ νέου υπολογισμό τους. Ένα αρκετά γρήγορο μονοπάτι πρόσβασης στην αποθήκευση μπορεί να κάνει την ανάκτηση φθηνότερη από την αναδημιουργία μεγάλων ιστορικών δεδομένων. Το πλεονέκτημα εξαρτάται από την επαναχρησιμοποίηση της κρυφής μνήμης, το μήκος του πλαισίου συμφραζομένων, τον βαθμό ταυτόχρονης εκτέλεσης και την ταχύτητα ολόκληρης της διαδρομής των δεδομένων· ένα σύντομο αίτημα, του οποίου τα δεδομένα εργασίας χωρούν ήδη στη HBM, συνιστά διαφορετικό πρόβλημα.
Τι έδειξε στην πραγματικότητα η δοκιμή αναφοράς των οκτώ ωρών
Η κοινή δοκιμή των Nebius και WEKA χρησιμοποίησε έναν κόμβο εξυπηρέτησης HGX B300 με οκτώ GPU, στον οποίο εκτελούνταν το DeepSeek-V4-Pro. Ο φόρτος εργασίας επανάληψης βασίστηκε σε περισσότερα από 5.000 ίχνη πραγματικών ενεργειών πρακτόρων, διατήρησε μια δεξαμενή 512 ενεργών συνεδριών και χρησιμοποίησε έναν χρονοπρογραμματιστή που επέτρεπε 32 ταυτόχρονα αιτήματα. Οι ενεργές συνεδρίες και τα ταυτόχρονα αιτήματα είναι διαφορετικά μεγέθη.
Σε διάστημα οκτώ ωρών, η WEKA αναφέρει ότι η κοινόχρηστη κρυφή μνήμη της παρήγαγε 3,7 φορές περισσότερα διακριτικά εξόδου ανά ώρα GPU από την εξυπηρέτηση αποκλειστικά μέσω HBM. Από τα αιτήματα που ολοκληρώθηκαν με επιτυχία, το 97% έλαβε το πρώτο διακριτικό εντός πέντε δευτερολέπτων, έναντι 44% στη γραμμή βάσης. Στη γραμμή βάσης, ο εκ νέου υπολογισμός πλαισίων συμφραζομένων που είχαν ήδη συναντηθεί κατανάλωσε το 60% των κύκλων προπλήρωσης, έναντι 6,8% με την κοινόχρηστη κρυφή μνήμη.
Η πρόσθετη κρυφή μνήμη χρησιμοποιούσε μονάδες NVMe σε ένα σύμπλεγμα οκτώ κόμβων, παρότι το αναφερόμενο αποτέλεσμα εξυπηρέτησης προήλθε από έναν μόνο κόμβο GPU. Επομένως, το κέρδος ανά GPU δεν αποδεικνύει αντίστοιχη μείωση του συνολικού κόστους ή της κατανάλωσης ενέργειας: στους σχετικούς υπολογισμούς πρέπει να συνυπολογίζονται και οι υποστηρικτικοί πόροι.
Σημασία έχει και η γραμμή βάσης. Η τεχνική έκθεση αναφέρει ότι, κατά τη διεξαγωγή των δοκιμών, δεν ήταν διαθέσιμη κατάλληλη υλοποίηση εκφόρτωσης στη DRAM για αυτό το μοντέλο. Τα αποτελέσματα αυτά συγκρίνουν τη διαμόρφωση που δοκιμάστηκε με την εξυπηρέτηση αποκλειστικά μέσω HBM· δεν αποδεικνύουν ότι υπερέχει κάθε εναλλακτική αρχιτεκτονική κρυφής μνήμης.
Τα ανοικτά ίχνη κάνουν τη σύγκριση πιο χρήσιμη
Το έργο ανοικτού κώδικα kvlab της WEKA καταγράφει και αναπαράγει τη δομή των συνεδριών πρακτόρων, συμπεριλαμβανομένων των χρονισμών και των μοτίβων επαναχρησιμοποίησης της κρυφής μνήμης, χωρίς να διανέμει το αρχικό περιεχόμενο των συνομιλιών ή του πηγαίου κώδικα. Ο μηχανισμός φόρτωσής του τεκμηριώνεται στα εργαλεία AIPerf της NVIDIA, ενώ η ανακοίνωση αναφέρει επίσης την ενσωμάτωσή του στη δοκιμή αναφοράς AgentX της SemiAnalysis.
Η διατήρηση των παύσεων, της σταδιακής διεύρυνσης του ιστορικού και των συναφών δραστηριοτήτων των πρακτόρων βοηθά να αποκαλυφθεί η πίεση στην κρυφή μνήμη, την οποία δεν θα έδειχνε μια ροή άσχετων συνθετικών προτροπών. Αυτές οι αναπαραγωγές μετρούν τη συμπεριφορά της εξυπηρέτησης· από μόνες τους, όμως, δεν αποδεικνύουν αν ένας πράκτορας ολοκλήρωσε σωστά μια επιχειρηματική εργασία.
Για τις επιχειρήσεις, η βασική συμβολή του Πίνακα αξιολόγησης των οικονομικών της συμπερασματοδότησης είναι ένας σαφέστερος ορισμός της επιτυχίας: χρήσιμες απαντήσεις, με την απαιτούμενη ποιότητα και ταχύτητα, εντός των διαθέσιμων πόρων. Καθώς οι πράκτορες επεξεργάζονται περισσότερα συμφραζόμενα και εκτελούνται για μεγαλύτερο χρονικό διάστημα, η διατήρηση της απασχόλησης μιας GPU αποτελεί απλώς μια αρχική παρατήρηση. Εμπορικά, σημασία έχει το έργο που φτάνει στον πελάτη.












