Η Supermicro λανσάρει κοινόχρηστο χώρο αποθήκευσης προσωρινής μνήμης KV για τεχνητή νοημοσύνη με μεγάλο πλαίσιο συμφραζομένων

Η Supermicro ανακοίνωσε μια λύση αποθήκευσης για την προσωρινή μνήμη KV μαζί με την IBM και την NVIDIA στις 5 Νοεμβρίου 2026, με στόχο τη μεταφορά επαναχρησιμοποιήσιμων συμφραζομένων συμπερασμού τεχνητής νοημοσύνης σε κοινόχρηστο χώρο αποθήκευσης, πέρα από τη μνήμη της GPU. Οι εταιρείες αναφέρουν ότι, σε κοινές δοκιμές με προτροπή 130.000 token, ο χρόνος μέχρι το πρώτο token ήταν έως και 56 φορές μικρότερος.

Η προσφορά συνδυάζει διακομιστές αποθήκευσης Petascale all-flash της Supermicro, που χρησιμοποιούν επεξεργαστές AMD EPYC 9005, το λογισμικό IBM Storage Scale, το πλαίσιο συμπερασμού Dynamo της NVIDIA και δικτύωση Ethernet Spectrum-X. Απευθύνεται σε εφαρμογές πολλαπλών γύρων και πρακτορικού τύπου, βοηθούς προγραμματισμού, πολυτροπική τεχνητή νοημοσύνη και επαυξημένη παραγωγή με ανάκτηση και μεγάλο πλαίσιο συμφραζομένων. Μεγάλα αποθετήρια κώδικα, έγγραφα, εικόνες και ιστορικά συνομιλιών μπορούν να δημιουργήσουν περισσότερα δεδομένα κατάστασης κλειδιού-τιμής από όσα μπορούν να διατηρήσουν οι μνήμες GPU και CPU.

Επαναχρησιμοποίηση συμφραζομένων μεταξύ αιτημάτων

Η διαδικασία prefill μετατρέπει μια προτροπή με διαχωρισμό σε token στις ενδιάμεσες καταστάσεις κλειδιού-τιμής που χρησιμοποιεί το μοντέλο. Η διατήρηση αυτών των καταστάσεων επιτρέπει σε μεταγενέστερα αιτήματα να επαναχρησιμοποιούν τα συμφραζόμενα, αντί να τα υπολογίζουν ξανά. Η αρχιτεκτονική παρέχει ένα επίπεδο αποθήκευσης υψηλής διαθεσιμότητας, με κοινόχρηστη πρόσβαση σε κόμβους και συστοιχίες GPU, καθώς και επέκταση της χωρητικότητας της προσωρινής μνήμης χωρίς διακοπή λειτουργίας.

Το Dynamo προσθέτει δρομολόγηση που λαμβάνει υπόψη την προσωρινή μνήμη, διαχωρίζει τις διαδικασίες prefill και decode και μεταφέρει τα αποθηκευμένα μπλοκ εκτός μνήμης μέσω του KV Block Manager και της βιβλιοθήκης μεταφοράς NIXL. Το IBM Storage Scale Erasure Coding Edition παρέχει το κοινόχρηστο επίπεδο αποθήκευσης G4 στην ιεραρχία μνήμης της NVIDIA.

Αποτελέσματα συγκριτικών δοκιμών και συνθήκες δοκιμής

Μια αρχιτεκτονική αναφοράς των IBM Redbooks, που δημοσιεύτηκε στις 5 Ιουνίου 2026 και ενημερώθηκε τελευταία φορά στις 20 Αυγούστου 2026, αναφέρει χρόνο 32,14 δευτερολέπτων για επανυπολογισμό μέσω GPU με 130.000 token, έναντι 0,570 δευτερολέπτων με χρήση της προσωρινής μνήμης που υποστηρίζεται από αποθήκευση. Αυτές οι προϋπάρχουσες μετρήσεις αποτελούν τη βάση για το λανσάρισμα· δεν πρόκειται για νέα μελέτη που δημοσιεύτηκε τον Νοέμβριο.

Σε ξεχωριστή δοκιμή 200 αιτημάτων χρησιμοποιήθηκαν 28 ταυτόχρονες συνδέσεις και 100 μοναδικές προτροπές, που αντιστοιχούσαν σε 24 εκατομμύρια token και 825 GB δεδομένων προσωρινής μνήμης KV. Το Redbook αναφέρει ότι η διεκπεραιωτική ικανότητα αυξήθηκε από 0,19 σε 4,26 αιτήματα ανά δευτερόλεπτο και ότι ο συνολικός χρόνος επεξεργασίας μειώθηκε από 1.048,56 σε 46,94 δευτερόλεπτα. Η προσωρινή μνήμη ήταν αρχικά κενή, επομένως ο μέσος όρος για ολόκληρη τη δοκιμή περιλαμβάνει μια περίοδο ψυχρής εκκίνησης, κατά την οποία αυξανόταν η επαναχρησιμοποίηση.

Σε δοκιμή με επιβάρυνση από άλλους χρήστες, τέσσερις άλλοι πελάτες δημιούργησαν ανταγωνιστική κίνηση εισόδου/εξόδου δικτύου 200 GB/s. Το σύστημα με προσωρινή μνήμη διατήρησε ρυθμό 3,6 αιτημάτων ανά δευτερόλεπτο και ολοκλήρωσε 200 αιτήματα σε 55,56 δευτερόλεπτα· το Redbook περιγράφει το αποτέλεσμα ως μείωση της διεκπεραιωτικής ικανότητας κατά 18% σε σχέση με την αντίστοιχη επίδοση με προσωρινή μνήμη σε δίκτυο χωρίς επιβάρυνση.

Όλες οι μετρήσεις συμπερασμού προήλθαν από έναν κόμβο-πελάτη GPU της Supermicro με τέσσερις GPU NVIDIA RTX PRO 6000, συνδεδεμένο σε συστοιχία αποθήκευσης Petascale οκτώ κόμβων. Η στοίβα λογισμικού περιλάμβανε τα Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf και το μοντέλο openai/gpt-oss-120b. Τα επίπεδα προσωρινής μνήμης στη μνήμη GPU και στη μνήμη DRAM του συστήματος απενεργοποιήθηκαν, ώστε να απομονωθεί το κοινόχρηστο επίπεδο G4.

Περιθώριο δικτύου και διαστασιολόγηση ανάπτυξης

Τρεις μεταγωγείς Spectrum-X SN5600 σχημάτισαν το δίκτυο spine-leaf της δοκιμής. Το Redbook αναφέρει εύρος ζώνης προς τους πελάτες έως και 80 GB/s, ενώ το σύστημα αποθήκευσης οκτώ κόμβων πέτυχε ρυθμό ανάγνωσης έως και 315 GB/s. Έτσι, περιοριστικός παράγοντας της διαμόρφωσης ήταν η δικτύωση στην πλευρά του πελάτη και όχι η πλήρης δυνατότητα ανάγνωσης του επιπέδου αποθήκευσης.

Τα παραδείγματα διαστασιολόγησης του Redbook προβλέπουν τέσσερις κόμβους αποθήκευσης για μικρές αναπτύξεις πιλοτικής εφαρμογής, οκτώ για τη μεσαία διαμόρφωση που δοκιμάστηκε και 16 ή περισσότερους για μεγάλα εργοστάσια τεχνητής νοημοσύνης. Η χωρητικότητα, το εύρος ζώνης, ο αριθμός ταυτόχρονων εργασιών, το μέγεθος του μοντέλου και ο φόρτος εργασίας επηρεάζουν όλα τον κατάλληλο σχεδιασμό. Η Supermicro αναφέρει ότι οι υπηρεσίες ενσωμάτωσης συστοιχιών στο εργοστάσιο και ανάπτυξης επιτόπου μπορούν να μειώσουν τον χρόνο ανάπτυξης από εβδομάδες σε ημέρες.

Με το λανσάρισμα διατίθεται για ανάπτυξη μια αρχιτεκτονική που είχε ήδη τεκμηριωθεί και επικυρωθεί από κοινού, αλλά τα οφέλη της αφορούν συγκεκριμένο μοντέλο, μείγμα προτροπών, επίπεδο ταυτόχρονης χρήσης και δίκτυο. Το βασικό ερώτημα κατά την ανάπτυξη είναι αν η χωρητικότητα αποθήκευσης και το εύρος ζώνης προς τους πελάτες είναι προσαρμοσμένα στην πραγματική ζήτηση επαναχρησιμοποίησης συμφραζομένων: το πρόσθετο περιθώριο ρυθμού ανάγνωσης της αποθήκευσης δεν μπορεί να βελτιώσει τον συμπερασμό αν το δίκτυο του πελάτη δεν μπορεί να το αξιοποιήσει.