Μοντέλα και πλατφόρμες AI
Κυκλοφόρησε το Valkey 9.2 με κατανεμημένη προσωρινή αποθήκευση κλειδιού-τιμής για την εξαγωγή συμπερασμάτων με τεχνητή νοημοσύνη

Βασικά σημείαΗ κατανεμημένη προσωρινή αποθήκευση KV επιτρέπει στις μηχανές συμπερασμού να…
Δείτε περισσότερα
- Η κατανεμημένη προσωρινή αποθήκευση KV επιτρέπει στις μηχανές συμπερασμού να επαναχρησιμοποιούν τανυστές prompt αντί να τους επανυπολογίζουν κατά το prefill.
- Η Multiverse Computing εξυπηρέτησε 50% περισσότερα αιτήματα στους ίδιους GPUs ενώ πέτυχε τον στόχο καθυστέρησης πρώτου token.
- Η κοινόχρηστη προσωρινή αποθήκευση προσφέρει ελάχιστο όφελος όταν το σύνολο εργασίας χωρά ήδη στη μνήμη GPU και κεντρικού υπολογιστή.
Το Valkey κυκλοφόρησε την έκδοση 9.2 στις 19 Νοεμβρίου 2026, με κατανεμημένη προσωρινή αποθήκευση κλειδιού-τιμής για την εξαγωγή συμπερασμάτων με τεχνητή νοημοσύνη. Σύμφωνα με την συνοδευτική ανακοίνωση του έργου, η κοινόχρηστη προσωρινή μνήμη μπορεί να μειώσει έως και 40% το κόστος εξαγωγής συμπερασμάτων και έως και 80% τον χρόνο αναμονής για το πρώτο διακριτικό μιας απάντησης, αξιοποιώντας την υπάρχουσα υποδομή GPU.
Μια τεχνική ανάρτηση του Valkey, που δημοσιεύτηκε στις 20 Οκτωβρίου 2026, περιγράφει μια κοινόχρηστη προσωρινή μνήμη, πέρα από τη μνήμη GPU και τη μνήμη του κεντρικού υπολογιστή, η οποία αποθηκεύει τους τανυστές κλειδιού-τιμής που παράγονται όταν ένα μοντέλο επεξεργάζεται τις οδηγίες της προτροπής, τους ορισμούς των εργαλείων και το ιστορικό της συνομιλίας. Οι μηχανές εξαγωγής συμπερασμάτων μπορούν να επαναχρησιμοποιούν αυτούς τους τανυστές για περιεχόμενο που επαναλαμβάνεται, αντί να τους υπολογίζουν ξανά κατά την αρχική επεξεργασία (prefill), το στάδιο που προηγείται της παραγωγής νέας εξόδου. Η κοινή χρήση αυτού του επιπέδου μεταξύ διακομιστών GPU επιτρέπει σε κάθε κόμβο να φορτώνει μια συνομιλία που έχει απομακρυνθεί από την τοπική μνήμη.
Οι αυτοδιαχειριζόμενες εγκαταστάσεις που εκτελούν μοντέλα με ανοικτά βάρη μπορούν να συνδέσουν την προσωρινή μνήμη μέσω του συνδέσμου LMCache με μηχανές όπως οι vLLM και SGLang, αλλάζοντας τη διαμόρφωση και χωρίς να τροποποιήσουν τον κώδικα της εφαρμογής. Το Path Hash, ένας νέος τύπος δεδομένων που βασίζεται σε δέντρο radix και προστέθηκε στην έκδοση 9.2, υποστηρίζει ακριβείς αναζητήσεις, αντιστοίχιση του μεγαλύτερου κοινού προθέματος και διάσχιση προθεμάτων. Το Valkey το παρουσιάζει ως ένα ελαφρύ ευρετήριο για τον εντοπισμό του μεγαλύτερου προθέματος που αντιστοιχεί στα αποθηκευμένα δεδομένα και της θέσης του, ενώ τα μεγαλύτερα σύνολα δεδομένων τεχνητής νοημοσύνης παραμένουν στη μνήμη GPU ή στη μνήμη του κεντρικού υπολογιστή.
Μετρημένες βελτιώσεις και περιορισμοί φόρτου εργασίας
Ο Ennio Pastore, διευθυντής πλατφόρμας τεχνητής νοημοσύνης της Multiverse Computing, δήλωσε ότι η κατανεμημένη προσωρινή αποθήκευση κλειδιού-τιμής στο Valkey επέτρεψε στην εταιρεία να εξυπηρετεί 50% περισσότερα αιτήματα με τις ίδιες GPU, τηρώντας παράλληλα τον στόχο του ενός δευτερολέπτου για τον διάμεσο χρόνο μέχρι το πρώτο διακριτικό. Η διάμεση καθυστέρηση μέχρι το πρώτο διακριτικό μειώθηκε κατά 23% σε συνθήκες συνήθους κίνησης και κατά 95% στην αιχμή της κίνησης. Η Multiverse συνέβαλε επίσης με βελτιώσεις στον σύνδεσμο LMCache, με στόχο την ενίσχυση της ανθεκτικότητας της κατανεμημένης προσωρινής αποθήκευσης.
Η συνθετική δοκιμή αναφοράς που περιγράφεται στην τεχνική ανάρτηση του Valkey χρησιμοποίησε 100 ταυτόχρονες συνομιλίες, με περιεχόμενο 12.000 έως 28.000 διακριτικών, οι οποίες έφταναν με ρυθμό 8 αιτημάτων ανά δευτερόλεπτο σε δύο κόμβους GPU, καθένας με οκτώ επιταχυντές H100. Οι κόμβοι εξυπηρετούσαν το Llama-3.1-70B μέσω των vLLM και LMCache, με ένα σύμπλεγμα Valkey 9 τριών διαμερισμάτων στην ίδια ζώνη διαθεσιμότητας με την κοινόχρηστη προσωρινή μνήμη. Το έργο μέτρησε περίπου 25% περισσότερα αιτήματα και περίπου 28% περισσότερα διακριτικά εξόδου, ενώ η προσωρινή μνήμη αύξησε τον λογαριασμό GPU κατά περίπου 15%.
Οι οδηγίες δοκιμών και εγκατάστασης του Valkey προσδιορίζουν σαφή όρια: η κοινόχρηστη προσωρινή μνήμη προσφέρει ελάχιστο όφελος όταν το ενεργό σύνολο δεδομένων χωρά ήδη στη μνήμη GPU και στη μνήμη του κεντρικού υπολογιστή ή όταν τα αιτήματα δεν περιλαμβάνουν επαναλαμβανόμενο περιεχόμενο, ενώ δεν μπορεί να δημιουργήσει πρόσθετη υπολογιστική ισχύ GPU όταν η αρχική επεξεργασία των νέων διακριτικών αποτελεί ήδη το σημείο συμφόρησης. Συνιστάται η εγκατάστασή της στην ίδια ζώνη διαθεσιμότητας με το σύνολο των GPU, επειδή η προσωρινή μνήμη βρίσκεται στη διαδρομή προς το πρώτο διακριτικό και η κίνηση μεταξύ ζωνών μπορεί να αυξήσει την καθυστέρηση και τις χρεώσεις μεταφοράς δεδομένων.
Μικρότερη επιβάρυνση μνήμης και δικτύου
Πέρα από την προσωρινή αποθήκευση για εφαρμογές τεχνητής νοημοσύνης, η έκδοση 9.2 στοχεύει στη μείωση του κόστους υποδομής του ίδιου του χώρου αποθήκευσης δεδομένων. Τα στιγμιότυπα χωρίς διακλάδωση και οι πλήρεις συγχρονισμοί αντιγράφων, που ενεργοποιούνται προαιρετικά, χρησιμοποιούν νήμα παρασκηνίου αντί να δημιουργούν ξεχωριστή διεργασία διακομιστή, αποφεύγοντας την επιβάρυνση μνήμης από την αντιγραφή κατά την εγγραφή σε εργασίες με πολλές εγγραφές. Η υποδομή προσθέτει τέσσερα byte ανά κλειδί, και η prefer-forkless πολιτική επανέρχεται στη διακλάδωση όταν χρειάζεται.
Η συμπίεση για τη συνεχή αναπαραγωγή αποτελεί αντικείμενο ξεχωριστής διαπραγμάτευσης με κάθε αντίγραφο, ώστε τα παλαιότερα αντίγραφα ή όσα δεν έχουν επιλέξει τη συμπίεση να συνεχίζουν να λαμβάνουν δεδομένα σε απλό κείμενο. Η ανάρτηση κυκλοφορίας του Valkey αναφέρει ότι, σε δοκιμή αναφοράς με 3 εκατομμύρια κλειδιά μεγέθους περίπου 315 byte το καθένα, το LZ4 μείωσε το εύρος ζώνης αναπαραγωγής κατά 52%, με επιβάρυνση της διεκπεραιωτικής ικανότητας μικρότερη από 1%. Η συμπίεση ολόκληρης της ροής στιγμιότυπου υποστηρίζει τα LZ4 και Zstandard· το Zstandard απαιτεί επιλογή κατά τη μεταγλώττιση και προορίζεται ιδιαίτερα για αναπαραγωγή μεταξύ περιοχών, όπου το κόστος δικτύου είναι υψηλό σε σχέση με το κόστος υπολογισμού.
Τα μεγάλα ταξινομημένα σύνολα χρησιμοποιούν πλέον δέντρο B+ αντί για λίστα παράκαμψης. Το Valkey αναφέρει ότι η επιβάρυνση μνήμης ανά μέλος μειώθηκε κατά 36% έως 43% σε δοκιμή με 5 εκατομμύρια μέλη που περιείχαν στοιχεία των 20 byte. Άλλες λειτουργικές προσθήκες περιλαμβάνουν ανίχνευση θερμών κλειδιών στην πλευρά του διακομιστή, επαναχρησιμοποιήσιμους ρόλους ελέγχου πρόσβασης, διαχείριση προτεραιότητας για τους παλμούς λειτουργίας του συμπλέγματος και την αναπαραγωγή, δεσμευμένες συνδέσεις διαχείρισης και προαιρετικό περιορισμό του ρυθμού εγγραφών όταν ένα αντίγραφο μένει πίσω.
Η καταχώριση κυκλοφορίας της έκδοσης 9.2.0 την χαρακτηρίζει ως την πρώτη σταθερή έκδοση 9.2, ενώ η σελίδα λήψης παραθέτει ετικέτες Docker και δυαδικά αρχεία για συγκεκριμένες πλατφόρμες. Το Valkey περιγράφει την έκδοση 9.2 ως δευτερεύουσα έκδοση χωρίς ασύμβατες αλλαγές, αλλά προειδοποιεί ότι, αν ένας διαχειριστής επιστρέψει αργότερα σε παλαιότερη έκδοση, τα αρχεία βάσης μόνο προσθήκης που έχουν γραφτεί με συμπίεση LZ4 ή Zstandard απαιτούν συμβατή έκδοση του Valkey.
Το Valkey 9.2 συνδέει δύο όψεις των οικονομικών της εξαγωγής συμπερασμάτων: την ανάκτηση της χωρητικότητας GPU που χάνεται λόγω επαναλαμβανόμενης αρχικής επεξεργασίας και τη μείωση της επιβάρυνσης μνήμης και δικτύου στο επίπεδο δεδομένων. Για τους διαχειριστές που αξιολογούν το νέο επίπεδο, τα τεκμηριωμένα αποτελέσματα συνδέουν την αξία του με την επαναχρησιμοποίηση φόρτων εργασίας και την πίεση από την απομάκρυνση δεδομένων από την προσωρινή μνήμη, ενώ επισημαίνουν ρητά ότι υπάρχει όριο όταν η αρχική επεξεργασία νέων διακριτικών ήδη εξαντλεί τη διαθέσιμη υπολογιστική ισχύ GPU.












