Η Tensormesh λανσάρει πλατφόρμα για τη μείωση του κόστους εξαγωγής συμπερασμάτων από LLM μέσω επαναχρησιμοποίησης της προσωρινής μνήμης KV

Κάθε φορά που ένας βοηθός τεχνητής νοημοσύνης λαμβάνει ένα εκτενές έγγραφο, πρέπει να το επεξεργαστεί προτού αρχίσει να απαντά. Όταν επανεμφανίζονται τα ίδια έγγραφα, οι ίδιες οδηγίες ή το ίδιο ιστορικό συνομιλίας, μεγάλο μέρος αυτής της επεξεργασίας μπορεί να χρειαστεί να επαναληφθεί. Σε επιχειρησιακή κλίμακα, αυτή η επανάληψη μπορεί να καταναλώνει πολύτιμους πόρους GPU χωρίς να προσφέρει χρήσιμο έργο.

Η Tensormesh στοχεύει στην αντιμετώπιση αυτού του προβλήματος με την Tensormesh Platform, που ανακοινώθηκε στις 14 Οκτωβρίου 2026. Η εταιρεία, η ομάδα της οποίας δημιούργησε το έργο ανοιχτού κώδικα LMCache, προσφέρει ένα επίπεδο διαχείρισης για επιχειρήσεις, το οποίο αφορά την προσωρινή αποθήκευση κλειδιού-τιμής (KV), σε οργανισμούς που εκτελούν μεγάλα γλωσσικά μοντέλα στη δική τους υποδομή.

Η πλατφόρμα διαχειρίζεται καταστάσεις εξαγωγής συμπερασμάτων που μπορούν να επαναχρησιμοποιηθούν, σε μνήμη GPU, μνήμη CPU και αποθηκευτικό χώρο. Το επιδιωκόμενο όφελος είναι σαφές: να μειωθεί η επαναλαμβανόμενη επεξεργασία των προτροπών από ένα σύνολο GPU, ενώ παράλληλα οι διαχειριστές αποκτούν τη δυνατότητα να ελέγχουν τον τρόπο διατήρησης, κοινής χρήσης και παρακολούθησης αυτών των αποθηκευμένων καταστάσεων.

Γιατί έχει σημασία η προσωρινή μνήμη KV

Η εξαγωγή συμπερασμάτων από LLM περιλαμβάνει δύο σημαντικά στάδια. Κατά την προπλήρωση, το μοντέλο επεξεργάζεται την προτροπή εισόδου. Κατά την αποκωδικοποίηση, παράγει την απάντηση ένα token κάθε φορά. Η προσωρινή μνήμη KV αποθηκεύει ενδιάμεσες καταστάσεις που σχετίζονται με τον μηχανισμό προσοχής και επιτρέπουν στο μοντέλο να ανατρέχει στα token που έχουν ήδη υποστεί επεξεργασία, χωρίς να χρειάζεται να υπολογίζει τα πάντα ξανά από την αρχή.

Η επαναχρησιμοποίηση αυτής της κατάστασης μεταξύ αιτημάτων μπορεί να μειώσει τον φόρτο εργασίας κατά την προπλήρωση, όταν επαναλαμβάνεται το περιεχόμενο εισόδου. Για παράδειγμα, ένας βοηθός υποστήριξης μπορεί να ανατρέχει στο ίδιο εγχειρίδιο προϊόντος για εκατοντάδες διαφορετικές ερωτήσεις. Ένας πράκτορας μπορεί να συμπεριλαμβάνει επανειλημμένα τις ίδιες οδηγίες ή τα ίδια εργαλεία μαζί με μια εργασία που αλλάζει.

Αυτό διαφέρει από την προσωρινή αποθήκευση μιας ολοκληρωμένης απάντησης. Το σύστημα μπορεί να επαναχρησιμοποιεί τους υπολογισμούς που σχετίζονται με το κοινό πλαίσιο, ενώ εξακολουθεί να παράγει νέα απάντηση σε κάθε νέα ερώτηση.

Η τεκμηρίωση της αυτόματης προσωρινής αποθήκευσης προθεμάτων του vLLM περιγράφει αυτό το όφελος για επαναλαμβανόμενα ερωτήματα σχετικά με έγγραφα και συνομιλίες πολλών γύρων. Θέτει επίσης έναν σημαντικό περιορισμό: η προσωρινή αποθήκευση προθεμάτων επιταχύνει την επεξεργασία των προτροπών, όχι την παραγωγή νέων token εξόδου. Οι φόρτοι εργασίας στους οποίους κυριαρχούν οι εκτενείς απαντήσεις ή οι κατά κύριο λόγο μοναδικές είσοδοι ενδέχεται να αποκομίσουν μικρότερο όφελος.

Για τους επιχειρησιακούς πελάτες, το χρήσιμο ερώτημα είναι ποιο μέρος του πραγματικού φόρτου εργασίας τους περιλαμβάνει πλαίσιο που μπορεί να επαναχρησιμοποιηθεί — και αν αυτό το πλαίσιο μπορεί να ανακτηθεί ταχύτερα και με μικρότερο κόστος από ό,τι θα απαιτούσε ο επανυπολογισμός του.

Μετατρέποντας την προσωρινή μνήμη σε διαχειριζόμενη υποδομή

Στην ανακοίνωσή της, η Tensormesh προσδιορίζει πέντε επιχειρησιακές προτεραιότητες: ασφάλεια, παρατηρησιμότητα, ανθεκτικότητα, διαχείριση πολιτικών και πολυμίσθωση. Αυτές αφορούν τις πρακτικές ανάγκες προστασίας των αποθηκευμένων δεδομένων, παρακολούθησης των επιδόσεων, ανάκαμψης από αστοχίες, ελέγχου της διατήρησης και της απομάκρυνσης δεδομένων από την προσωρινή μνήμη, καθώς και διαχωρισμού ομάδων ή πελατών σε κοινόχρηστη υποδομή.

Η εταιρεία περιγράφει επίσης API ελεγκτή για τη δέσμευση, τον εντοπισμό, τη μετακίνηση, τη συμπίεση και την εκκαθάριση εγγραφών της προσωρινής μνήμης. Έτσι, η διαχείριση του κύκλου ζωής της προσωρινής μνήμης καθίσταται ρητό επιχειρησιακό μέλημα, αντί να επαφίεται εξ ολοκλήρου στις επιμέρους διεργασίες εξαγωγής συμπερασμάτων.

Το υποκείμενο έργο LMCache διαχωρίζει τη διαχείριση της προσωρινής μνήμης από τη μηχανή εξυπηρέτησης και υποστηρίζει τη μεταφόρτωση και ανάκτηση δεδομένων σε πολλαπλά επίπεδα αποθήκευσης. Η τεκμηρίωσή του περιγράφει την επαναχρησιμοποίηση μεταξύ αιτημάτων, συνόδων και παρουσιών της μηχανής, με δυνατότητα σύνδεσης διαφορετικών υποσυστημάτων αποθήκευσης και μεταφοράς.

Η επιχειρησιακή πλατφόρμα βασίζεται σε αυτά τα θεμέλια. Σύμφωνα με τον οδηγό εγκατάστασης, ένας τελεστής Kubernetes διαχειρίζεται τα στοιχεία της μηχανής προσωρινής αποθήκευσης, με διακομιστές προσωρινής μνήμης σε κόμβους GPU και έναν συντονιστή για τον συντονισμό ολόκληρου του στόλου. Το Helm προσφέρει τον τρόπο ανάπτυξης, ενώ μια διεπαφή ιστού και εργαλεία γραμμής εντολών υποστηρίζουν τη λειτουργία.

Αυτή η αρχιτεκτονική έχει σημασία, επειδή η μνήμη GPU είναι περιορισμένος πόρος. Η διατήρηση κάθε προτροπής που θα μπορούσε ενδεχομένως να επαναχρησιμοποιηθεί εκεί θα ανταγωνιζόταν άλλες ανάγκες εξαγωγής συμπερασμάτων. Η μεταφορά καταστάσεων που δεν χρειάζονται άμεσα σε μνήμη κεντρικού υπολογιστή ή σε αποθηκευτικό χώρο μπορεί να αυξήσει τον όγκο των δεδομένων που διατηρούνται, αν και η ανάκτησή τους συνεπάγεται δικό της κόστος σε εύρος ζώνης και καθυστέρηση.

Πέρα από ταυτόσημα προθέματα προτροπών

Η προσωρινή αποθήκευση προθεμάτων λειτουργεί καλά όταν δύο προτροπές αρχίζουν με τα ίδια token. Η παραγωγή με επαυξημένη ανάκτηση (RAG) μπορεί να είναι πιο δύσκολη: μια εφαρμογή ανακτά σχετικά έγγραφα, αλλά αυτά μπορεί να εμφανίζονται με διαφορετική σειρά ή ύστερα από διαφορετικό προηγούμενο κείμενο.

Ας εξετάσουμε δύο υποθετικά αιτήματα που χρησιμοποιούν τα ίδια έγγραφα. Το ένα περιλαμβάνει πρώτα το έγγραφο A και έπειτα το B, ενώ το άλλο πρώτα το B και έπειτα το A. Και τα δύο περιέχουν υλικό που μπορεί να επαναχρησιμοποιηθεί, αλλά το κοινό αρχικό τους τμήμα μπορεί να είναι σύντομο.

Η Tensormesh χρησιμοποιεί το CacheBlend για να επεκτείνει την επαναχρησιμοποίηση πέρα από την αρχή μιας προτροπής. Η τεκμηρίωση του LMCache εξηγεί ότι επανυπολογίζει επιλεκτικά ένα κλάσμα των token, ενώ επαναχρησιμοποιεί αποθηκευμένα τμήματα. Ο επανυπολογισμός είναι σημαντικός, επειδή το περιβάλλον πλαίσιο ενός τμήματος μπορεί να επηρεάσει την εσωτερική κατάσταση του μοντέλου.

Η ερευνητική εργασία για το CacheBlend, που παρουσιάστηκε στο EuroSys 2025, αναφέρει ότι, στους φόρτους εργασίας που αξιολογήθηκαν, ο χρόνος έως το πρώτο token ήταν 2,2–3,3 φορές μικρότερος και η διεκπεραιωτική ικανότητα 2,8–5 φορές υψηλότερη σε σύγκριση με τον πλήρη επανυπολογισμό της προσωρινής μνήμης KV. Οι συγγραφείς αξιολόγησαν τρία μοντέλα ανοιχτού κώδικα και τέσσερα σύνολα δεδομένων αναφοράς.

Πρόκειται για ερευνητικά αποτελέσματα υπό συγκεκριμένες συνθήκες, όχι για εγγυημένη εξοικονόμηση σε κάθε εγκατάσταση του Tensormesh. Δείχνουν, ωστόσο, γιατί έχει τεχνικό ενδιαφέρον η επαναχρησιμοποίηση πέρα από ένα κοινό πρόθεμα: μπορεί να εξοικονομήσει χρήσιμο υπολογιστικό έργο που θα χανόταν με τη συμβατική αντιστοίχιση προθεμάτων.

Επαναχρησιμοποίηση μεταξύ κόμβων και η σημασία της υποστήριξης ανά έκδοση

Η ανακοίνωση της κυκλοφορίας περιγράφει μεταφορές KV από κόμβο σε κόμβο, οι οποίες επιτρέπουν σε έναν κόμβο να ανακτά αποθηκευμένη κατάσταση από άλλον, ενώ το υλικό προϊόντος της εταιρείας περιγράφει τον διαχωρισμό των σταδίων προπλήρωσης και αποκωδικοποίησης. Ο διαχωρισμός απομονώνει την επεξεργασία της προτροπής από τη δημιουργία της εξόδου, ώστε τα δύο στάδια να μπορούν να εκτελούνται σε διαφορετικούς εργαζομένους.

Πρόκειται για συμπληρωματικούς τρόπους οργάνωσης της εξαγωγής συμπερασμάτων. Η κοινή χρήση συμβατής κατάστασης μπορεί να αποτρέψει τον επανυπολογισμό της σε διαφορετικό κόμβο, ενώ ο διαχωρισμός των σταδίων μπορεί να επιτρέψει στις ομάδες υποδομών να κατανέμουν τους πόρους ανάλογα με τις απαιτήσεις επεξεργασίας τους.

Ωστόσο, τα δημόσια διαθέσιμα υλικά δεν συμφωνούν πλήρως ως προς την κατάσταση κυκλοφορίας. Η εισαγωγική παρουσίαση της κυκλοφορίας περιγράφει την κοινή χρήση μεταξύ κόμβων και τον διαχωρισμό των σταδίων, ενώ ο πίνακας συμβατότητας ανά έκδοση, με ημερομηνία 17 Σεπτεμβρίου, περιλαμβάνει τη μεταφορά από κόμβο σε κόμβο και τον διαχωρισμό των σταδίων στον οδικό χάρτη. Η τεκμηρίωση των δυνατοτήτων περιλαμβάνει επίσης σελίδες προεπισκόπησης.

Ο ίδιος πίνακας διακρίνει τις δυνατότητες που έχουν επαληθευτεί στις δοκιμές της Tensormesh από εκείνες που υποστηρίζονται upstream, αλλά απαιτούν πρόσθετες δοκιμές πριν από τη χρήση σε παραγωγικό περιβάλλον. Αναφέρει τα vLLM και NVIDIA Dynamo ως επαληθευμένες μηχανές εξυπηρέτησης, ενώ τα SGLang και TensorRT-LLM βρίσκονται στον οδικό χάρτη.

Επομένως, η ευρεία διατύπωση της κυκλοφορίας σχετικά με τη συμβατότητα περιγράφει μια κατεύθυνση σχεδιασμού και όχι απόδειξη ότι έχει επικυρωθεί κάθε συνδυασμός μοντέλου και υποδομής. Οι ομάδες θα πρέπει να επιβεβαιώσουν τη συγκεκριμένη έκδοση, τη μηχανή εξυπηρέτησης, το μοντέλο και τη λειτουργία της cache που σκοπεύουν να αναπτύξουν.

Η εισαγωγική παρουσίαση της κυκλοφορίας περιγράφει συγκεκριμένα το vLLM στο Kubernetes με GPU NVIDIA ή υποστηριζόμενες AMD Instinct μέσω ROCm, καθώς και αποθήκευση σε σύστημα αρχείων. Αναφέρει ότι η αποθήκευση στην cache χωρίς αντιστοίχιση προθεμάτων για πυκνά μοντέλα και η υποστήριξη του SGLang είναι προγραμματισμένες για το μέλλον. Διευκρινίζει επίσης ότι η cache λειτουργεί παράλληλα με μοντέλα που φιλοξενούνται από τον ίδιο τον χρήστη· δεν είναι πρόσθετο στοιχείο που μπορεί να συνδεθεί με οποιοδήποτε API φιλοξενούμενου μοντέλου.

Πού θα μπορούσε να αποδώσει οικονομικά

Οι ισχυρότεροι υποψήφιοι είναι εφαρμογές που επεξεργάζονται επανειλημμένα εκτενές κοινόχρηστο πλαίσιο: εσωτερικοί βοηθοί γνώσης, υπηρεσίες ανάλυσης εγγράφων και πράκτορες που επανέρχονται σε ένα σταθερό σύνολο οδηγιών ή υλικού αναφοράς.

Μια χρήσιμη αξιολόγηση θα συνέκρινε τη συμπεριφορά με κενή και με θερμή cache, χρησιμοποιώντας αντιπροσωπευτική κίνηση. Οι διαχειριστές θα πρέπει να μετρούν τον χρόνο μέχρι το πρώτο token, τη διεκπεραιωτική ικανότητα, τον χρόνο ανάκτησης από την cache, τη χρήση GPU, καθώς και το κόστος μνήμης, αποθήκευσης και δικτύου για τη διατήρηση της κατάστασης.

Το ποσοστό επιτυχών προσπελάσεων στην cache δεν αρκεί από μόνο του. Ένα υψηλό ποσοστό είναι χρήσιμο μόνο εφόσον η εργασία που εξοικονομείται αποφέρει καθαρό όφελος μετά το κόστος μεταφοράς και διαχείρισης. Αντίστοιχα, η ταχύτερη εμφάνιση του πρώτου token δεν σημαίνει κατ’ ανάγκη ότι ολόκληρη η απάντηση ολοκληρώνεται αναλογικά ταχύτερα.

Η ποιότητα των απαντήσεων χρειάζεται ξεχωριστό έλεγχο, ιδίως όταν αποθηκευμένα τμήματα συνδυάζονται σε διαφορετικά συμφραζόμενα. Ο επιλεκτικός επανυπολογισμός του CacheBlend έχει σχεδιαστεί για να αντιμετωπίζει αυτό το ζήτημα, αλλά οι δοκιμές σε παραγωγικό περιβάλλον θα πρέπει να καλύπτουν τα έγγραφα, τις μορφές προτροπών και τις διαμορφώσεις μοντέλων του ίδιου του οργανισμού.

Η διατήρηση δεδομένων και η απομόνωση μεταξύ μισθωτών αποκτούν επίσης μεγαλύτερη σημασία καθώς η cache επεκτείνεται πέρα από μία διεργασία. Τα σχετικά λειτουργικά ερωτήματα περιλαμβάνουν ποιος μπορεί να επαναχρησιμοποιήσει μια καταχώριση, για πόσο διάστημα παραμένει διαθέσιμη και πώς επηρεάζουν την αποθηκευμένη κατάσταση οι αλλαγές πολιτικής ή τα αιτήματα διαγραφής. Οι δυνατότητες διαχείρισης που ανακοίνωσε η Tensormesh προορίζονται να επιτρέψουν τον έλεγχο αυτών των αποφάσεων.

Ένα πρακτικό στοίχημα στη μείωση της επαναλαμβανόμενης εργασίας

Σύμφωνα με την ανακοίνωση της εταιρείας, το Tensormesh Platform είναι διαθέσιμο από την κυκλοφορία του. Η σημασία του έγκειται στην αντιμετώπιση της κατάστασης εξαγωγής συμπερασμάτων ως πόρου που μπορεί να διαχειρίζεται σε ολόκληρο σύνολο υπολογιστικών κόμβων, διατηρώντας επαναχρησιμοποιήσιμους υπολογισμούς πέρα από την άμεση διάρκεια ζωής ενός αιτήματος.

Για τις επιχειρήσεις που λειτουργούν τη δική τους υποδομή LLM, αυτό προσφέρει έναν συγκεκριμένο μοχλό βελτίωσης της αποδοτικότητας: την επαναχρησιμοποίηση μεγαλύτερου μέρους της εργασίας επεξεργασίας προτροπών που έχει ήδη εκτελεστεί. Το αποτέλεσμα θα εξαρτηθεί από την επανάληψη των φόρτων εργασίας, τη συμβατότητα της cache και το κόστος μεταφοράς δεδομένων — πρόκειται, όμως, για μετρήσιμα ζητήματα μηχανικής που οι ομάδες μπορούν να δοκιμάσουν με βάση τη δική τους κίνηση.