Tensormesh lansează o platformă care reduce costurile de inferență LLM prin reutilizarea cache-ului KV

De fiecare dată când un asistent AI primește un document lung, trebuie să îl proceseze înainte de a putea începe să răspundă. Când aceleași documente, instrucțiuni sau istoricul conversației reapar, o mare parte din această procesare poate fi repetată. La scară enterprise, repetarea poate consuma capacitate GPU costisitoare fără să adauge muncă utilă.

Tensormesh vizează această problemă cu Tensormesh Platform, anunțată pe 14 octombrie 2026. Compania, a cărei echipă a creat proiectul open-source LMCache, aduce un nivel de gestionare enterprise pentru memorarea în cache a perechilor cheie-valoare, sau KV, destinată organizațiilor care servesc modele lingvistice mari pe propria infrastructură.

Platforma gestionează starea de inferență reutilizabilă în memoria GPU, memoria CPU și spațiul de stocare. Beneficiul urmărit este simplu: reducerea volumului de procesare a prompturilor pe care o flotă de GPU-uri trebuie să îl repete, oferind în același timp operatorilor control asupra modului în care această stare memorată în cache este păstrată, partajată și monitorizată.

De ce contează cache-ul KV

Inferența LLM are două etape importante. În etapa de preumplere, modelul procesează promptul de intrare. În etapa de decodare, generează răspunsul token cu token. Cache-ul KV păstrează starea intermediară asociată mecanismului de atenție, permițând modelului să revină la tokenurile procesate fără să recalculeze totul de la zero.

Reutilizarea acestei stări între solicitări poate reduce volumul de lucru din etapa de preumplere atunci când contextul de intrare se repetă. De exemplu, un asistent de asistență poate consulta același manual al unui produs pentru sute de întrebări diferite. Un agent poate include în mod repetat aceleași instrucțiuni sau instrumente, alături de o sarcină care se schimbă.

Acest lucru diferă de memorarea în cache a unui răspuns finalizat. Sistemul poate reutiliza calculele asociate contextului comun și, în același timp, poate genera un răspuns nou la o întrebare nouă.

Documentația vLLM despre memorarea automată în cache a prefixului descrie acest beneficiu pentru interogări repetate despre documente și conversații cu mai multe runde. Totodată, stabilește o limită importantă: memorarea prefixului în cache accelerează procesarea promptului, nu generarea de tokenuri noi pentru răspuns. Sarcinile de lucru dominate de răspunsuri lungi sau de intrări în mare parte unice pot beneficia mai puțin.

Pentru cumpărătorii enterprise, întrebarea utilă este ce proporție din sarcinile lor de lucru reale conține context reutilizabil și dacă acel context poate fi recuperat mai rapid și mai ieftin decât prin recalculare.

Transformarea unui cache în infrastructură gestionată

Anunțul Tensormesh identifică cinci priorități operaționale: securitatea, observabilitatea, reziliența, gestionarea politicilor și suportul pentru mai mulți chiriași. Acestea vizează activitățile practice de protejare a datelor memorate în cache, urmărire a performanței, recuperare în urma defecțiunilor, control al păstrării și eliminării datelor și separare a echipelor sau clienților care folosesc infrastructura partajată.

Compania descrie, de asemenea, API-uri ale controlerului pentru fixarea, localizarea, mutarea, comprimarea și ștergerea intrărilor din cache. Astfel, gestionarea ciclului de viață al cache-ului devine o responsabilitate operațională explicită, în loc să fie lăsată în întregime în seama proceselor individuale de inferență.

Proiectul LMCache de la baza platformei separă gestionarea cache-ului de motorul de servire și permite transferul și recuperarea datelor între mai multe niveluri de stocare. Documentația sa descrie reutilizarea între solicitări, sesiuni și instanțe ale motorului, cu sisteme de stocare și transport interschimbabile.

Platforma enterprise se bazează pe această fundație. Potrivit ghidului de instalare, un operator Kubernetes gestionează componentele motoarelor de cache, cu servere de cache pe nodurile GPU și un coordonator care coordonează întreaga flotă. Helm oferă metoda de implementare, iar interfața web și instrumentele din linia de comandă facilitează operarea.

Această arhitectură contează deoarece memoria GPU este o resursă limitată. Păstrarea acolo a fiecărui prompt potențial reutilizabil ar concura cu alte nevoi de inferență. Mutarea stării mai puțin utile pe termen imediat în memoria gazdei sau în spațiul de stocare poate crește cantitatea de date păstrate, deși recuperarea introduce propriile costuri de lățime de bandă și latență.

Dincolo de prefixele identice ale prompturilor

Memorarea prefixului în cache funcționează bine atunci când două prompturi încep cu aceleași tokenuri. Generarea augmentată prin recuperare, sau RAG, poate fi mai dificilă: o aplicație recuperează documente relevante, dar acestea pot apărea în ordini diferite sau după texte introductive diferite.

Să luăm în considerare două solicitări ipotetice care folosesc aceleași documente. Una include documentul A, urmat de B; cealaltă include B, urmat de A. Ambele conțin material reutilizabil, dar partea lor inițială comună poate fi scurtă.

Tensormesh folosește CacheBlend pentru a extinde reutilizarea dincolo de începutul unui prompt. Documentația LMCache explică faptul că sistemul recalculează selectiv o parte dintre tokenuri, reutilizând în același timp fragmente memorate în cache. Recalcularea este importantă deoarece contextul din jurul unui fragment poate afecta starea internă a modelului.

Lucrarea de cercetare despre CacheBlend, prezentată la EuroSys 2025, raportează un timp până la primul token de 2,2–3,3 ori mai scurt și un debit de 2,8–5 ori mai mare față de recalcularea completă a KV în sarcinile de lucru evaluate. Autorii au evaluat trei modele open-source și patru seturi de date de referință.

Acestea sunt rezultate de cercetare obținute în condiții specifice, nu o economie garantată pentru fiecare implementare Tensormesh. Ele demonstrează însă de ce reutilizarea dincolo de un prefix partajat este interesantă din punct de vedere tehnic: poate recupera calcule utile pe care potrivirea convențională a prefixelor nu le-ar identifica.

Reutilizarea între noduri și importanța suportului specific fiecărei versiuni

Anunțul lansării descrie transferuri KV peer-to-peer, care permit unui nod să preia starea din cache de pe alt nod, iar materialele despre produs ale companiei descriu separarea etapelor prefill și decode. Această separare disociază procesarea promptului de generarea rezultatului, astfel încât cele două etape să poată rula pe lucrători diferiți.

Acestea sunt modalități complementare de organizare a inferenței. Partajarea stării compatibile poate evita recalcularea acesteia pe un alt nod; separarea etapelor le poate permite echipelor de infrastructură să aloce resurse diferite în funcție de cerințele de procesare.

Cu toate acestea, materialele publice nu sunt pe deplin concordante în privința stadiului lansării. Secțiunea introductivă a anunțului de lansare descrie partajarea între noduri și separarea etapelor, în timp ce matricea de compatibilitate pe versiuni, datată 17 septembrie, include transferurile peer-to-peer și separarea etapelor în foaia de parcurs. Documentația funcționalităților include, de asemenea, pagini de previzualizare.

Aceeași matrice distinge între funcționalitățile verificate în testele Tensormesh și cele acceptate în proiectele din amonte, dar care necesită teste suplimentare înainte de utilizarea în producție. Aceasta enumeră vLLM și NVIDIA Dynamo drept motoare de servire verificate, iar SGLang și TensorRT-LLM apar în foaia de parcurs.

Prin urmare, formularea generală despre compatibilitate din anunțul lansării indică o direcție de proiectare, nu dovedește că a fost validată fiecare combinație de model și infrastructură. Echipele ar trebui să confirme versiunea exactă, motorul de servire, modelul și modul de stocare în cache pe care intenționează să le implementeze.

Secțiunea introductivă a anunțului de lansare descrie în mod specific vLLM pe Kubernetes, cu GPU-uri NVIDIA sau AMD Instinct acceptate, prin ROCm, și stocare bazată pe sistemul de fișiere. Aceasta prezintă stocarea în cache fără prefix comun pentru modelele dense și suportul SGLang drept funcționalități viitoare. De asemenea, precizează că memoria cache funcționează alături de modele găzduite pe infrastructura proprie; nu este o extensie care poate fi atașată la orice API de model găzduit.

Unde ar putea fi rentabilă această soluție

Cei mai buni candidați sunt aplicațiile care procesează în mod repetat un volum considerabil de context partajat: asistenți interni pentru cunoștințe, servicii de analiză a documentelor și agenți care reiau un set stabil de instrucțiuni sau materiale de referință.

O evaluare utilă ar compara comportamentul cu memoria cache rece și caldă, folosind trafic reprezentativ. Operatorii ar trebui să măsoare timpul până la primul token, debitul, timpul de preluare din cache, gradul de utilizare a GPU-ului, precum și costurile de memorie, stocare și rețea pentru păstrarea stării.

Rata de accesări reușite din cache nu este suficientă. O rată ridicată este utilă doar dacă munca recuperată aduce un beneficiu net după luarea în calcul a costurilor transferului și administrării. În mod similar, obținerea mai rapidă a primului token nu înseamnă neapărat că întregul răspuns va fi generat proporțional mai repede.

Calitatea răspunsurilor trebuie verificată separat, mai ales atunci când fragmentele din cache sunt combinate în contexte diferite. Recalcularea selectivă din CacheBlend este concepută pentru a aborda această problemă, însă testele în producție ar trebui să includă propriile documente ale organizației, formatele de prompt și configurațiile modelelor.

Păstrarea datelor și izolarea între entități devin, de asemenea, mai importante pe măsură ce memoria cache depășește limitele unui singur proces. Întrebările operaționale relevante includ cine poate reutiliza o intrare, cât timp rămâne disponibilă și cum afectează modificările politicilor sau solicitările de ștergere starea salvată. Funcționalitățile de administrare anunțate de Tensormesh sunt menite să permită controlul acestor decizii.

Un pariu pragmatic pe reducerea muncii repetitive

Potrivit anunțului companiei, Tensormesh Platform este disponibilă odată cu lansarea. Importanța sa constă în tratarea stării inferenței ca pe o resursă care poate fi administrată la nivelul unei întregi flote, păstrând calculele reutilizabile dincolo de durata de viață imediată a unei solicitări.

Pentru companiile care își operează propria infrastructură LLM, aceasta oferă o pârghie concretă pentru creșterea eficienței: reutilizarea unei părți mai mari din procesarea prompturilor deja efectuată. Rezultatul va depinde de repetitivitatea sarcinilor, compatibilitatea cache-ului și costul transferului de date, însă acestea sunt întrebări inginerești măsurabile, pe care echipele le pot testa folosind propriul trafic.