Modele și platforme AI
Valkey 9.2 se lansează cu memorare în cache KV distribuită pentru inferența AI

Puncte cheieCache-ul KV distribuit permite motoarelor de inferență să reutilizeze tensorii…
Vezi mai mult
- Cache-ul KV distribuit permite motoarelor de inferență să reutilizeze tensorii promptului în loc să îi recalculeze în timpul prefill-ului.
- Multiverse Computing a servit cu 50% mai multe cereri pe aceleași GPU-uri, respectând în același timp ținta de latență pentru primul token.
- Cache-ul partajat oferă puțin beneficiu atunci când setul de lucru se încadrează deja în memoria GPU și a gazdei.
Valkey a lansat versiunea 9.2 pe 19 noiembrie 2026, împreună cu memorarea în cache distribuită de tip cheie-valoare pentru inferența AI. Potrivit anunțului aferent al proiectului, cache-ul partajat poate reduce cu până la 40% cheltuielile pentru inferență și cu până la 80% timpul de așteptare până la primul token al unui răspuns, folosind infrastructura GPU existentă.
O publicație tehnică Valkey, apărută pe 20 octombrie 2026, descrie un cache partajat, dincolo de memoria GPU și memoria gazdă, care stochează tensorii cheie-valoare generați atunci când un model procesează instrucțiunile din prompt, definițiile instrumentelor și istoricul conversației. Motoarele de inferență pot reutiliza acești tensori pentru contexte repetate, în loc să îi recalculeze în etapa de preumplere, adică înainte de generarea unui nou răspuns. Partajarea acestui nivel între serverele GPU permite oricărui nod să încarce o conversație eliminată din memoria locală.
Implementările autogestionate care rulează modele cu ponderi deschise pot conecta cache-ul, prin conectorul LMCache, la motoare precum vLLM și SGLang, printr-o modificare de configurare, fără actualizări ale codului aplicației. Path Hash, un nou tip de date bazat pe un arbore radix, introdus în versiunea 9.2, permite căutarea exactă, identificarea celui mai lung prefix comun și parcurgerea prefixelor. Valkey îl prezintă drept un index ușor, care permite găsirea celui mai lung prefix din cache care corespunde și a locației acestuia, în timp ce datele AI mai voluminoase rămân în memoria GPU sau în memoria gazdă.
Creșteri măsurate și limitele sarcinilor de lucru
Ennio Pastore, directorul platformei AI la Multiverse Computing, a declarat că memorarea în cache KV distribuită cu Valkey a permis companiei să proceseze cu 50% mai multe solicitări pe aceleași GPU-uri, respectând totodată ținta de o secundă pentru timpul median până la primul token. Latența mediană până la primul token a scăzut cu 23% în condiții de trafic normal și cu 95% la vârf de trafic, iar Multiverse a contribuit și la îmbunătățirea conectorului LMCache, menită să sporească reziliența memorării în cache distribuite.
Testul sintetic descris în publicația tehnică Valkey a folosit 100 de conversații simultane, cu contexte de 12.000 până la 28.000 de tokeni, care au generat 8 solicitări pe secundă pe două noduri GPU, fiecare cu câte opt acceleratoare H100. Nodurile au rulat Llama-3.1-70B prin vLLM și LMCache, cu un cluster Valkey 9 cu trei fragmente, aflat în aceeași zonă de disponibilitate ca și cache-ul partajat. Proiectul a măsurat cu aproximativ 25% mai multe solicitări și cu aproximativ 28% mai mulți tokeni de ieșire, în timp ce cache-ul a adăugat aproximativ 15% la factura pentru GPU.
Recomandările Valkey privind testarea și implementarea identifică limite clare: cache-ul partajat oferă puține beneficii atunci când setul de lucru încape deja în memoria GPU și în memoria gazdă sau când solicitările nu au contexte repetate și nu poate suplini capacitatea de calcul GPU atunci când preumplerea pentru tokeni noi devine factorul limitativ. Se recomandă amplasarea în aceeași zonă de disponibilitate cu flota GPU, deoarece cache-ul se află pe traseul parcurs de primul token, iar traficul interzonal poate adăuga latență și costuri de transfer.
Reducerea utilizării memoriei și a traficului de rețea
Pe lângă memorarea în cache pentru AI, versiunea 9.2 urmărește reducerea costurilor de infrastructură ale sistemului de stocare a datelor. Instantaneele fără fork și sincronizările complete ale replicilor, disponibile opțional, folosesc un fir de execuție în fundal în loc să creeze un proces de server separat, evitând suprasarcina de memorie asociată mecanismului copy-on-write în cazul operațiunilor cu multe scrieri. Infrastructura adaugă patru octeți per cheie, iar prefer-forkless politica revine la utilizarea fork-ului atunci când este necesar.
Compresia pentru replicarea continuă se negociază separat cu fiecare replică, astfel încât replicile mai vechi sau cele pentru care compresia a fost dezactivată continuă să primească date necriptate. Publicația Valkey despre lansare arată că, într-un test cu 3 milioane de chei de aproximativ 315 octeți fiecare, LZ4 a redus lățimea de bandă pentru replicare cu 52%, cu o suprasarcină asupra debitului de sub 1%. Compresia întregului flux al instantaneului acceptă LZ4 și Zstandard; Zstandard necesită o opțiune activată la compilare și este destinată în special replicării între regiuni, unde costurile de rețea sunt mari în raport cu cele de calcul.
Seturile ordonate mari folosesc acum un arbore B+ în locul unei liste cu salturi. Valkey raportează o scădere cu 36% până la 43% a suprasarcinii de memorie per element, într-un test cu 5 milioane de elemente, fiecare conținând valori de 20 de octeți. Printre alte funcții operaționale se numără detectarea cheilor fierbinți pe partea serverului, roluri reutilizabile de control al accesului, gestionarea prioritară a semnalelor de control ale clusterului și a replicării, conexiuni administrative rezervate și limitarea opțională a scrierilor atunci când o replică rămâne în urmă.
Înregistrarea lansării versiunii 9.2.0 marchează prima versiune stabilă 9.2, iar pagina de descărcare listează etichetele Docker și pachetele binare specifice fiecărei platforme. Valkey descrie versiunea 9.2 drept o lansare minoră, fără modificări incompatibile, dar avertizează că, dacă un operator revine ulterior la o versiune anterioară, fișierele de bază cu jurnalizare doar în adăugare, scrise cu compresie LZ4 sau Zstandard, necesită o versiune Valkey compatibilă.
Valkey 9.2 abordează două aspecte ale economiei inferenței: recuperarea capacității GPU pierdute prin preumplerea repetată și reducerea suprasarcinii de memorie și de rețea a stratului de date. Pentru operatorii care evaluează noul nivel, rezultatele publicate leagă valoarea acestuia de reutilizarea sarcinilor de lucru și de presiunea produsă de eliminarea datelor din cache, indicând totodată o limită clară atunci când preumplerea pentru tokeni noi consumă deja capacitatea de calcul GPU disponibilă.












