AI-modeller och plattformar
Valkey 9.2 lanseras med distribuerad KV-cache för AI-inferens

Viktiga punkterDistribuerad KV-cachning låter inferensmotorer återanvända prompt-tensorer istället för…
Visa mer
- Distribuerad KV-cachning låter inferensmotorer återanvända prompt-tensorer istället för att räkna om dem under prefill.
- Multiverse Computing hanterade 50 % fler förfrågningar på samma GPU:er samtidigt som företaget nådde sitt latensmål för första token.
- Den delade cachen ger liten nytta när arbetsmängden redan får plats i GPU- och värdminnet.
Valkey släppte version 9.2 den 19 november 2026, med distribuerad nyckel-värdecachelagring för AI-inferens. I projektets tillhörande tillkännagivande står det att den delade cachen kan minska inferenskostnaderna med upp till 40 % och väntetiden till svarens första token med upp till 80 % på befintlig GPU-infrastruktur.
Ett tekniskt inlägg från Valkey, publicerat den 20 oktober 2026, beskriver en delad cache utöver GPU- och värdminnet, där nyckel-värdetensorer lagras när en modell bearbetar instruktioner i promptar, verktygsdefinitioner och konversationshistorik. Inferensmotorer kan återanvända dessa tensorer för återkommande kontext i stället för att beräkna dem på nytt under prefill, det bearbetningssteg som föregår genereringen av nytt innehåll. När cachen delas mellan GPU-servrar kan vilken nod som helst läsa in en konversation som har trängts undan ur det lokala minnet.
Självhanterade installationer som kör modeller med öppna vikter kan ansluta cachen till motorer som vLLM och SGLang via LMCache-anslutningen, genom att ändra konfigurationen utan att uppdatera applikationskoden. Path Hash, en ny datatyp i version 9.2 som bygger på ett radixträd, stöder exakt uppslagning, matchning av det längsta prefixet och genomgång av prefix. Valkey beskriver den som ett lättviktigt index för att hitta det längsta matchande cachade prefixet och dess plats, medan större AI-data ligger kvar i GPU- eller värdminnet.
Uppmätta förbättringar och begränsningar för arbetsbelastningar
Ennio Pastore, chef för AI-plattformen på Multiverse Computing, sade att distribuerad KV-cachelagring med Valkey gjorde det möjligt för företaget att hantera 50 % fler förfrågningar på samma GPU:er och samtidigt klara målet på en sekund för medianen av tiden till första token. Medianlatensen för den första token minskade med 23 % vid normal trafik och 95 % vid trafiktoppar. Multiverse bidrog också med förbättringar av LMCache-anslutningen för att göra distribuerad cachelagring mer robust.
Det syntetiska riktmärke som beskrivs i Valkeys tekniska inlägg använde 100 samtidiga konversationer med en kontext på 12 000 till 28 000 token. Förfrågningarna kom in med 8 per sekund via två GPU-noder, var och en med åtta H100-acceleratorer. Noderna hanterade Llama-3.1-70B via vLLM och LMCache, med ett Valkey 9-kluster med tre shards i samma tillgänglighetszon som den delade cachen. Projektet mätte omkring 25 % fler förfrågningar och omkring 28 % fler genererade token, medan cachen ökade GPU-kostnaden med omkring 15 %.
Valkeys vägledning för testning och driftsättning pekar ut tydliga begränsningar: den delade cachen ger liten nytta när arbetsmängden redan ryms i GPU- och värdminnet eller när förfrågningarna saknar återkommande kontext. Den kan inte heller skapa GPU-beräkningskapacitet när prefill för nya token blir flaskhalsen. Rekommendationen är att placera cachen i samma tillgänglighetszon som GPU-parken, eftersom den ligger i sökvägen för den första token och trafik mellan zoner kan öka både latens och överföringskostnader.
Mindre minnes- och nätverksbelastning
Utöver AI-cachelagring är version 9.2 inriktad på att minska datalagringens egna infrastrukturkostnader. Opt-in-ögonblicksbilder utan fork och fullständig synkronisering av repliker använder en bakgrundstråd i stället för att skapa en separat serverprocess, vilket undviker minnesbelastningen från copy-on-write vid skrivintensiva arbetsbelastningar. Infrastrukturen lägger till fyra byte per nyckel, och policyn prefer-forkless faller tillbaka på fork när det behövs.
Komprimering för löpande replikering förhandlas separat med varje replik, så äldre repliker och repliker där funktionen inte har aktiverats fortsätter att ta emot okomprimerad text. I Valkeys versionsinlägg rapporteras att LZ4 i ett riktmärke med 3 miljoner nycklar på omkring 315 byte vardera minskade replikeringens bandbredd med 52 % och medförde mindre än 1 % belastning på genomströmningen. Komprimering av hela dataströmmen för ögonblicksbilder stöder LZ4 och Zstandard. Zstandard kräver ett byggalternativ och är särskilt avsett för replikering mellan regioner, där nätverkskostnaderna är höga i förhållande till beräkningskostnaderna.
Stora sorterade mängder använder nu ett B+-träd i stället för en skiplista. Valkey rapporterar att minneskostnaden per medlem minskade med 36 % till 43 % i ett test med 5 miljoner medlemmar som innehöll element på 20 byte. Andra driftförbättringar omfattar detektering av frekvent använda nycklar på serversidan, återanvändbara åtkomstkontrollroller, prioriterad hantering av klusterpulsslag och replikering, reserverade administrativa anslutningar samt valfri begränsning av skrivningar när en replik hamnar efter.
Versionsposten för 9.2.0 visar att detta är den första stabila versionen av 9.2, och på nedladdningssidan finns Docker-taggar och plattformsspecifika binärfiler. Valkey beskriver 9.2 som en mindre versionsuppdatering utan inkompatibla ändringar, men varnar för att append-only-filer som skrivits med LZ4- eller Zstandard-komprimering kräver en kompatibel Valkey-version om operatören senare återgår till en äldre version.
Valkey 9.2 knyter samman två delar av inferensekonomin: att återvinna GPU-kapacitet som går förlorad när prefill upprepas och att minska datalagrets minnes- och nätverksbelastning. För operatörer som utvärderar den nya lagringsnivån visar de dokumenterade resultaten att nyttan beror på återanvändning i arbetsbelastningen och på hur ofta data trängs undan. Samtidigt finns en tydlig övre gräns för nyttan när prefill för nya token redan använder all tillgänglig GPU-beräkningskapacitet.












