AI-modeller og plattformer
Valkey 9.2 lanseres med distribuert KV-bufring for KI-inferens

Viktige punkterDistribuert KV-bufring lar inferensmotorer gjenbruke prompt-tensorer i stedet for å…
Vis mer
- Distribuert KV-bufring lar inferensmotorer gjenbruke prompt-tensorer i stedet for å beregne dem på nytt under prefill.
- Multiverse Computing betjente 50 % flere forespørsler på de samme GPU-ene mens de nådde målet for latenstid til første token.
- Den delte bufferen gir liten gevinst når arbeidssettet allerede passer i GPU- og vertsminnet.
Valkey lanserte versjon 9.2 19. november 2026, med distribuert nøkkel-verdi-bufring for KI-inferens. I prosjektets tilhørende kunngjøring heter det at den delte bufferen kan redusere inferenskostnadene med opptil 40 % og ventetiden til det første tokenet i et svar med opptil 80 % på eksisterende GPU-infrastruktur.
Et teknisk innlegg fra Valkey, publisert 20. oktober 2026, beskriver en delt buffer utenfor GPU- og vertsminnet. Den lagrer nøkkel-verdi-tensorene som genereres når en modell behandler instruksjoner i ledeteksten, verktøydefinisjoner og samtalehistorikk. Inferensmotorer kan bruke disse tensorene på nytt for gjentatt kontekst, i stedet for å beregne dem på nytt under prefill, behandlingsfasen før nytt innhold genereres. Når dette laget deles mellom GPU-servere, kan alle noder laste inn en samtale som er blitt kastet ut av det lokale minnet.
Egenadministrerte utrullinger som kjører modeller med åpne vekter, kan koble bufferen til motorer som vLLM og SGLang via LMCache-koblingen, ved å endre konfigurasjonen uten å oppdatere applikasjonskoden. Path Hash, en ny datatype basert på et radix-tre i versjon 9.2, støtter eksakte oppslag, matching av lengste prefiks og gjennomgang av prefikser. Valkey beskriver den som en lettvektsindeks for å finne det lengste samsvarende bufrede prefikset og plasseringen av det, mens større KI-data forblir i GPU- eller vertsminnet.
Målte gevinster og begrensninger knyttet til arbeidsbelastningen
Ennio Pastore, direktør for KI-plattformen hos Multiverse Computing, sa at distribuert KV-bufring med Valkey gjorde det mulig for selskapet å håndtere 50 % flere forespørsler på de samme GPU-ene, samtidig som det nådde målet på ett sekund for median tid til første token. Median latenstid for første token gikk ned med 23 % ved normal trafikk og 95 % ved toppbelastning. Multiverse bidro også med forbedringer av LMCache-koblingen, som skal gjøre distribuert bufring mer robust.
Den syntetiske referansetesten som beskrives i Valkeys tekniske innlegg, brukte 100 samtidige samtaler med en kontekst på 12 000 til 28 000 token. De kom inn med en hastighet på 8 forespørsler i sekundet, fordelt på to GPU-noder med åtte H100-akseleratorer hver. Nodene leverte Llama-3.1-70B via vLLM og LMCache, med en Valkey 9-klynge med tre shards i samme tilgjengelighetssone som den delte bufferen. Prosjektet målte rundt 25 % flere forespørsler og rundt 28 % flere utdata-token, mens bufferen økte GPU-regningen med rundt 15 %.
Valkeys veiledning for testing og utrulling beskriver klare begrensninger: Den delte bufferen gir liten gevinst når arbeidssettet allerede får plass i GPU- og vertsminnet, eller når forespørslene ikke har gjentatt kontekst. Den kan heller ikke skape GPU-kapasitet når prefill for nye token blir flaskehalsen. Anbefalingen er å plassere bufferen i samme tilgjengelighetssone som GPU-flåten, fordi den inngår i banen fram til det første tokenet, og trafikk mellom soner kan medføre økt latenstid og overføringskostnader.
Lavere minne- og nettverksoverhead
I tillegg til KI-bufring retter versjon 9.2 seg mot kostnadene for datalagerets egen infrastruktur. Snapshots uten fork og fullstendige replikasynkroniseringer, som kan aktiveres etter behov, bruker en bakgrunnstråd i stedet for å opprette en separat serverprosess. Dermed unngår man minneoverhead fra kopiering ved skriving under skriveintensive arbeidsbelastninger. Infrastrukturen legger til fire byte per nøkkel, og prefer-forkless policyen bruker fork som reserve når det er nødvendig.
Komprimering for løpende replikering forhandles separat med hver replika, slik at eldre replikaservere og replikaservere der komprimering er deaktivert, fortsatt mottar data i klartekst. I et referanseforsøk med 3 millioner nøkler på rundt 315 byte hver reduserte LZ4 båndbredden for replikering med 52 %, med mindre enn 1 % gjennomstrømningskostnad, ifølge Valkeys utgivelsesinnlegg. Komprimering av snapshots for hele datastrømmen støtter LZ4 og Zstandard. Zstandard krever et valg ved bygging og er særlig beregnet på replikering mellom regioner, der nettverkskostnadene er høye sammenlignet med beregningskostnadene.
Store sorterte mengder bruker nå et B+-tre i stedet for en skippliste. Valkey rapporterer at minneoverheaden per medlem gikk ned med 36 % til 43 % i en test med 5 millioner medlemmer som inneholdt elementer på 20 byte. Andre driftsrelaterte nyheter omfatter deteksjon av hotte nøkler på serversiden, gjenbrukbare tilgangskontrollroller, prioritetshåndtering for klynge-heartbeats og replikering, reserverte administrative tilkoblinger og valgfri begrensning av skrivehastigheten når en replika kommer på etterskudd.
Utgivelsesoppføringen for 9.2.0 viser at dette er den første stabile 9.2-utgivelsen, og nedlastingssiden viser Docker-tagger og plattformspesifikke binærfiler. Valkey omtaler 9.2 som en mindre utgivelse uten bakoverinkompatible endringer, men advarer om at baser for append-only-filer som er skrevet med LZ4- eller Zstandard-komprimering, krever en kompatibel Valkey-versjon dersom en operatør senere går tilbake til en eldre versjon.
Valkey 9.2 kobler sammen to sider ved økonomien i inferens: å hente tilbake GPU-kapasitet som går tapt når prefill gjentas, og å redusere minne- og nettverksoverheaden i datalaget. For operatører som vurderer det nye laget, viser de dokumenterte resultatene at verdien avhenger av gjenbruk av arbeidsbelastningen og press fra utkastinger, med en tydelig øvre grense når prefill for nye token allerede bruker opp den tilgjengelige GPU-kapasiteten.












