AI-modeller og platforme
Valkey 9.2 lanceres med distribueret KV-caching til AI-inferens

NøglepunkterDistribueret KV-caching lader inferensmotorer genbruge prompt-tensorer i stedet for at…
Vis mere
- Distribueret KV-caching lader inferensmotorer genbruge prompt-tensorer i stedet for at genberegne dem under prefill.
- Multiverse Computing betjente 50 % flere forespørgsler på de samme GPU'er og opfyldte samtidig sit mål for latenstid for første token.
- Den delte cache giver ringe udbytte, når arbejdssættet allerede passer i GPU- og værtshukommelsen.
Valkey udgav version 9.2 den 19. november 2026, som omfatter distribueret key-value-caching til AI-inferens. Ifølge projektets tilhørende meddelelse kan den delte cache reducere udgifterne til inferens med op til 40 % og ventetiden på et svar første token med op til 80 % på eksisterende GPU-infrastruktur.
Et teknisk indlæg fra Valkey, offentliggjort den 20. oktober 2026, beskriver en delt cache ud over GPU- og værtslageret, som gemmer de key-value-tensorer, der genereres, når en model behandler promptinstruktioner, værktøjsdefinitioner og samtalehistorik. Inferensmotorer kan genbruge disse tensorer ved gentaget kontekst i stedet for at genberegne dem under prefill, det behandlingstrin, der går forud for genereringen af nyt output. Når dette lag deles på tværs af GPU-servere, kan enhver node indlæse en samtale, som er blevet fortrængt fra den lokale hukommelse.
Selvadministrerede installationer, der kører modeller med åbne vægte, kan forbinde cachen via LMCache-forbindelsen til motorer som vLLM og SGLang ved at ændre konfigurationen uden at opdatere applikationskoden. Path Hash, en ny datatype baseret på et radix-træ i 9.2, understøtter præcise opslag, matchning af det længste præfiks og gennemløb af præfikser. Valkey beskriver den som et letvægtsindeks, der finder det længste matchende cachelagrede præfiks og dets placering, mens større AI-data fortsat ligger i GPU- eller værtslageret.
Målte forbedringer og begrænsninger for arbejdsbelastninger
Ennio Pastore, direktør for AI-platformen hos Multiverse Computing, sagde, at distribueret KV-caching på Valkey gjorde det muligt for virksomheden at håndtere 50 % flere forespørgsler på de samme GPU’er, samtidig med at målet på ét sekund for medianen af tiden til første token blev overholdt. Medianlatensen for første token faldt med 23 % ved normal trafik og 95 % ved spidsbelastning. Multiverse bidrog også med forbedringer af LMCache-forbindelsen, der skal gøre distribueret caching mere robust.
Den syntetiske benchmark, der beskrives i Valkeys tekniske indlæg, omfattede 100 samtidige samtaler med en kontekst på 12.000 til 28.000 tokens, som ankom med en hastighed på 8 forespørgsler i sekundet fordelt på to GPU-noder med hver otte H100-acceleratorer. Noderne håndterede Llama-3.1-70B via vLLM og LMCache med en Valkey 9-klynge med tre shards i samme tilgængelighedszone som den delte cache. Projektet målte omkring 25 % flere forespørgsler og omkring 28 % flere outputtokens, mens cachen øgede GPU-regningen med omkring 15 %.
Valkeys vejledning om test og implementering peger på klare begrænsninger: Den delte cache giver kun ringe fordel, når arbejdssættet allerede kan være i GPU- og værtslageret, eller når forespørgslerne ikke indeholder gentaget kontekst. Den kan heller ikke skabe ekstra GPU-beregningskapacitet, hvis prefill af nye tokens bliver flaskehalsen. Den anbefalede placering er i samme tilgængelighedszone som GPU-flåden, fordi cachen indgår i stien til det første token, og trafik på tværs af zoner kan øge både latenstiden og overførselsomkostningerne.
Lavere hukommelses- og netværksbelastning
Ud over AI-caching retter version 9.2 sig mod datalagerets egne infrastrukturudgifter. Frivilligt tilvalgte snapshots uden fork og fulde synkroniseringer af replikaer bruger en baggrundstråd i stedet for at oprette en separat serverproces, hvilket undgår hukommelsesoverhead fra kopiér-ved-skrivning ved skriveintensive opgaver. Infrastrukturen tilføjer fire byte pr. nøgle, og prefer-forkless politikken falder tilbage på fork, når det er nødvendigt.
Komprimering ved løbende replikering forhandles separat med hver replika, så ældre replikaer og replikaer, hvor komprimering er fravalgt, fortsat modtager ukomprimerede data. Ifølge Valkeys udgivelsesindlæg reducerede LZ4 replikeringens båndbreddeforbrug med 52 % med mindre end 1 % overhead på gennemløbet i en benchmark med 3 millioner nøgler på omkring 315 byte hver. Komprimering af hele snapshotstrømmen understøtter LZ4 og Zstandard. Zstandard kræver en indstilling ved byggetidspunktet og er især rettet mod replikering på tværs af regioner, hvor netværksomkostningerne er høje i forhold til beregningsomkostningerne.
Store sorterede mængder bruger nu et B+-træ i stedet for en skip-liste. Valkey rapporterer, at hukommelsesforbruget pr. element faldt med 36 % til 43 % i en test med 5 millioner elementer, der hver indeholdt 20-byte-elementer. Andre driftsmæssige tilføjelser omfatter registrering af varme nøgler på serversiden, genanvendelige adgangskontrolroller, prioriteret håndtering af klynge-heartbeats og replikering, reserverede administratorforbindelser samt valgfri begrænsning af skrivehastigheden, hvis en replika kommer bagud.
Udgivelsesposten for 9.2.0 markerer dette som den første stabile 9.2-udgivelse, og downloadsiden viser Docker-tags og binære filer til specifikke platforme. Valkey beskriver 9.2 som en mindre udgivelse uden brud med tidligere versioner, men advarer om, at append-only-filbaser skrevet med LZ4- eller Zstandard-komprimering kræver en kompatibel Valkey-version, hvis en operatør senere nedgraderer.
Valkey 9.2 forbinder to sider af økonomien i inferens: genvinding af GPU-kapacitet, der går tabt ved gentagen prefill, og reduktion af dataenes hukommelses- og netværksbelastning. For operatører, der vurderer det nye lag, viser de dokumenterede resultater, at værdien afhænger af genbrug i arbejdsbelastningen og presset fra data, der fortrænges fra cachen. Der er en tydelig øvre grænse, når prefill af nye tokens allerede optager al tilgængelig GPU-beregningskapacitet.












