AI-modeller og platforme

Valkey 9.2 lanceres med distribueret KV-caching til AI-inferens

Theo Nash
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterDistribueret KV-caching lader inferensmotorer genbruge prompt-tensorer i stedet for at…
Vis mere
  • Distribueret KV-caching lader inferensmotorer genbruge prompt-tensorer i stedet for at genberegne dem under prefill.
  • Multiverse Computing betjente 50 % flere forespørgsler på de samme GPU'er og opfyldte samtidig sit mål for latenstid for første token.
  • Den delte cache giver ringe udbytte, når arbejdssættet allerede passer i GPU- og værtshukommelsen.

Valkey udgav version 9.2 den 19. november 2026, som omfatter distribueret key-value-caching til AI-inferens. Ifølge projektets tilhørende meddelelse kan den delte cache reducere udgifterne til inferens med op til 40 % og ventetiden på et svar første token med op til 80 % på eksisterende GPU-infrastruktur.

Et teknisk indlæg fra Valkey, offentliggjort den 20. oktober 2026, beskriver en delt cache ud over GPU- og værtslageret, som gemmer de key-value-tensorer, der genereres, når en model behandler promptinstruktioner, værktøjsdefinitioner og samtalehistorik. Inferensmotorer kan genbruge disse tensorer ved gentaget kontekst i stedet for at genberegne dem under prefill, det behandlingstrin, der går forud for genereringen af nyt output. Når dette lag deles på tværs af GPU-servere, kan enhver node indlæse en samtale, som er blevet fortrængt fra den lokale hukommelse.

Selvadministrerede installationer, der kører modeller med åbne vægte, kan forbinde cachen via LMCache-forbindelsen til motorer som vLLM og SGLang ved at ændre konfigurationen uden at opdatere applikationskoden. Path Hash, en ny datatype baseret på et radix-træ i 9.2, understøtter præcise opslag, matchning af det længste præfiks og gennemløb af præfikser. Valkey beskriver den som et letvægtsindeks, der finder det længste matchende cachelagrede præfiks og dets placering, mens større AI-data fortsat ligger i GPU- eller værtslageret.

Målte forbedringer og begrænsninger for arbejdsbelastninger

Ennio Pastore, direktør for AI-platformen hos Multiverse Computing, sagde, at distribueret KV-caching på Valkey gjorde det muligt for virksomheden at håndtere 50 % flere forespørgsler på de samme GPU’er, samtidig med at målet på ét sekund for medianen af tiden til første token blev overholdt. Medianlatensen for første token faldt med 23 % ved normal trafik og 95 % ved spidsbelastning. Multiverse bidrog også med forbedringer af LMCache-forbindelsen, der skal gøre distribueret caching mere robust.

Den syntetiske benchmark, der beskrives i Valkeys tekniske indlæg, omfattede 100 samtidige samtaler med en kontekst på 12.000 til 28.000 tokens, som ankom med en hastighed på 8 forespørgsler i sekundet fordelt på to GPU-noder med hver otte H100-acceleratorer. Noderne håndterede Llama-3.1-70B via vLLM og LMCache med en Valkey 9-klynge med tre shards i samme tilgængelighedszone som den delte cache. Projektet målte omkring 25 % flere forespørgsler og omkring 28 % flere outputtokens, mens cachen øgede GPU-regningen med omkring 15 %.

Valkeys vejledning om test og implementering peger på klare begrænsninger: Den delte cache giver kun ringe fordel, når arbejdssættet allerede kan være i GPU- og værtslageret, eller når forespørgslerne ikke indeholder gentaget kontekst. Den kan heller ikke skabe ekstra GPU-beregningskapacitet, hvis prefill af nye tokens bliver flaskehalsen. Den anbefalede placering er i samme tilgængelighedszone som GPU-flåden, fordi cachen indgår i stien til det første token, og trafik på tværs af zoner kan øge både latenstiden og overførselsomkostningerne.

Lavere hukommelses- og netværksbelastning

Ud over AI-caching retter version 9.2 sig mod datalagerets egne infrastrukturudgifter. Frivilligt tilvalgte snapshots uden fork og fulde synkroniseringer af replikaer bruger en baggrundstråd i stedet for at oprette en separat serverproces, hvilket undgår hukommelsesoverhead fra kopiér-ved-skrivning ved skriveintensive opgaver. Infrastrukturen tilføjer fire byte pr. nøgle, og prefer-forkless politikken falder tilbage på fork, når det er nødvendigt.

Komprimering ved løbende replikering forhandles separat med hver replika, så ældre replikaer og replikaer, hvor komprimering er fravalgt, fortsat modtager ukomprimerede data. Ifølge Valkeys udgivelsesindlæg reducerede LZ4 replikeringens båndbreddeforbrug med 52 % med mindre end 1 % overhead på gennemløbet i en benchmark med 3 millioner nøgler på omkring 315 byte hver. Komprimering af hele snapshotstrømmen understøtter LZ4 og Zstandard. Zstandard kræver en indstilling ved byggetidspunktet og er især rettet mod replikering på tværs af regioner, hvor netværksomkostningerne er høje i forhold til beregningsomkostningerne.

Store sorterede mængder bruger nu et B+-træ i stedet for en skip-liste. Valkey rapporterer, at hukommelsesforbruget pr. element faldt med 36 % til 43 % i en test med 5 millioner elementer, der hver indeholdt 20-byte-elementer. Andre driftsmæssige tilføjelser omfatter registrering af varme nøgler på serversiden, genanvendelige adgangskontrolroller, prioriteret håndtering af klynge-heartbeats og replikering, reserverede administratorforbindelser samt valgfri begrænsning af skrivehastigheden, hvis en replika kommer bagud.

Udgivelsesposten for 9.2.0 markerer dette som den første stabile 9.2-udgivelse, og downloadsiden viser Docker-tags og binære filer til specifikke platforme. Valkey beskriver 9.2 som en mindre udgivelse uden brud med tidligere versioner, men advarer om, at append-only-filbaser skrevet med LZ4- eller Zstandard-komprimering kræver en kompatibel Valkey-version, hvis en operatør senere nedgraderer.

Valkey 9.2 forbinder to sider af økonomien i inferens: genvinding af GPU-kapacitet, der går tabt ved gentagen prefill, og reduktion af dataenes hukommelses- og netværksbelastning. For operatører, der vurderer det nye lag, viser de dokumenterede resultater, at værdien afhænger af genbrug i arbejdsbelastningen og presset fra data, der fortrænges fra cachen. Der er en tydelig øvre grænse, når prefill af nye tokens allerede optager al tilgængelig GPU-beregningskapacitet.

Theo Nash er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker AI‑infrastruktur, beregning og de hardware‑systemer, der driver moderne kunstig intelligens. Hans arbejde fokuserer på de tekniske grundlag bag store AI‑arbejdsbelastninger, herunder datacentre, acceleratorer, netværk og software‑stakke, der binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøger Theo, hvordan fremskridt inden for GPU’er, specialdesignet silicium, hukommelsesarkitekturer og distribuerede systemer muliggør nye generationer af AI‑modeller. Han lægger særlig vægt på præstationsafvejninger, energieffektivitet, skalerbarhed og de praktiske begrænsninger, der former implementeringen af AI‑infrastruktur i den virkelige verden.

Artikler skrevet af Theo Nash er AI‑genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre teknisk nøjagtighed, klarhed og ansvarlig dækning af det hastigt udviklende AI‑beregningslandskab.