AI-modellen en platforms
Valkey 9.2 introduceert gedistribueerde KV-caching voor AI-inferentie

Belangrijkste puntenGedistribueerde KV-caching laat inference-engines prompt-tensors hergebruiken in plaats…
Meer weergeven
- Gedistribueerde KV-caching laat inference-engines prompt-tensors hergebruiken in plaats van ze opnieuw te berekenen tijdens prefill.
- Multiverse Computing verwerkte 50% meer verzoeken op dezelfde GPU's en voldeed daarbij aan zijn latentiedoel voor het eerste token.
- De gedeelde cache biedt weinig voordeel wanneer de working set al in het GPU- en hostgeheugen past.
Valkey bracht versie 9.2 uit op 19 november 2026, met gedistribueerde key-valuecaching voor AI-inferentie. Volgens de bijbehorende aankondiging van het project kan de gedeelde cache de inferentiekosten met maximaal 40% verlagen en de wachttijd tot het eerste token van een antwoord met maximaal 80% verkorten op bestaande GPU-infrastructuur.
Een technisch artikel van Valkey, gepubliceerd op 20 oktober 2026, beschrijft een gedeelde cache naast het GPU- en hostgeheugen, waarin key-valuetensors worden opgeslagen die ontstaan wanneer een model promptinstructies, tooldefinities en gespreksgeschiedenis verwerkt. Inferentie-engines kunnen die tensors hergebruiken voor terugkerende context, in plaats van ze tijdens de prefill opnieuw te berekenen. Prefill is de verwerkingsfase voordat nieuwe uitvoer wordt gegenereerd. Door deze cachelaag te delen tussen GPU-servers kan elk knooppunt een gesprek laden dat uit het lokale geheugen is verwijderd.
Zelf beheerde implementaties met open-weightmodellen kunnen de cache via de LMCache-connector koppelen aan onder meer vLLM en SGLang; daarvoor is alleen een configuratiewijziging nodig en hoeft de applicatiecode niet te worden aangepast. Path Hash, een nieuw gegevenstype op basis van een radix tree in versie 9.2, ondersteunt exacte zoekopdrachten, het vinden van de langste overeenkomstige prefix en het doorlopen van prefixes. Valkey positioneert dit als een lichtgewicht index om de langste overeenkomende prefix in de cache en de locatie ervan te vinden, terwijl grotere AI-data in het GPU- of hostgeheugen blijft.
Gemeten winst en grenzen van de workloads
Ennio Pastore, directeur van het AI-platform bij Multiverse Computing, zei dat gedistribueerde KV-caching met Valkey het bedrijf in staat stelde 50% meer aanvragen op dezelfde GPU’s af te handelen en tegelijk de doelstelling van één seconde voor de mediane tijd tot het eerste token te halen. De mediane latentie tot het eerste token daalde met 23% bij normaal verkeer en met 95% tijdens piekverkeer. Multiverse droeg ook verbeteringen aan de LMCache-connector bij, bedoeld om gedistribueerde caching robuuster te maken.
In de synthetische benchmark die in het technische artikel van Valkey wordt beschreven, werden 100 gelijktijdige gesprekken gebruikt, met een context van 12.000 tot 28.000 tokens. Die kwamen neer op 8 aanvragen per seconde, verdeeld over twee GPU-knooppunten met elk acht H100-versnellers. De knooppunten verwerkten Llama-3.1-70B via vLLM en LMCache, met een Valkey 9-cluster met drie shards in dezelfde beschikbaarheidszone als de gedeelde cache. Het project mat ongeveer 25% meer aanvragen en ongeveer 28% meer uitvoertokens, terwijl de cache de GPU-kosten met ongeveer 15% verhoogde.
De test- en implementatierichtlijnen van Valkey geven duidelijke grenzen aan: de gedeelde cache levert weinig voordeel op wanneer de werkset al in het GPU- en hostgeheugen past of wanneer aanvragen geen terugkerende context bevatten. Ook kan de cache geen extra GPU-rekencapaciteit creëren wanneer de prefill van nieuwe tokens de bottleneck vormt. Aanbevolen wordt de cache in dezelfde beschikbaarheidszone als het GPU-cluster te plaatsen, omdat deze deel uitmaakt van het pad naar het eerste token en verkeer tussen zones latentie en overdrachtskosten kan veroorzaken.
Minder geheugen- en netwerkoverhead
Naast AI-caching richt versie 9.2 zich op de infrastructuurkosten van de datastore zelf. Opt-in snapshots zonder fork en volledige synchronisaties van replica’s gebruiken een achtergrondthread in plaats van een afzonderlijk serverproces te starten. Zo wordt de geheugenoverhead door copy-on-write voorkomen tijdens schrijfintensieve workloads. De infrastructuur voegt vier bytes per sleutel toe, en het prefer-forkless beleid schakelt indien nodig terug op fork.
Compressie voor replicatie die continu plaatsvindt, wordt afzonderlijk met elke replica overeengekomen. Oudere replica’s en replica’s waarvoor deze optie is uitgeschakeld, blijven daardoor onbewerkte tekst ontvangen. Volgens het releasebericht van Valkey verminderde LZ4 in een benchmark met 3 miljoen sleutels van elk ongeveer 315 bytes de replicatiebandbreedte met 52%, bij minder dan 1% overhead voor de doorvoer. Compressie van snapshots over de volledige stream ondersteunt LZ4 en Zstandard. Voor Zstandard is een buildoptie nodig; deze methode is vooral bedoeld voor replicatie tussen regio’s, waar de netwerkkosten hoog zijn in verhouding tot de rekenkosten.
Grote gesorteerde verzamelingen gebruiken nu een B+-tree in plaats van een skiplist. Valkey meldt dat de geheugenoverhead per element in een test met 5 miljoen elementen van 20 bytes met 36% tot 43% daalde. Andere operationele toevoegingen zijn onder meer detectie van veelgebruikte sleutels aan de serverzijde, herbruikbare toegangscontrolerollen, prioriteitsafhandeling voor clusterhartslagen en replicatie, gereserveerde beheerverbindingen en optionele beperking van schrijfbewerkingen wanneer een replica achterloopt.
In het releaseoverzicht van 9.2.0 staat dat dit de eerste stabiele release van versie 9.2 is. Op de downloadpagina staan Docker-tags en platformspecifieke binaire bestanden. Valkey omschrijft versie 9.2 als een kleine release zonder ingrijpende wijzigingen, maar waarschuwt dat basisbestanden van append-onlybestanden die met LZ4- of Zstandard-compressie zijn geschreven, een compatibele Valkey-versie vereisen als een beheerder later teruggaat naar een oudere versie.
Valkey 9.2 verbindt twee aspecten van de economie van inferentie: het terugwinnen van GPU-capaciteit die verloren gaat door herhaalde prefill en het verminderen van de geheugen- en netwerkoverhead van de datalaag. Voor beheerders die de nieuwe cachelaag beoordelen, laten de beschreven resultaten zien dat de meerwaarde afhangt van hergebruik van workloads en druk door het verwijderen van cachegegevens. Er geldt een duidelijke bovengrens wanneer de prefill van nieuwe tokens de beschikbare GPU-rekencapaciteit al volledig benut.












