Modely a platformy AI
Valkey 9.2 přichází s distribuovaným kešováním KV pro inferenci AI

Klíčové bodyDistribuované KV cachování umožňuje inferenčním engineům znovu používat tenzory promptů…
Zobrazit více
- Distribuované KV cachování umožňuje inferenčním engineům znovu používat tenzory promptů místo jejich přepočítávání během prefill.
- Multiverse Computing obsloužilo o 50 % více požadavků na stejných GPU a zároveň splnilo svůj cíl latence prvního tokenu.
- Sdílená cache přináší jen malý užitek, když se pracovní sada již vejde do paměti GPU a hostitele.
Valkey vydal verzi 9.2 19. listopadu 2026 spolu s distribuovaným kešováním klíč-hodnota pro inferenci AI. Doprovodné oznámení projektu uvádí, že sdílená mezipaměť může na stávající infrastruktuře GPU snížit náklady na inferenci až o 40 % a zkrátit čekání na první token odpovědi až o 80 %.
Technický příspěvek Valkey zveřejněný 20. října 2026 popisuje sdílenou mezipaměť nad rámec paměti GPU a hostitele, která ukládá tenzory klíč-hodnota generované při zpracování pokynů v promptu, definic nástrojů a historie konverzace modelem. Inferenční enginy mohou tyto tenzory znovu použít pro opakující se kontext, místo aby je znovu počítaly během fáze předzpracování (prefill), která probíhá před generováním nového výstupu. Sdílení této vrstvy mezi servery GPU umožňuje kterémukoli uzlu načíst konverzaci, kterou místní paměť vytěsnila.
Vlastní spravovaná nasazení s modely s otevřenými vahami mohou keš připojit prostřednictvím konektoru LMCache k enginům, jako jsou vLLM a SGLang, pouhou změnou konfigurace bez úprav kódu aplikace. Path Hash, nový datový typ založený na radixovém stromu ve verzi 9.2, podporuje přesné vyhledávání, hledání nejdelší shody prefixu a procházení prefixů. Valkey jej představuje jako lehký index, který vyhledá nejdelší odpovídající prefix v keši i jeho umístění, zatímco větší objem dat AI zůstává v paměti GPU nebo hostitele.
Naměřené přínosy a omezení zátěže
Ennio Pastore, ředitel platformy AI ve společnosti Multiverse Computing, uvedl, že distribuované kešování KV ve Valkey umožnilo společnosti obsloužit na stejných GPU o 50 % více požadavků a současně dodržet sekundový cíl pro medián času do prvního tokenu. Medián latence prvního tokenu klesl při běžném provozu o 23 % a při špičkovém provozu o 95 %. Multiverse také přispěla ke zdokonalení konektoru LMCache, jehož cílem je zvýšit odolnost distribuovaného kešování.
Syntetický test popsaný v technickém příspěvku Valkey zahrnoval 100 souběžných konverzací s kontextem o délce 12 000 až 28 000 tokenů, které přicházely rychlostí 8 požadavků za sekundu na dva uzly GPU, každý s osmi akcelerátory H100. Uzly obsluhovaly Llama-3.1-70B prostřednictvím vLLM a LMCache a v téže zóně dostupnosti jako sdílená keš byl nasazen tříčásticový cluster Valkey 9. Projekt naměřil přibližně o 25 % více požadavků a přibližně o 28 % více výstupních tokenů, přičemž keš zvýšila náklady na GPU asi o 15 %.
Pokyny Valkey pro testování a nasazení vymezují jasné hranice přínosu: sdílená keš přináší jen malý užitek, pokud se pracovní sada už vejde do paměti GPU a hostitele nebo pokud se v požadavcích neopakuje kontext. Nedokáže také zajistit výpočetní výkon GPU, když se úzkým hrdlem stane fáze prefill nových tokenů. Doporučuje se umístit keš do stejné zóny dostupnosti jako flotilu GPU, protože se nachází na cestě k prvnímu tokenu a provoz mezi zónami může zvýšit latenci i poplatky za přenos dat.
Nižší nároky na paměť a síť
Kromě kešování AI se verze 9.2 zaměřuje také na vlastní náklady úložiště na infrastrukturu. Volitelné snímky bez forku a úplné synchronizace replik využívají místo vytváření samostatného serverového procesu vlákno na pozadí, čímž se při intenzivním zápisu předchází režii paměti při kopírování a zápisu. Infrastruktura přidává čtyři bajty na klíč a prefer-forkless zásada se v případě potřeby vrací k použití forku.
Komprese průběžné replikace se sjednává samostatně s každou replikou, takže starší repliky nebo repliky, u nichž je tato funkce vypnutá, nadále přijímají nekomprimovaná data. Příspěvek k vydání Valkey uvádí, že v testu se 3 miliony klíčů o velikosti přibližně 315 bajtů každý snížil LZ4 šířku pásma potřebnou pro replikaci o 52 % při režii propustnosti nižší než 1 %. Komprese celého proudu snímku podporuje LZ4 a Zstandard; Zstandard vyžaduje volbu při sestavení a je určen zejména pro replikaci mezi regiony, kde jsou náklady na síť vysoké ve srovnání s náklady na výpočetní výkon.
Velké seřazené množiny nyní využívají strom B+ místo přeskakovacího seznamu. Valkey uvádí, že při testu s 5 miliony prvků obsahujících 20bajtové položky klesla režie paměti na jeden prvek o 36 až 43 %. Mezi další provozní novinky patří detekce horkých klíčů na straně serveru, opakovaně použitelné role řízení přístupu, prioritní zpracování zpráv o stavu clusteru a replikace, vyhrazená administrátorská připojení a volitelné omezení rychlosti zápisu, když replika zaostává.
Záznam o vydání 9.2.0 označuje tuto verzi za první stabilní vydání řady 9.2 a na stránce ke stažení jsou uvedeny značky Dockeru a binární balíčky pro jednotlivé platformy. Valkey popisuje verzi 9.2 jako menší vydání bez zpětně nekompatibilních změn, ale upozorňuje, že pokud správce později přejde na starší verzi, základní soubory pouze pro přidávání, vytvořené s kompresí LZ4 nebo Zstandard, vyžadují kompatibilní verzi Valkey.
Valkey 9.2 propojuje dvě stránky ekonomiky inference: obnovuje kapacitu GPU ztracenou opakovaným zpracováním fáze prefill a snižuje nároky datové vrstvy na paměť a síť. Provozovatelé, kteří zvažují nasazení této nové vrstvy, by měli vzít v úvahu, že její doložené přínosy závisí na opakovaném využívání zátěže a tlaku na vytěsňování dat z paměti. Její přínos má přitom jasnou horní hranici, pokud zpracování fáze prefill nových tokenů již spotřebovává veškerý dostupný výpočetní výkon GPU.












