एआई मॉडल और प्लेटफ़ॉर्म
AI इन्फ़रेंस के लिए वितरित KV कैशिंग के साथ Valkey 9.2 लॉन्च

मुख्य बिंदुवितरित KV कैशिंग अनुमान इंजनों को प्रीफ़िल के दौरान प्रॉम्प्ट टेंसरों को पुनः गणना करने…
और देखें
- वितरित KV कैशिंग अनुमान इंजनों को प्रीफ़िल के दौरान प्रॉम्प्ट टेंसरों को पुनः गणना करने के बजाय पुनः उपयोग करने देती है।
- मल्टीवर्स कंप्यूटिंग ने अपने प्रथम-टोकन विलंबता लक्ष्य को पूरा करते हुए उन्हीं GPU पर 50% अधिक अनुरोधों को सेवा प्रदान की।
- साझा कैश बहुत कम लाभ प्रदान करता है जब कार्यशील सेट पहले से ही GPU और होस्ट मेमोरी में फिट होता है।
Valkey ने 19 नवंबर 2026 को संस्करण 9.2 जारी किया, जिसमें AI इन्फ़रेंस के लिए वितरित की-वैल्यू कैशिंग भी शामिल है। परियोजना की साथ में जारी घोषणा के अनुसार, साझा कैश मौजूदा GPU बुनियादी ढाँचे पर इन्फ़रेंस का खर्च 40% तक और जवाब का पहला टोकन आने का इंतज़ार 80% तक घटा सकता है।
20 अक्टूबर 2026 को प्रकाशित Valkey की तकनीकी पोस्ट में GPU और होस्ट मेमोरी से आगे की एक साझा कैश परत का वर्णन है। यह उन की-वैल्यू टेंसरों को संग्रहीत करती है जो किसी मॉडल द्वारा प्रॉम्प्ट के निर्देशों, टूल की परिभाषाओं और बातचीत के इतिहास को संसाधित करने पर बनते हैं। इन्फ़रेंस इंजन बार-बार आने वाले संदर्भ के लिए इन टेंसरों को प्रीफ़िल के दौरान दोबारा गणना करने के बजाय फिर से इस्तेमाल कर सकते हैं। प्रीफ़िल, नया आउटपुट तैयार होने से पहले की संसाधन प्रक्रिया है। GPU सर्वरों में इस परत को साझा करने से कोई भी नोड ऐसी बातचीत लोड कर सकता है जिसे स्थानीय मेमोरी से हटा दिया गया हो।
ओपन-वेट मॉडल चलाने वाले स्व-प्रबंधित परिनियोजन, कॉन्फ़िगरेशन में बदलाव करके और एप्लिकेशन कोड अपडेट किए बिना, LMCache कनेक्टर के ज़रिए कैश को vLLM और SGLang जैसे इंजनों से जोड़ सकते हैं। 9.2 में जोड़ा गया नया रेडिक्स ट्री-आधारित डेटा प्रकार Path Hash सटीक खोज, सबसे लंबे उपसर्ग का मिलान और उपसर्गों का क्रमिक निरीक्षण करने की सुविधा देता है। Valkey इसे ऐसा हल्का इंडेक्स बताता है जो सबसे लंबे मेल खाते कैश्ड उपसर्ग और उसकी जगह का पता लगाता है, जबकि AI का बड़ा डेटा GPU या होस्ट मेमोरी में रहता है।
मापे गए लाभ और कार्यभार की सीमाएँ
Multiverse Computing के AI प्लेटफ़ॉर्म निदेशक Ennio Pastore ने कहा कि Valkey की वितरित KV कैशिंग से कंपनी उन्हीं GPU पर 50% अधिक अनुरोध पूरे कर पाई और पहले टोकन तक के औसत समय के लिए अपना एक सेकंड का लक्ष्य भी पूरा किया। सामान्य ट्रैफ़िक में पहले टोकन तक पहुँचने की माध्यिका विलंबता 23% और चरम ट्रैफ़िक में 95% घटी। Multiverse ने LMCache कनेक्टर में ऐसे सुधारों का भी योगदान दिया जिनका उद्देश्य वितरित कैशिंग को अधिक लचीला बनाना था।
Valkey की तकनीकी पोस्ट में बताए गए कृत्रिम बेंचमार्क में 100 समवर्ती बातचीत शामिल थीं, जिनमें संदर्भ की लंबाई 12,000 से 28,000 टोकन तक थी। दो GPU नोडों पर, जिनमें प्रत्येक के पास आठ H100 एक्सेलरेटर थे, प्रति सेकंड 8 अनुरोध आए। नोडों ने vLLM और LMCache के ज़रिए Llama-3.1-70B चलाया और साझा कैश वाले उसी उपलब्धता क्षेत्र में तीन शार्ड वाला Valkey 9 क्लस्टर इस्तेमाल किया। परियोजना ने लगभग 25% अधिक अनुरोध और लगभग 28% अधिक आउटपुट टोकन मापे, जबकि कैश से GPU का बिल लगभग 15% बढ़ा।
Valkey की परीक्षण और परिनियोजन संबंधी मार्गदर्शिका कुछ स्पष्ट सीमाएँ बताती है: अगर कार्यशील डेटा पहले से ही GPU और होस्ट मेमोरी में समा जाता है या अनुरोधों में संदर्भ बार-बार नहीं आता, तो साझा कैश का लाभ बहुत कम होता है। नया-टोकन प्रीफ़िल अड़चन बनने पर यह GPU कंप्यूट क्षमता भी पैदा नहीं कर सकता। कैश को GPU फ़्लीट वाले ही उपलब्धता क्षेत्र में रखने की सलाह दी गई है, क्योंकि यह पहले टोकन तक पहुँचने की प्रक्रिया का हिस्सा है और अलग-अलग क्षेत्रों के बीच ट्रैफ़िक से विलंबता तथा डेटा-हस्तांतरण शुल्क बढ़ सकते हैं।
मेमोरी और नेटवर्क पर कम भार
AI कैशिंग के अलावा, संस्करण 9.2 का लक्ष्य डेटा स्टोर के अपने बुनियादी ढाँचे की लागत घटाना भी है। वैकल्पिक रूप से चालू किए जा सकने वाले बिना फ़ॉर्क वाले स्नैपशॉट और पूर्ण प्रतिकृति-सिंक्रनाइज़ेशन, अलग सर्वर प्रक्रिया बनाने के बजाय बैकग्राउंड थ्रेड का इस्तेमाल करते हैं। इससे लेखन-प्रधान कार्यों के दौरान कॉपी-ऑन-राइट मेमोरी का अतिरिक्त भार नहीं पड़ता। बुनियादी ढाँचे में हर की पर चार बाइट जुड़ते हैं, और prefer-forkless ज़रूरत पड़ने पर नीति फ़ॉर्क पर लौट आती है।
निरंतर प्रतिकृति के लिए संपीड़न पर हर प्रतिकृति के साथ अलग-अलग सहमति तय की जाती है, इसलिए पुराने या संपीड़न से बाहर रखे गए प्रतिकृतियों को सादा पाठ मिलता रहता है। Valkey की रिलीज़ पोस्ट के अनुसार, लगभग 315 बाइट की 3 मिलियन कीज़ वाले बेंचमार्क में LZ4 ने थ्रूपुट पर 1% से कम अतिरिक्त भार डालते हुए प्रतिकृति बैंडविड्थ 52% घटाई। पूरे स्ट्रीम वाले स्नैपशॉट का संपीड़न LZ4 और Zstandard, दोनों का समर्थन करता है। Zstandard के लिए बिल्ड के समय एक विकल्प चालू करना पड़ता है। इसे खास तौर पर अलग-अलग क्षेत्रों के बीच प्रतिकृति के लिए उपयोगी बताया गया है, जहाँ कंप्यूट की तुलना में नेटवर्क की लागत अधिक होती है।
बड़े सॉर्टेड सेट अब स्किपलिस्ट के बजाय B+ ट्री का इस्तेमाल करते हैं। Valkey के अनुसार, 5 मिलियन सदस्यों वाले एक परीक्षण में—जिसके प्रत्येक सदस्य में 20-बाइट के एलिमेंट थे—हर सदस्य पर मेमोरी का अतिरिक्त उपयोग 36% से 43% तक घटा। संचालन संबंधी अन्य नई सुविधाओं में सर्वर-साइड हॉट-की पहचान, दोबारा इस्तेमाल की जा सकने वाली एक्सेस-कंट्रोल भूमिकाएँ, क्लस्टर हार्टबीट और प्रतिकृति के लिए प्राथमिकता-आधारित प्रबंधन, प्रशासनिक कनेक्शनों के लिए आरक्षित क्षमता और प्रतिकृति पीछे रह जाने पर वैकल्पिक लेखन-गति सीमा शामिल हैं।
9.2.0 रिलीज़ रिकॉर्ड इसे 9.2 की पहली स्थिर रिलीज़ बताता है, और डाउनलोड पृष्ठ पर Docker टैग तथा प्लेटफ़ॉर्म-विशिष्ट बाइनरी फ़ाइलें सूचीबद्ध हैं। Valkey के अनुसार, 9.2 एक मामूली रिलीज़ है जिसमें ऐसे बदलाव नहीं हैं जो पहले की संगतता तोड़ें। हालाँकि, वह चेतावनी देता है कि LZ4 या Zstandard संपीड़न के साथ लिखी गई ऐड-ओनली फ़ाइलों के लिए, बाद में पुराने संस्करण पर लौटने पर संगत Valkey संस्करण की ज़रूरत होगी।
Valkey 9.2 इन्फ़रेंस की अर्थव्यवस्था के दो पहलुओं को जोड़ता है: बार-बार प्रीफ़िल करने से खोई GPU क्षमता वापस पाना और डेटा परत की मेमोरी तथा नेटवर्क का अतिरिक्त भार घटाना। नई परत का मूल्यांकन कर रहे ऑपरेटरों के लिए, दस्तावेज़ में दिए गए नतीजे बताते हैं कि इसका लाभ कार्यभार में डेटा के दोबारा इस्तेमाल और मेमोरी से डेटा हटाए जाने के दबाव पर निर्भर करता है। साथ ही, इसकी एक स्पष्ट सीमा है: अगर नया-टोकन प्रीफ़िल पहले से ही उपलब्ध GPU कंप्यूट क्षमता का पूरा इस्तेमाल कर रहा हो, तो इससे आगे लाभ नहीं मिल सकता।












