एआई मॉडल और प्लेटफ़ॉर्म
लंबे संदर्भ वाले AI के लिए Supermicro ने साझा KV कैश स्टोरेज लॉन्च किया
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Supermicro ने 5 नवंबर 2026 को IBM और NVIDIA के साथ मिलकर KV कैश स्टोरेज समाधान की घोषणा की, जिसे पुनः उपयोग योग्य AI अनुमान-संदर्भ को GPU मेमोरी से आगे साझा स्टोरेज में ले जाने के लिए तैयार किया गया है। कंपनियों के अनुसार, संयुक्त परीक्षण में 130,000 टोकन वाले प्रॉम्प्ट पर पहला टोकन आने तक का समय 56 गुना तक तेज़ रहा।
इस समाधान में AMD EPYC 9005 प्रोसेसर वाले Supermicro Petascale ऑल-फ़्लैश स्टोरेज सर्वर, IBM Storage Scale सॉफ़्टवेयर, NVIDIA का Dynamo इन्फ़रेंस फ़्रेमवर्क और Spectrum-X Ethernet नेटवर्किंग शामिल हैं। इसे कई चरणों वाली बातचीत और एजेंट-आधारित ऐप्लिकेशन, कोडिंग असिस्टेंट, मल्टीमॉडल AI और लंबे संदर्भ वाली रिट्रीवल-ऑगमेंटेड जनरेशन के लिए बनाया गया है। बड़े कोडबेस, दस्तावेज़, छवियाँ और बातचीत का इतिहास इतना अधिक की-वैल्यू डेटा तैयार कर सकते हैं कि उसे GPU और CPU मेमोरी में बनाए रखना संभव न हो।
अलग-अलग अनुरोधों में संदर्भ का पुनः उपयोग
प्रीफ़िल प्रक्रिया टोकन में बदले गए प्रॉम्प्ट को मॉडल द्वारा इस्तेमाल की जाने वाली मध्यवर्ती की-वैल्यू अवस्थाओं में बदलती है। इन अवस्थाओं को सुरक्षित रखने से बाद के अनुरोध संदर्भ की दोबारा गणना करने के बजाय उसका पुनः उपयोग कर सकते हैं। इस आर्किटेक्चर में उच्च उपलब्धता वाला स्टोरेज स्तर है, जिसे GPU नोड और क्लस्टर साझा रूप से इस्तेमाल कर सकते हैं। साथ ही, कैश क्षमता को बिना कामकाज बाधित किए बढ़ाया जा सकता है।
Dynamo कैश की जानकारी के आधार पर रूटिंग करता है, प्रीफ़िल को डिकोड से अलग रखता है और अपने KV Block Manager तथा NIXL ट्रांसफ़र लाइब्रेरी के ज़रिए कैश किए गए ब्लॉक को स्टोरेज में भेजता है। IBM Storage Scale Erasure Coding Edition, NVIDIA की मेमोरी पदानुक्रम में साझा G4 स्टोरेज स्तर उपलब्ध कराता है।
बेंचमार्क के नतीजे और परीक्षण की शर्तें
एक IBM Redbooks का संदर्भ आर्किटेक्चर, जिसे 5 जून 2026 को प्रकाशित और 20 अगस्त 2026 को अंतिम बार अद्यतन किया गया था, 130,000 टोकन पर GPU के ज़रिए दोबारा गणना के लिए 32.14 सेकंड और स्टोरेज-समर्थित कैश का उपयोग करने पर 0.570 सेकंड का समय दर्ज करता है। लॉन्च का आधार ये पहले से मौजूद माप हैं, न कि नवंबर में प्रकाशित कोई नया अध्ययन।
200 अनुरोधों के एक अलग परीक्षण में एक साथ 28 कनेक्शन इस्तेमाल किए गए। इसके लिए 100 अलग-अलग प्रॉम्प्ट लिए गए, जिनमें कुल 24 मिलियन टोकन और 825 GB KV कैश डेटा था। Redbook के अनुसार, थ्रूपुट 0.19 से बढ़कर 4.26 अनुरोध प्रति सेकंड हो गया और कुल प्रोसेसिंग समय 1,048.56 से घटकर 46.94 सेकंड रह गया। शुरुआत में कैश खाली था, इसलिए पूरे परीक्षण का औसत उस शुरुआती अवधि को भी शामिल करता है, जब पुनः उपयोग धीरे-धीरे बढ़ रहा था।
अन्य उपयोगकर्ताओं के नेटवर्क पर भार डालने वाले परीक्षण में चार अन्य क्लाइंट ने 200 GB/s का प्रतिस्पर्धी नेटवर्क इनपुट/आउटपुट ट्रैफ़िक उत्पन्न किया। कैश वाले सिस्टम ने 3.6 अनुरोध प्रति सेकंड की गति बनाए रखी और 200 अनुरोध 55.56 सेकंड में पूरे किए। Redbook के अनुसार, साफ़ नेटवर्क पर कैश वाले परीक्षण के नतीजे की तुलना में थ्रूपुट 18% कम था।
इन्फ़रेंस के सभी माप एक Supermicro GPU क्लाइंट नोड से लिए गए, जिसमें चार NVIDIA RTX PRO 6000 GPU थे और जो आठ नोड वाले Petascale स्टोरेज क्लस्टर से जुड़ा था। सॉफ़्टवेयर स्टैक में Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf और openai/gpt-oss-120b मॉडल का इस्तेमाल किया गया। साझा G4 स्तर का अलग से परीक्षण करने के लिए GPU मेमोरी और सिस्टम DRAM वाले कैश स्तर बंद रखे गए।
नेटवर्क क्षमता और तैनाती का आकार तय करना
परीक्षण के स्पाइन-लीफ़ नेटवर्क में तीन Spectrum-X SN5600 स्विच थे। Redbook के अनुसार, क्लाइंट तक उपलब्ध बैंडविड्थ 80 GB/s तक थी, जबकि आठ नोड वाले स्टोरेज सिस्टम ने 315 GB/s तक की रीड थ्रूपुट हासिल की। इस तरह, कॉन्फ़िगरेशन की सीमा स्टोरेज स्तर की पूरी रीड क्षमता नहीं, बल्कि क्लाइंट-साइड नेटवर्किंग थी।
Redbook के आकार-निर्धारण के उदाहरणों में छोटे प्रूफ़-ऑफ़-कॉन्सेप्ट परिनियोजन के लिए चार स्टोरेज नोड, परीक्षण किए गए मध्यम कॉन्फ़िगरेशन के लिए आठ और बड़े AI फ़ैक्टरी के लिए 16 या इससे अधिक नोड इस्तेमाल किए गए हैं। उपयुक्त डिज़ाइन तय करने में क्षमता, बैंडविड्थ, एक साथ काम करने वाले अनुरोधों की संख्या, मॉडल का आकार और वर्कलोड—सभी का असर पड़ता है। Supermicro का कहना है कि फ़ैक्टरी में रैक को एकीकृत करने और साइट पर तैनाती की उसकी सेवाएँ तैनाती का समय हफ़्तों से घटाकर दिनों तक ला सकती हैं।
इस लॉन्च के ज़रिए पहले से दस्तावेज़ीकृत और संयुक्त रूप से सत्यापित आर्किटेक्चर को तैनाती के लिए पैकेज किया गया है। हालांकि, इससे मिलने वाले लाभ एक खास मॉडल, प्रॉम्प्ट के मिश्रण, समवर्ती अनुरोधों के स्तर और नेटवर्क पर निर्भर हैं। तैनाती में मुख्य सवाल यह है कि क्या स्टोरेज क्षमता और क्लाइंट बैंडविड्थ, संदर्भ के वास्तविक पुनः उपयोग की मांग के अनुरूप हैं। यदि क्लाइंट नेटवर्क डेटा नहीं पहुँचा सकता, तो स्टोरेज की अतिरिक्त रीड क्षमता से इन्फ़रेंस में सुधार नहीं होगा।
