रिपोर्ट्स
इन्फरेंस इकॉनॉमिक्स स्कोरकार्ड ने एआई प्रदर्शन मापने के पैमाने के रूप में जीपीयू उपयोगिता को चुनौती दी

मुख्य बिंदुGPU उपयोग उत्पादक आउटपुट को महँगे संदर्भ पुनर्निर्माण से अलग नहीं कर सकता।
और देखें
- GPU उपयोग उत्पादक आउटपुट को महँगे संदर्भ पुनर्निर्माण से अलग नहीं कर सकता।
- स्कोरकार्ड चिप गतिविधि के बजाय उपयोगी थ्रूपुट को बिजली, रैक स्थान और लागत के मुकाबले मापता है।
- साझा NVMe कैश ने बेंचमार्क में संदर्भ पुनर्गणना को प्रीफ़िल चक्रों के 6.8% तक घटा दिया।
जीपीयू का लगातार व्यस्त रहना इस बात की गारंटी नहीं कि वह उत्पादक काम भी कर रहा है। यही तर्क इन्फरेंस इकॉनॉमिक्स स्कोरकार्ड के पीछे है—NAND Research और WEKA का नया शोध, जो उत्पादन में चल रहे एआई के बुनियादी ढाँचे का आकलन करने का अधिक व्यापक तरीका सुझाता है।
यह रूपरेखा ध्यान को चिप की गतिविधि से हटाकर उस उपयोगी आउटपुट पर केंद्रित करती है, जो सेवा-लक्ष्य के भीतर दिया जाता है और जिसे बिजली, रैक की जगह तथा लागत के संदर्भ में मापा जाता है। इसकी प्रासंगिकता तब बढ़ती है, जब एआई एजेंट लंबी बातचीत जारी रखते हैं, टूल इस्तेमाल करते हैं और पहले के संदर्भ पर बार-बार लौटते हैं। इन्फरेंस सर्वर उस संदर्भ को फिर से तैयार करने में बड़ी मात्रा में कंप्यूट संसाधन खर्च कर सकता है, जबकि उसके उपयोग का डैशबोर्ड अब भी स्वस्थ स्थिति दिखा रहा हो।
घोषणा के साथ ही, WEKA Nebius के साथ NVIDIA HGX B300 हार्डवेयर पर किए गए आठ घंटे के बेंचमार्क को प्रमुखता दे रहा है और तुलना को दोहराने के लिए अन्य लोगों को वर्कलोड ट्रेस तथा टूलिंग उपलब्ध करा रहा है। यह स्कोरकार्ड प्रस्तावित मूल्यांकन रूपरेखा है, कोई स्थापित उद्योग मानक नहीं। WEKA ने इस शोध को प्रायोजित किया है; इस रूपरेखा से उसकी स्टोरेज तकनीक को लाभ मिलता है।
जीपीयू उपयोगिता बार-बार किए जाने वाले महँगे काम को कैसे छिपा सकती है
इन्फरेंस वह प्रक्रिया है जिसमें प्रशिक्षित मॉडल से उत्तर तैयार कराया जाता है। नए टोकन तैयार करने से पहले, मॉडल इनपुट और बातचीत के इतिहास को प्रीफिल नाम के चरण में संसाधित करता है। इस दौरान वह की-वैल्यू कैश, यानी KV कैश, बनाता है: ध्यान-प्रक्रिया से जुड़ा मध्यवर्ती डेटा, जो बातचीत आगे बढ़ने पर पहले की गणनाओं का दोबारा उपयोग करने देता है।
इस कैश को रखने की सबसे तेज़ जगह जीपीयू की हाई-बैंडविड्थ मेमोरी है, जिसे HBM के नाम से जाना जाता है। लेकिन HBM में मॉडल के वज़न और अन्य कामकाजी डेटा के लिए भी जगह चाहिए। लंबे सत्रों और एक साथ काम करने वाले उपयोगकर्ताओं के कारण सर्वर को जगह बनाने के लिए कैश में रखा संदर्भ हटाना पड़ सकता है।
जब उपयोगकर्ता या एजेंट दोबारा लौटता है, तो पुराना कैश न मिलने पर पुराने टोकन फिर से संसाधित करके उसे दोबारा बनाना पड़ सकता है। इसका मतलब यह नहीं कि मॉडल बातचीत को हमेशा के लिए भूल गया है। इसका मतलब है कि बुनियादी ढाँचे ने दोबारा इस्तेमाल किए जा सकने वाले निरूपण को हटा दिया है और उसे फिर से बनाने की लागत चुकानी होगी।
इससे मापन में एक पेचीदा भ्रम पैदा होता है। कल के संदर्भ को फिर से संसाधित करने से भी जीपीयू सक्रिय रहता है—ठीक वैसे ही जैसे कोई उपयोगी नया उत्तर तैयार करने से। उपयोगिता अब भी निदान के लिए एक अहम संकेत है, लेकिन इससे अकेले यह पता नहीं चलता कि ग्राहकों को कितना उत्पादक काम मिला।
इन्फरेंस इकॉनॉमिक्स स्कोरकार्ड क्या मापता है
स्कोरकार्ड में कम-से-कम आठ घंटे तक लगातार चलने वाले परीक्षणों की माँग की गई है—इतनी अवधि कि ऐसे व्यवहार सामने आ सकें जिन्हें छोटे प्रदर्शन उजागर न कर पाएँ। तुलना करते समय मॉडल, सटीकता, वर्कलोड, समवर्ती उपयोग, कैश की स्थितियाँ, गुणवत्ता की सीमा और सेवा-स्तर के लक्ष्य समान रहने चाहिए। मापन की सीमा में पूरा सर्विंग स्टैक शामिल है और कूलिंग तथा सुविधा-संबंधी अतिरिक्त खर्चों का खुलासा किया जाना चाहिए।
उपयोगी थ्रूपुट में केवल वही सफल आउटपुट गिना जाता है जो गुणवत्ता और सेवा-लक्ष्य पूरे करता हो। विफल अनुरोध, दोबारा किए गए प्रयास, समय-सीमा पार करने वाले अनुरोध और हटाया गया आउटपुट गणना से गायब होने के बजाय स्पष्ट रूप से दर्ज रहने चाहिए।
| मापदंड | इससे क्या पता चलता है |
|---|---|
| प्रति वाट टोकन | बिजली से उपयोगी मॉडल आउटपुट कितनी कुशलता से तैयार होता है। |
| प्रति रैक टोकन | भौतिक जगह की तय सीमा में तैनाती से कितना आउटपुट मिलता है। |
| प्रति इन्फरेंस लागत | पूरे सिस्टम में एक सफल अनुरोध को पूरा करने का खर्च। |
| जीपीयू का उपयोगी थ्रूपुट | चिप की कुल गतिविधि के बजाय सेवा-लक्ष्यों के भीतर दिया गया उत्पादक आउटपुट। |
| पहला टोकन आने में लगने वाला समय और शुरू से अंत तक की विलंबता | उत्तर शुरू होने और पूरा होने तक उपयोगकर्ताओं को कितना इंतज़ार करना पड़ता है। |
| मेमोरी दक्षता | सिस्टम सीमित मेमोरी क्षमता का कितनी प्रभावी ढंग से उपयोग करता है। |
| परिचालन घनत्व | तैनाती और संचालन की बाधाएँ उपयोगी क्षमता को कैसे प्रभावित करती हैं। |
| एजेंटों का समवर्ती संचालन | सिस्टम एक साथ सक्रिय कई एजेंट वर्कलोड को कितनी अच्छी तरह संभालता है। |
| संदर्भ का बना रहना | वर्कलोड बढ़ने पर सत्र के दोबारा उपयोग योग्य संदर्भ को सिस्टम कितनी प्रभावी ढंग से बनाए रखता है। |
थ्रूपुट और उपयोगी थ्रूपुट के बीच का अंतर खास तौर पर अहम है। जो सर्वर अधिक टोकन तैयार करता है, लेकिन ग्राहक के उत्तर पाने की समय-सीमा चूक जाता है, वह उस सिस्टम से कम उपयोगी हो सकता है जो देखने में धीमा लगे, पर लगातार समय-सीमा पूरी करे। इसी तरह, बड़ा कैश तभी आर्थिक रूप से आकर्षक है, जब उससे मिलने वाला लाभ अतिरिक्त स्टोरेज, नेटवर्किंग और संचालन के खर्च से अधिक हो।
साझा स्टोरेज KV कैश की क्षमता कैसे बढ़ाता है
बेंचमार्क के बारे में WEKA का तकनीकी विवरण NeuralMesh with Augmented Memory Grid का वर्णन करता है। यह दोबारा उपयोग किए जा सकने वाले KV डेटा को साझा NVMe स्टोरेज में रखता है, जो जीपीयू की अपनी मेमोरी से आगे की अतिरिक्त क्षमता देता है। NVMe एक उच्च-प्रदर्शन इंटरफ़ेस है, जिसका इस्तेमाल आम तौर पर फ्लैश ड्राइव के साथ किया जाता है।
इस डिज़ाइन में कैश ऐसा संसाधन बन जाता है जिसे सर्विंग इंफ्रास्ट्रक्चर नेटवर्क के ज़रिए प्राप्त कर सकता है, बजाय इसके कि उसे बार-बार GPU पर फिर से तैयार किया जाए। RDMA यानी रिमोट डायरेक्ट मेमोरी एक्सेस और NVIDIA GPUDirect Storage, CPU की कम भागीदारी के साथ डेटा को स्टोरेज से GPU तक सीधे पहुँचाने में मदद करते हैं।
यह मौजूदा डेटा को स्थानांतरित करने और उसे फिर से गणना करके तैयार करने के बीच का चुनाव है। पर्याप्त तेज़ स्टोरेज-पथ लंबी हिस्ट्री को दोबारा बनाने के बजाय उसे प्राप्त करना कम खर्चीला बना सकता है। इसका लाभ कैश के दोबारा उपयोग, कॉन्टेक्स्ट की लंबाई, समवर्ती अनुरोधों और पूरे डेटा-पथ की गति पर निर्भर करता है; वहीं, ऐसा छोटा अनुरोध जिसकी कार्यशील डेटा पहले से ही HBM में समा जाती है, एक अलग समस्या पेश करता है।
आठ घंटे के बेंचमार्क में वास्तव में क्या मिला
Nebius और WEKA के संयुक्त परीक्षण में DeepSeek-V4-Pro चलाने वाले एक HGX B300 सर्विंग नोड का इस्तेमाल किया गया, जिसमें आठ GPU थे। परीक्षण में दोबारा चलाए गए वर्कलोड के लिए 5,000 से अधिक वास्तविक एजेंट ट्रेस इस्तेमाल किए गए, 512 सक्रिय सत्रों का एक पूल बनाए रखा गया और ऐसा शेड्यूलर इस्तेमाल किया गया जो एक साथ 32 अनुरोधों की अनुमति देता था। सक्रिय सत्र और एक साथ किए गए अनुरोध अलग-अलग माप हैं।
आठ घंटे के दौरान, WEKA के अनुसार, केवल HBM पर आधारित सर्विंग की तुलना में साझा कैश के साथ प्रति GPU-घंटा 3.7 गुना अधिक आउटपुट टोकन मिले। सफलतापूर्वक पूरे हुए अनुरोधों में से 97% को पाँच सेकंड के भीतर पहला टोकन मिला, जबकि आधार-स्थिति में यह आँकड़ा 44% था। पहले देखे जा चुके कॉन्टेक्स्ट की दोबारा गणना में आधार-स्थिति के प्रीफिल चक्रों का 60% लगा, जबकि साझा कैश के साथ यह हिस्सा 6.8% था।
अतिरिक्त कैश के लिए आठ-नोड क्लस्टर में NVMe ड्राइवों का इस्तेमाल किया गया, हालाँकि रिपोर्ट किया गया सर्विंग परिणाम केवल एक GPU नोड से आया था। इसलिए, GPU के हिसाब से सामान्यीकृत यह बढ़त कुल लागत या ऊर्जा में उतनी ही कमी साबित नहीं करती: इन गणनाओं में सहायक संसाधनों को भी शामिल करना होगा।
आधार-स्थिति भी मायने रखती है। तकनीकी विवरण के अनुसार, परीक्षण के समय इस मॉडल के लिए उपयुक्त DRAM-ऑफलोड कार्यान्वयन उपलब्ध नहीं था। ये नतीजे परीक्षण किए गए कॉन्फ़िगरेशन की तुलना केवल HBM पर आधारित सर्विंग से करते हैं; वे हर वैकल्पिक कैश आर्किटेक्चर पर इसकी श्रेष्ठता साबित नहीं करते।
खुले ट्रेस से तुलना अधिक उपयोगी बनती है
WEKA का ओपन-सोर्स kvlab प्रोजेक्ट एजेंट सत्रों की संरचना—जिसमें समय और कैश के पुनः उपयोग के पैटर्न शामिल हैं—को रिकॉर्ड करके दोबारा चलाता है, लेकिन मूल बातचीत या स्रोत-कोड की सामग्री वितरित नहीं करता। इसका लोडर NVIDIA के AIPerf टूल्स में प्रलेखित है, और घोषणा में SemiAnalysis के AgentX बेंचमार्क के साथ एकीकरण का भी उल्लेख है।
ठहराव, लगातार बढ़ती हिस्ट्री और एजेंट की संबंधित गतिविधियों को बनाए रखने से कैश पर पड़ने वाला दबाव सामने आता है, जिसे असंबंधित कृत्रिम प्रॉम्प्टों की धारा नज़रअंदाज़ कर देती। इस तरह के रीप्ले सर्विंग के व्यवहार को मापते हैं; अपने आप में वे यह साबित नहीं करते कि एजेंट ने कोई व्यावसायिक कार्य सही ढंग से पूरा किया।
व्यवसायों के लिए, इन्फ़रेंस इकॉनॉमिक्स स्कोरकार्ड का मुख्य योगदान सफलता की अधिक स्पष्ट परिभाषा है: उपलब्ध संसाधनों के भीतर, अपेक्षित गुणवत्ता और गति से उपयोगी जवाब देना। जैसे-जैसे एजेंट अधिक कॉन्टेक्स्ट का उपयोग करते हैं और लंबे समय तक चलते हैं, GPU को व्यस्त रखना केवल शुरुआती संकेत बन जाता है। व्यावसायिक रूप से अहम वह काम है जो ग्राहक तक पहुँचता है।












