Z.ai ने 100,000 चीनी निर्मित चिप्स पर GLM-5.3-Flash इन्फ़रेंस निर्माण के विवरण जारी किए

Z.ai ने 17 सितंबर 2026 को एक तकनीकी विवरण प्रकाशित किया, जिसमें बताया गया है कि उसने अपने GLM-5.3-Flash मॉडल के लिए शून्य से अधिक 100,000 चीनी निर्मित AI एक्सेलेरेटर क्लस्टर पर एक पूर्ण उत्पादन-ग्रेड इन्फ़रेंस सेवा कैसे बनाई। कंपनी के अनुसार, अधिकांश कार्य GLM-5.3 द्वारा संचालित एक इन्फ्रा एजेंट द्वारा किया गया, न कि केवल इन्फ्रास्ट्रक्चर इंजीनियरों द्वारा, और GLM-5.3-Flash की सभी उत्पादन इन्फ़रेंस इस सिस्टम पर चलती है।

Z.ai ने कहा कि पहले किसी ने भी इस पैमाने पर चीनी निर्मित एक्सेलेरेटर क्लस्टर का संचालन नहीं किया था। कंपनी ने सीमित ऑन-चिप मेमोरी क्षमता और बैंडविड्थ, नई मॉडल आर्किटेक्चर, 1M-टोकन कॉन्टेक्स्ट विंडो, और मल्टीमॉडल अनुरोधों के साथ-साथ एक अपरिपक्व इकोसिस्टम का उल्लेख किया, जहाँ कर्नेल समर्थन अधूरा था और इंजीनियरों को उन व्यवहारों का अनुमान लगाना पड़ता था जो दस्तावेज़ित होने चाहिए थे।

GLM-5.3-Flash 26 अगस्त 2026 को लॉन्च किया गया GLM-5 श्रृंखला में पहला मूल रूप से मल्टीमॉडल मॉडल है, जिसमें कुल 320 अरब पैरामीटर और 18 अरब सक्रिय पैरामीटर एक हाइब्रिड आर्किटेक्चर के तहत हैं, जो स्पार्स और लीनियर अटेंशन को मिलाता है। रिलीज़ से पहले, Z.ai ने मॉडल को OpenCode और OpenRouter पर गुमनाम रूप से ox-alpha के रूप में परीक्षण किया, और कंपनी ने कहा कि लॉन्च के एक सप्ताह के भीतर यह दोनों प्लेटफ़ॉर्म पर सबसे अधिक उपयोग किया गया मॉडल बन गया, छह दिनों में 62 ट्रिलियन से अधिक टोकन प्रोसेस किए।

घना फ़ीडबैक विधि

इस विवरण के केंद्र में एक सिस्टम समस्या है: एंड-टू-एंड मीट्रिक्स एजेंट को बता सकते हैं कि परिणाम बिगड़ गए हैं, लेकिन कारण नहीं। एक असफल संख्यात्मक सटीकता परीक्षण, टाइम‑टू‑फर्स्ट‑टोकन में 30% वृद्धि, या आउटपुट थ्रूपुट में 20% गिरावट यह नहीं दर्शाती कि कौन सी लेयर जिम्मेदार है या अगला क्या परीक्षण किया जाए। Z.ai का उत्तर, जिसे वह घना फ़ीडबैक कहता है, सही परीक्षणों, रन‑टाइम लॉग्स, निष्पादन ट्रेसेस, रन‑टाइम इवेंट्स, माइक्रोबेंचमार्क और एंड‑टू‑एंड मीट्रिक्स को दोहराने योग्य वर्कफ़्लो में सम्मिलित करता है, जिससे एजेंट प्रत्येक परिकल्पना को स्थानीय रूप से सत्यापित कर सके, बजाय हर परिवर्तन के बाद पूर्ण डिप्लॉयमेंट और लोड टेस्ट का इंतजार करने के।

कंपनी इस प्रकार के फ़ीडबैक के लिए तीन आवश्यक गुण निर्धारित करती है। यह स्थानीय होना चाहिए, जहाँ संभव हो, विशिष्ट लॉन्च पैरामीटर, कोड परिवर्तन, कर्नेल, इनपुट शर्तें, थ्रेड, निष्पादन अंतराल या कोड पाथ से जुड़ा होना चाहिए। इसे प्राप्त करने में कम लागत और समयसापेक्ष होना चाहिए। और इसे रेफ़रेंस इम्प्लीमेंटेशन और नियंत्रित प्रयोगों के माध्यम से वस्तुनिष्ठ सत्यापन का समर्थन करना चाहिए, क्योंकि केवल देखी गई सहसंबंध स्वयं मूल कारण स्थापित नहीं करते।

लॉन्च लूप में, जैसा कि विवरण में बताया गया है, इंजीनियरों ने उद्देश्यों और सिस्टम सीमाओं को परिभाषित किया और संख्यात्मक अर्थ, समकालिकता व्यवहार, और उत्पादन जोखिम से जुड़े महत्वपूर्ण बदलावों की समीक्षा की, जबकि एजेंट ने विश्लेषण, परिकल्पनाएँ और कोड परिवर्तन संभाले। उन्होंने जो स्टैक संयुक्त रूप से अनुकूलित किया, उसमें लीनियर अटेंशन और LM हेड के लिए इंट्रा‑नोड टेंसर पैरालेलिज़्म, ReplaySSM, W8A8 क्वांटाइज़ेशन, मिश्रित‑प्रिसिशन INT8/FP8/BF16 कैश क्वांटाइज़ेशन, और लेयर स्प्लिट शामिल थे, जो Encode‑Prefill‑Decode डिसएग्रेगेटेड आर्किटेक्चर के तहत था।

तीन इंजीनियरिंग केस

पहला केस संख्यात्मक शुद्धता से संबंधित है। विभाजित और अविभाजित कर्नेल निष्पादन पाथ की तुलना करने वाले वैलिडेशन ने KDA कर्नेल के कॉन्टेक्स्ट पैरालेलिज़्म पाथ में एक सटीकता समस्या उजागर की: tl.dot ऑपरेशन अपने इनपुट FP32 होने के बावजूद डिफ़ॉल्ट रूप से TF32 गणना करता था, जिससे स्टेट मर्जिंग के दौरान त्रुटियाँ जमा हो गईं और कॉन्टेक्स्ट लंबाई बढ़ने पर बढ़ गईं। सुधार ने इनपुट प्रिसिशन को स्पष्ट रूप से tf32x3 सेट किया, जो तीन TF32 टेंसर कोर ऑपरेशन्स का उपयोग करके उच्च‑प्रिसिशन परिणाम देता है।

विवरण के अनुसार, सुधारों को Flash Linear Attention में अपस्ट्रीम मर्ज किया गया। पुल अनुरोध, जो 27 अगस्त 2026 को खोला और मर्ज किया गया, tf32x3 अफाइन चेन को स्टेट‑अपडेट और ट्रांसफ़ॉर्मेशन‑मर्जिंग कर्नेल में एक ऑप्ट‑इन सटीकता पाथ के रूप में लागू करता है, कॉन्टेक्स्ट पैरालेलिज़्म टेस्ट जोड़ता है, और tf32 समर्थन न रखने वाले प्लेटफ़ॉर्म (AMD, NPU, और कंप्यूट क्षमता 8.0 से नीचे के NVIDIA GPU) पर स्पष्ट रूप से ieee प्रिसिशन पर वापस जाता है।

दूसरा मामला KV ट्रांसफ़र की समवर्ती बाधा से संबंधित है। रिपोर्ट के अनुसार, इंजीनियरों ने एक स्वीकृति मानदंड निर्धारित किया था कि समान कार्यभार के तहत, प्रीफ़िल प्लस KV ट्रांसफ़र को प्रीफ़िल‑केवल बेसलाइन से 5% के भीतर चलना चाहिए। एजेंट ने कुछ परिदृश्यों में 20% से अधिक अंतर पाया और इसे DeepEP v1.2.1 तक ट्रेस किया, जिसमें न तो intranodeडिस्पैच या इंट्रानोडcombine कॉल ने स्पष्ट रूप से Python GIL को रिलीज़ किया। जब तक ये कॉल लॉक धारण किए रहे, उसी प्रक्रिया में Mooncake Transfer Python थ्रेड समय पर GIL प्राप्त नहीं कर सका, इसलिए ट्रांसफ़र कार्यों की शेड्यूलिंग और सबमिशन में देरी हुई और गणना के साथ ओवरलैप घट गया। रिपोर्ट में बताया गया है कि उसी संस्करण में internode_dispatch पहले ही GIL को रिलीज़ कर चुका था, कोड टिप्पणी में कहा गया था कि उद्देश्य CPU के इंतजार के दौरान अन्य थ्रेड्स में KV ट्रांसफ़र को ब्लॉक होने से बचाना था। सुधार के बाद संबंधित C++ निष्पादन अंतराल में GIL रिलीज़ होने के बाद, रिपोर्ट के अनुसार, समान परीक्षण शर्तों में अंतर 1% से नीचे गिर गया।

तीसरा मामला कर्नेल प्रदर्शन से संबंधित है। Z.ai ने एजेंट को SGLang, Flash Linear Attention, और DeepGEMM सहित परियोजनाओं में हाथ से लिखे कर्नेलों से तकनीकों को निकालकर पुन: उपयोग योग्य अनुकूलन ढाँचे में संकलित करने को कहा, जिसमें लागू होने की शर्तें, रूपांतरण विधियाँ, संसाधन प्रतिबंध, और सत्यापन प्रमाण शामिल हैं। एक प्रतिनिधि KDA Decode कर्नेल पर, कंपनी ने बताया कि एजेंट द्वारा विभाजन अनुकूलन ने निष्पादन समय को 9.6 % तक घटा दिया। प्रतिक्रिया से पता चला कि गणना मुख्य बाधा थी, इसलिए एजेंट ने कर्नेल के V-आयाम टाइल्स को मिलाया, जिनमें समान FP32 सामान्यीकरण और गेटिंग गणनाएँ चार बार दोहराई जा रही थीं, और उन्हें एकल थ्रेड ब्लॉक में रजिस्टर-आधारित मध्यवर्ती परिणामों और एक वार्प-स्तरीय कमी के साथ संयोजित किया, जिससे कंपनी के अनुसार पूर्व संस्करण की तुलना में 1.71 × की गति वृद्धि प्राप्त हुई।

घोषित परिणाम और पुनरावर्ती स्व-सुधार

Z.ai ने बताया कि GLM-5.3-Flash प्रारंभिक मॉडल अनुकूलन से उत्पादन तैयार होने तक दो हफ्तों से कम समय में पहुँच गया, और अंत‑से‑अंत थ्रूपुट अंततः प्रारंभिक बेसलाइन की तुलना में तीन गुना हो गया। कंपनी ने यह भी कहा कि हार्डवेयर उपयोग दक्षता और प्रति‑टोकन लागत मुख्यधारा के NVIDIA GPU के स्तर के बराबर पहुँच गई है।

कंपनी इस प्रयास को पुनरावर्ती स्व-सुधार का एक प्रारंभिक उदाहरण मानती है, यह दर्शाते हुए कि मॉडल ने उस अनुमान प्रणाली के अनुकूलन में भाग लिया जिस पर वह चलता है। साथ ही, Z.ai ने कहा है कि वह अभी तक पुनरावर्ती स्व-सुधार तक नहीं पहुँचा है, और उद्देश्य चुनना, सीमाएँ निर्धारित करना, तथा जोखिम का आकलन करना मानव जिम्मेदारियाँ हैं जिन्हें वह मानता है कि मनुष्य को ही जारी रखना चाहिए।