Z.ai विवरण GLM-5.3-Flash इन्फ़रेंस, 100,000 चीनी चिप्स पर निर्मित

Z.ai ने 17 सितंबर 2026 को एक तकनीकी विवरण प्रकाशित किया, जिसमें बताया गया कि उसने अपने GLM-5.3-Flash मॉडल के लिए शून्य से 100,000 से अधिक चीनी निर्मित AI एक्सेलेरेटर क्लस्टर पर एक पूर्ण उत्पादन-ग्रेड इन्फ़रेंस सेवा कैसे बनाई। कंपनी के अनुसार, अधिकांश कार्य GLM-5.3 द्वारा संचालित एक Infra एजेंट द्वारा किया गया, न कि केवल इन्फ्रास्ट्रक्चर इंजीनियरों द्वारा, और GLM-5.3-Flash की सभी उत्पादन इन्फ़रेंस इस सिस्टम पर चलती हैं।

Z.ai ने कहा कि पहले किसी ने इस पैमाने पर चीनी निर्मित एक्सेलेरेटर क्लस्टर नहीं चलाया था। कंपनी ने अपेक्षाकृत सीमित ऑन-चिप मेमोरी क्षमता और बैंडविड्थ, एक नई मॉडल आर्किटेक्चर, 1M-टोकन कॉन्टेक्स्ट विंडो, और मल्टीमॉडल अनुरोधों, साथ ही एक अपरिपक्व इकोसिस्टम का उल्लेख किया, जिसमें कर्नेल समर्थन अधूरा था और इंजीनियरों को उस व्यवहार का अनुमान लगाना पड़ता था जो दस्तावेज़ित होना चाहिए था।

GLM-5.3-Flash 26 अगस्त 2026 को लॉन्च किया गया GLM-5 श्रृंखला का पहला मूल रूप से मल्टीमॉडल मॉडल है, जिसमें 320 अरब कुल पैरामीटर और 18 अरब सक्रिय पैरामीटर एक हाइब्रिड आर्किटेक्चर के तहत हैं जो स्पार्स और लीनियर अटेंशन को संयोजित करता है। रिलीज़ से पहले, Z.ai ने मॉडल को OpenCode और OpenRouter पर गुमनाम रूप से ox-alpha के रूप में परीक्षण किया, और कंपनी ने कहा कि लॉन्च के एक सप्ताह के भीतर यह दोनों प्लेटफ़ॉर्म पर सबसे अधिक उपयोग किया गया मॉडल बन गया, जिसने छह दिनों में 62 ट्रिलियन से अधिक टोकन प्रोसेस किए।

डेंस फीडबैक विधि

खाते के केंद्र में एक सिस्टम समस्या है: एंड-टू-एंड मीट्रिक्स एजेंट को बता सकते हैं कि परिणाम खराब हुए हैं, लेकिन कारण नहीं। एक असफल संख्यात्मक शुद्धता परीक्षण, टाइम-टू-फ़र्स्ट-टोकन में 30% वृद्धि, या आउटपुट थ्रूपुट में 20% गिरावट यह नहीं दर्शाती कि कौन सी लेयर जिम्मेदार है या अगला क्या परीक्षण किया जाए। Z.ai का उत्तर, जिसे वह डेंस फीडबैक कहता है, शुद्धता परीक्षणों, रनटाइम लॉग, निष्पादन ट्रेस, रनटाइम इवेंट, माइक्रोबेंचमार्क और एंड-टू-एंड मीट्रिक्स को दोहराने योग्य कार्यप्रवाहों में सम्मिलित करता है, जिससे एजेंट प्रत्येक परिकल्पना को स्थानीय रूप से सत्यापित कर सके, बजाय हर परिवर्तन के बाद पूर्ण डिप्लॉयमेंट और लोड टेस्ट का इंतजार करने के।

कंपनी इस प्रकार के फीडबैक के लिए तीन आवश्यक गुण परिभाषित करती है। यह स्थानीय होना चाहिए, जहाँ संभव हो, विशिष्ट लॉन्च पैरामीटर, कोड परिवर्तन, कर्नेल, इनपुट शर्तें, थ्रेड, निष्पादन अंतराल, या कोड पाथ से जुड़ा होना चाहिए। इसे प्राप्त करने में कम लागत और समयसापेक्ष होना चाहिए। और इसे रेफ़रेंस इम्प्लीमेंटेशन और नियंत्रित प्रयोगों के माध्यम से वस्तुनिष्ठ सत्यापन का समर्थन करना चाहिए, क्योंकि केवल देखी गई सहसंबंध स्वयं मूल कारण स्थापित नहीं करते।

लॉन्च लूप में, जैसा कि खाता वर्णन करता है, इंजीनियरों ने उद्देश्यों और सिस्टम सीमाओं को परिभाषित किया और संख्यात्मक अर्थ, समकालिकता व्यवहार, और उत्पादन जोखिम से जुड़े महत्वपूर्ण परिवर्तन की समीक्षा की, जबकि एजेंट ने विश्लेषण, परिकल्पनाएँ और कोड परिवर्तन संभाले। उन्होंने जो स्टैक संयुक्त रूप से अनुकूलित किया, उसमें लीनियर अटेंशन और LM हेड के लिए इंट्रा-नोड टेंसर पैरेललिज़्म, ReplaySSM, W8A8 क्वांटाइज़ेशन, मिश्रित-प्रिसीजन INT8/FP8/BF16 कैश क्वांटाइज़ेशन, और लेयर स्प्लिट शामिल थे, जो Encode-Prefill-Decode डिसएग्रीगेटेड आर्किटेक्चर के तहत था।

तीन इंजीनियरिंग केस

पहला केस संख्यात्मक शुद्धता से संबंधित है। विभाजित और अविभाजित कर्नेल निष्पादन पाथ की तुलना करने वाली वैलिडेशन ने KDA कर्नेल के कॉन्टेक्स्ट पैरालेलिज़्म पाथ में एक शुद्धता समस्या उजागर की: tl.dot ऑपरेशन ने इनपुट FP32 होने पर भी डिफ़ॉल्ट रूप से TF32 गणना की, जिससे राज्य मर्जिंग के दौरान त्रुटियाँ जमा हुईं और कॉन्टेक्स्ट लंबाई बढ़ने पर बढ़ती गईं। समाधान ने इनपुट प्रिसीजन को स्पष्ट रूप से tf32x3 सेट किया, जो तीन TF32 टेंसर कोर ऑपरेशन्स का उपयोग करके उच्च-प्रिसीजन परिणाम देता है।

खाते के अनुसार, सुधारों को Flash Linear Attention में अपस्ट्रीम मर्ज किया गया। पुल अनुरोध, जो 27 अगस्त 2026 को खोला और मर्ज किया गया, state-update और transformation-merging कर्नेल में tf32x3 अफाइन चेन को एक ऑप्ट-इन शुद्धता पाथ के रूप में लागू करता है, कॉन्टेक्स्ट पैरालेलिज़्म परीक्षण जोड़ता है, और tf32 समर्थन न रखने वाले प्लेटफ़ॉर्म (AMD, NPU, और कंप्यूट क्षमता 8.0 से नीचे के NVIDIA GPU) पर स्पष्ट रूप से ieee प्रिसीजन पर वापस जाता है।

दूसरा केस KV ट्रांसफ़र समकालिकता बाधा से संबंधित है। खाते के अनुसार, इंजीनियरों ने एक स्वीकृति मानदंड निर्धारित किया कि समान कार्यभार के तहत, प्रीफ़िल प्लस KV ट्रांसफ़र को प्रीफ़िल-केवल बेसलाइन से 5% के भीतर चलना चाहिए। एजेंट ने कुछ परिदृश्यों में 20% से अधिक अंतर पाया और उन्हें DeepEP v1.2.1 तक ट्रेस किया, जिसमें न तो intranode_dispatch न तो intranode_combine कॉल स्पष्ट रूप से Python GIL को रिलीज़ करता था। जब तक ये कॉल लॉक रखती थीं, उसी प्रक्रिया में Mooncake Transfer Python थ्रेड समय पर GIL प्राप्त नहीं कर पाता, इसलिए ट्रांसफ़र कार्यों का शेड्यूलिंग और सबमिशन स्लिप हो जाता और गणना के साथ ओवरलैप घट जाता। खाता नोट करता है कि उसी संस्करण में internode_dispatch ने पहले ही GIL को रिलीज़ कर दिया था, एक कोड टिप्पणी के साथ जिसमें लिखा था कि उद्देश्य CPU के इंतजार के दौरान अन्य थ्रेड में KV ट्रांसफ़र को ब्लॉक करने से बचना था। सुधार ने संबंधित C++ निष्पादन अंतराल के दौरान GIL को रिलीज़ करने के बाद, खाता रिपोर्ट करता है कि समान परीक्षण शर्तों में अंतर 1% से नीचे गिर गया।

तीसरा मामला कर्नेल प्रदर्शन से संबंधित है। Z.ai ने एजेंट को SGLang, Flash Linear Attention, और DeepGEMM सहित विभिन्न प्रोजेक्ट्स में हाथ से लिखे कर्नेल से तकनीकों को निकालकर पुन: उपयोग योग्य अनुकूलन कंकाल में संकलित किया, जिसमें प्रयोज्यता शर्तें, रूपांतरण विधियाँ, संसाधन प्रतिबंध, और सत्यापन प्रमाण शामिल हैं। एक प्रतिनिधि KDA Decode कर्नेल पर, कंपनी ने बताया कि एजेंट की विभाजन अनुकूलन ने निष्पादन समय को 9.6 % तक घटा दिया। प्रतिक्रिया से पता चला कि गणना मुख्य बाधा थी, इसलिए एजेंट ने कर्नेल के V-आयाम टाइल्स को मिलाया, जिनमें समान FP32 सामान्यीकरण और गेटिंग गणनाएँ चार बार दोहराई जा रही थीं, और उन्हें एकल थ्रेड ब्लॉक में रजिस्टर-आधारित मध्यवर्ती परिणामों और एक वार्प-स्तरीय कमी के साथ संयोजित किया, जिससे कंपनी ने बताया कि यह पूर्व संस्करण की तुलना में 1.71 गुना गति वृद्धि प्रदान करता है।

घोषित परिणाम और पुनरावर्ती स्व‑सुधार

Z.ai ने बताया कि GLM-5.3-Flash प्रारंभिक मॉडल अनुकूलन से उत्पादन तैयार होने तक दो हफ्तों से कम समय में पहुँच गया, और अंत‑से‑अंत थ्रूपुट अंततः प्रारंभिक बेसलाइन की तुलना में तीन गुना हो गया। कंपनी ने यह भी कहा कि हार्डवेयर उपयोग दक्षता और प्रति‑टोकन लागत मुख्यधारा के NVIDIA GPU के स्तर के बराबर हो गई है।

कंपनी इस प्रयास को पुनरावर्ती स्व‑सुधार का एक प्रारंभिक उदाहरण मानती है, यह दर्शाते हुए कि मॉडल ने उस इन्फ़रेंस सिस्टम को अनुकूलित करने में भाग लिया जिस पर वह चलता है। साथ ही, Z.ai ने कहा है कि वह अभी तक पुनरावर्ती स्व‑सुधार तक नहीं पहुँचा है, और लक्ष्य चुनना, सीमाएँ निर्धारित करना, तथा जोखिम का आकलन करना मानव जिम्मेदारियाँ हैं जिन्हें वह मानता है कि मनुष्य को ही जारी रखना चाहिए।