Unemployment Labs ने चीनी AI मॉडलों में Blackwell के पैटर्न की जानकारी दी

Will DePue द्वारा किया गया Unemployment Labs का विश्लेषण, जो 12 नवंबर 2026 को प्रकाशित हुआ, छह ओपन-वेट मॉडलों में NVIDIA के निर्यात-नियंत्रित Blackwell GPU के अनुरूप आरंभीकरण पैटर्न पाए जाने की बात कहता है। ये मॉडल DeepSeek, Moonshot AI, MiniMax और Ant Group के हैं।

विश्लेषण के अनुसार, DeepSeek-V4-Flash और MiniMax-M3 का आरंभीकरण B200 या B300 चिप पर हुआ, जबकि DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro और Ling-3.1-flash का आरंभीकरण GB200 या GB300 चिप पर हुआ। ये मिलान शुरुआती वेट के पीछे मौजूद हार्डवेयर लेआउट की पहचान करते हैं; उन चिप का इस्तेमाल प्रशिक्षण के लिए भी हुआ था या नहीं, यह एक अलग अनुमान है।

लगातार जारी हुए मॉडलों से इन संभावित बदलावों का समयक्रम सामने आता है। DeepSeek-V3 का परिणाम दिसंबर 2024 में Hopper लेआउट से मेल खाता था; इसके बाद अप्रैल 2026 में आए दोनों V4 मॉडलों का परिणाम Blackwell लेआउट से मेल खाया। Moonshot AI के Kimi K2.5 का परिणाम जनवरी 2026 में Hopper से मेल खाया, जबकि जुलाई 2026 में आए K3 का परिणाम इससे अलग था। MiniMax-M2.7 और M3 में भी यही क्रमशः अप्रैल 2026 और जून 2026 में देखने को मिला। Ant Group के Ling-3.0-flash और Ling-3.1-flash में यह क्रम अगस्त 2026 और अक्टूबर 2026 में दिखा।

हालाँकि, यह पैटर्न सभी में नहीं दिखा। Alibaba, Zhipu, Tencent, Xiaomi और StepFun के सबसे नए ऐसे मॉडल जिनका विश्लेषण किया जा सकता था, उनके परिणाम Blackwell के बजाय Hopper से मेल खाते थे।

आरंभीकरण से हार्डवेयर लेआउट का पता कैसे चलता है

इस तकनीक की शुरुआत वेट से होती है—ये संख्यात्मक पैरामीटर हैं, जिन्हें प्रशिक्षण के दौरान समायोजित किया जाता है। प्रशिक्षण से पहले, जाँचे गए PyTorch/cuRAND सेटअप में Philox जनरेटर का इस्तेमाल किसी सीड से दोहराए जा सकने वाले मान बनाने के लिए होता है। GPU थ्रेड इन मानों को वेट की अलग-अलग जगहों पर बाँटते हैं, और पर्याप्त बड़े आरंभीकरण में हर स्ट्रीमिंग मल्टीप्रोसेसर (SM) पर 2,048 थ्रेड इस्तेमाल होते हैं। इसलिए SM की संख्या बदलने से यह भी बदल जाता है कि वही जनरेट किए गए मान कहाँ दर्ज होते हैं।

जाँचे गए कॉन्फ़िगरेशन में Hopper H100 SXM, H200 और H800 चिप में 132 SM और 270,336 थ्रेड हैं; B200 और B300 चिप में 148 SM और 303,104 थ्रेड हैं; और GB200 तथा GB300 चिप में 152 SM और 311,296 थ्रेड हैं। किसी मिलान से इनमें से एक समूह की पहचान होती है, उस समूह के किसी खास चिप की नहीं।

प्रशिक्षण में मौजूद न रहे शब्दों या प्रतीकों के लिए आरक्षित वेट अपने शुरुआती मान लगभग हूबहू बनाए रख सकते हैं, जबकि प्रशिक्षित वेट में उन मानों से कमज़ोर सांख्यिकीय संबंध बचा रह सकता है। जाँचकर्ता वेट के एक समूह पर सीड और लेआउट चुनते हैं, फिर खोज में शामिल न किए गए अलग समूह पर उसी अपरिवर्तित संयोजन को परखते हैं।

अपने सांख्यिकीय मॉडल के आधार पर, रिपोर्ट का अनुमान है कि सीड और लेआउट के लगभग 6 ट्रिलियन संयोजनों में सबसे मज़बूत संयोगवश मिलान का अपेक्षित स्तर करीब 8 सिग्मा होगा। सिग्मा, यादृच्छिक उतार-चढ़ाव से दूरी का एक सांख्यिकीय माप है। पहचाने गए मॉडलों के सबसे मज़बूत परिणाम 49 से 1,385 सिग्मा के बीच हैं, और हर अलग-अलग परीक्षण का परिणाम कम-से-कम 20 सिग्मा तक पहुँचता है।

भौतिक परीक्षण और प्रशिक्षण के पैमाने के अनुमान

DePue द्वारा भौतिक चिप पर किए गए पुनरुत्पादन से एक और जाँच हुई। DeepSeek की प्राप्त सीड का इस्तेमाल करने पर H100 ने DeepSeek-V3 के संरक्षित मानों को दोबारा बनाया, लेकिन V4-Flash के मानों को नहीं; B300 पर इसका उलटा हुआ। B300 पर, बिना किसी बदलाव वाले PyTorch ने चुनी गई V4-Flash की 469 पंक्तियों में से 461 को 0.99 से अधिक सहसंबंध के साथ दोबारा बनाया। इनमें 445 पंक्तियाँ बिट-दर-बिट पूरी तरह मेल खाती थीं। किराए पर लिए गए GB200 ने Moonshot की सीड से Kimi K3 की सभी 13 संरक्षित पंक्तियों को दोबारा बनाया; प्राप्त की गई किसी भी सीड को एक से बदलने पर कोई पंक्ति मेल नहीं खाई।

रिपोर्ट के अनुसार, यह तरीका उन सभी 24 मामलों से मेल खाता था जिनमें किसी डेवलपर ने सार्वजनिक रूप से किसी खास मॉडल के हार्डवेयर का नाम बताया था। हालाँकि, रिपोर्ट यह भी आगाह करती है कि इनमें से 11 मामले प्रशिक्षण के शून्यवें चरण के चेकपॉइंट से जुड़े हैं और संबंधित मॉडल एक-दूसरे से स्वतंत्र नहीं हैं। इसलिए यह तुलना मापी गई सटीकता दर के बजाय संगति की जाँच है।

Kimi K3.1-Pro में K3 की सीड का इस्तेमाल होता है और संभव है कि यह आगे के पोस्ट-ट्रेनिंग वाले K3 चेकपॉइंट पर आधारित हो। यह मानते हुए कि आरंभीकरण के लिए इस्तेमाल हार्डवेयर ने प्रशिक्षण भी किया, DePue का अनुमान है कि पाँच अलग-अलग अंतिम प्रशिक्षण रन में से हर एक में लगभग 500 से 3,000 Blackwell GPU लगे और आम तौर पर प्रत्येक रन दो से तीन महीने तक चला। इस गणना में प्रशिक्षण की कंप्यूटिंग क्षमता को चिप के थ्रूपुट से भाग दिया गया है, जिसमें उपयोग 35% माना गया है। इसके लिए DeepSeek द्वारा बताए गए टोकन की संख्या और अन्य मॉडलों के वेट पर आधारित टोकन अनुमान इस्तेमाल किए गए हैं। यही गणना DeepSeek-V3 पर लागू करने से 2,000 से 2,500 चिप का अनुमान निकला, जबकि DeepSeek ने 2,048 चिप होने की जानकारी दी थी।

निर्यात-नियंत्रण लागू करने की सीमाएँ

किसी मिलान से केवल आरंभीकरण का पता चलता है; इससे बाद के प्रशिक्षण में इस्तेमाल हुए हर प्रोसेसर की सूची नहीं बन सकती। कोई लैब एक सिस्टम पर शुरुआती मान बना सकती है और फिर उन्हें दूसरी जगह भेज सकती है; अलग-अलग चिप वाले मिश्रित क्लस्टर में हार्डवेयर के केवल कुछ निशान रह सकते हैं; और Hopper से मेल खाने वाला परिणाम बाद में Blackwell पर प्रशिक्षण होने की संभावना को खारिज नहीं करता। न ही वेट से चिप का स्वामित्व, उसका स्थान या उसे हासिल करने का तरीका साबित हो सकता है। DePue की रिपोर्ट के अनुसार, Blackwell सिस्टम चीन के बाहर किराए पर उपलब्ध हैं, और केवल यह साक्ष्य तस्करी या निर्यात-नियंत्रण के उल्लंघन को साबित नहीं करता।

AMD का MI300X हार्डवेयर का पहचाना गया विकल्प है। इसमें आम तौर पर 304 प्रोसेसिंग यूनिट होती हैं, लेकिन इसे 152-152 यूनिट के दो समूहों में बाँटा जा सकता है या 148 यूनिट इस्तेमाल करने के लिए कॉन्फ़िगर किया जा सकता है। इससे भौतिक परीक्षणों में देखे गए लेआउट दोहराए जा सकते हैं। DeepSeek-V4-Flash के मामले में, विक्रेताओं के बीच अलग-अलग 377 संरक्षित मानों में से 363 NVIDIA से मेल खाए और AMD से एक भी नहीं। इस संख्यात्मक परीक्षण से बाकी पाँच मॉडलों के बारे में नतीजा तय नहीं हुआ, हालाँकि रिपोर्ट के अनुसार विशेष रूप से कॉन्फ़िगर किए गए AMD क्लस्टर की संभावना बेहद कम है।

रिपोर्ट के अनुसार, B200, B300, GB200 और GB300 को चीन निर्यात करने के लिए अमेरिकी लाइसेंस आवश्यक है और ऐसे किसी लाइसेंस की सूचना नहीं मिली है; इसमें यह भी कहा गया है कि MI300X भी नियंत्रणाधीन है। इस पद्धति के लिए सार्वजनिक रूप से उपलब्ध वेट्स और हार्डवेयर पर निर्भर, पहचानने योग्य इनिशियलाइज़ेशन पैटर्न आवश्यक है। CPU इनिशियलाइज़ेशन से GPU लेआउट का कोई संकेत नहीं मिलता, और Baidu का PaddlePaddle जनरेटर जाँची गई चिप का लेआउट नहीं दर्शाता।

यह विश्लेषण नीति-निर्माताओं को हार्डवेयर तक पहुँच के तकनीकी साक्ष्य देता है, लेकिन नियमों के प्रवर्तन के बारे में कोई निष्कर्ष नहीं देता: सार्वजनिक रूप से उपलब्ध वेट्स से इनिशियलाइज़ेशन पैटर्न उजागर हो सकता है, लेकिन यह तय करने के लिए कि निर्यात नियंत्रणों का उल्लंघन हुआ था या नहीं, इस बारे में साक्ष्य की ज़रूरत होगी कि हार्डवेयर का इस्तेमाल कहाँ किया गया, उसका स्वामित्व किसके पास था और उस तक पहुँच कैसे हासिल की गई।