आगे के प्रशिक्षण के लिए Baidu ने ERNIE 5.5 Flash Base जारी किया

Baidu की ERNIE टीम ने 5 नवंबर, 2026 को ERNIE-5.5-Flash-Base की घोषणा की और केवल-पाठ वाले मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल के डाउनलोड योग्य वेट जारी किए। इसमें कुल 280 अरब पैरामीटर हैं और हर टोकन पर 14 अरब सक्रिय होते हैं। इस चेकपॉइंट के साथ प्री-ट्रेनिंग पूरी होती है; इसमें मिड-ट्रेनिंग या पोस्ट-ट्रेनिंग शामिल नहीं है। इससे डेवलपर डोमेन-अनुकूलन, निर्देश-ट्यूनिंग और रीइन्फोर्समेंट-लर्निंग अनुसंधान के लिए एक साझा शुरुआती बिंदु पा सकते हैं।

यह रिलीज़ प्रशिक्षण विधियों की नियंत्रित तुलना के लिए एक निश्चित आधाररेखा भी उपलब्ध कराती है। Baidu ने कहा कि ERNIE 5.5 Flash का पोस्ट-ट्रेन किया गया मॉडल इस बेस संस्करण के बाद जारी किया जाएगा।

आर्किटेक्चर और प्रशिक्षण प्रणाली

मॉडल कार्ड में 43 लेयर, 4,096 का हिडन साइज़ और 64 अटेंशन हेड दिए गए हैं। 37 लेयर में हेविली कम्प्रेस्ड अटेंशन का उपयोग होता है: उनके कैश में हर 128-टोकन ब्लॉक के लिए एक एंट्री होती है, साथ ही हाल के असंपीड़ित टोकन की एक छोटी विंडो भी रहती है। छह मल्टी-हेड लेटेंट अटेंशन लेयर पूरे संदर्भ तक टोकन-स्तर की पहुँच बनाए रखती हैं और सबसे अधिक स्कोर वाले पिछले स्थान चुनने के लिए एक इंडेक्सर का उपयोग करती हैं। Baidu के अनुसार, यह विरल चयन संदर्भ बढ़ने पर प्रति-क्वेरी मुख्य अटेंशन की लागत को स्थिर रखता है।

पहली लेयर को छोड़कर सभी में मिक्सचर-ऑफ-एक्सपर्ट्स ब्लॉक है, जिसमें 512 रूट किए गए एक्सपर्ट हैं। इनमें से 10 सक्रिय होते हैं और इनके अलावा एक साझा एक्सपर्ट भी है। ये एक्सपर्ट मॉडल की पूरी हिडन चौड़ाई के बजाय 2,048-आयामी लेटेंट स्पेस में काम करते हैं। Baidu के अनुसार, पूरी चौड़ाई वाले एक्सपर्ट की तुलना में इससे एक्सपर्ट डिस्पैच और संयोजन का डेटा-ट्रैफ़िक तथा एक्सपर्ट फ़्लोटिंग-पॉइंट ऑपरेशनों की संख्या लगभग आधी हो जाती है। डिज़ाइन में मैनिफोल्ड-प्रतिबंधित हाइपर-कनेक्शन के ज़रिए चार समानांतर अवशिष्ट धाराएँ और सीखने योग्य खंडवार तापमान वाला एक MultiMax आउटपुट हेड भी शामिल है।

प्री-ट्रेनिंग में 33.5 ट्रिलियन टोकन, Muon ऑप्टिमाइज़र और FP8 मिक्स्ड प्रिसिज़न का उपयोग किया गया। प्रशिक्षण के दौरान इस्तेमाल किए जाने वाले संदर्भ को धीरे-धीरे बढ़ाकर 128 हज़ार टोकन तक किया गया; फ़ाइन-ट्यूनिंग और अनुमान के लिए 10 लाख टोकन का समर्थन है। बहुभाषी वेब डेटा के साथ-साथ कॉर्पस में कोड और सॉफ्टवेयर विकास के रिकॉर्ड भी शामिल हैं, जैसे कमिट, इश्यू, पुल रिक्वेस्ट, समीक्षाएँ, स्वचालित रूप से बनाए गए परीक्षण और CI-सत्यापित सुधार। चुने हुए लंबे दस्तावेज़, अर्थ की दृष्टि से मिलते-जुलते भटकाने वाले अंशों वाले अनुक्रम, और कृत्रिम पुनर्प्राप्ति तथा प्रश्न-उत्तर डेटा लंबे संदर्भों पर प्रशिक्षण उपलब्ध कराते हैं। इन विकल्पों से यह बेस रिलीज़ रिपॉज़िटरी-स्तर के तर्क, एजेंट-आधारित सॉफ्टवेयर इंजीनियरिंग और विस्तारित इनपुट के अनुरूप बनती है।

इसके साथ दी गई FlashMask रिपॉज़िटरी में Hopper और Blackwell GPU के लिए अटेंशन कर्नेल का विवरण है। Blackwell कॉन्फ़िगरेशन क्वेरी और की के लिए 576 तक तथा वैल्यू के लिए 512 तक के हेड आयामों का समर्थन करते हैं। Baidu के अनुसार, SM100 हार्डवेयर पर FlashAttention-4 MaskMod की तुलना में फ़ॉरवर्ड पास की गति में अधिकतम 175% और बैकवर्ड पास में 74% तक की वृद्धि होती है। वितरित Muon प्रणाली डेंस और MoE पैरामीटर के सिंक्रोनाइज़ेशन को भी एक सामूहिक ऑपरेशन में जोड़ती है और ऑप्टिमाइज़र के अपडेट बदले बिना, ऑप्टिमाइज़र की स्थिति को नोड के बीच अधिक समान रूप से बाँटती है।

Baidu के बेंचमार्क नतीजे

Baidu ने ERNIE का मूल्यांकन सार्वजनिक रूप से जारी DeepSeek-V4-Flash-Base, Hy3-preview-Base और MiMo-V2.5-Base चेकपॉइंट के मुकाबले किया। इसके लिए समान परीक्षण-ढाँचे, प्रॉम्प्ट और कुछ उदाहरणों का उपयोग किया गया; मुक्त-उत्तर वाले प्रश्नों के मूल्यांकन में एक ही LLM निर्णायक भी रखा गया। Baidu की तालिका से चुने गए नतीजे दिखाते हैं कि मॉडल कहाँ आगे है और कहाँ पीछे:

Baidu की तुलना में नतीजे कार्य के अनुसार बदलते हैं; ERNIE दिखाए गए MMLU और HumanEval+ नतीजों में आगे है, जबकि FullStackBench में Hy3 और InfiniteBench में DeepSeek आगे हैं। तालिका Baidu के मूल्यांकन में परीक्षा और कोडिंग से जुड़े कार्यों पर मॉडल के मज़बूत प्रदर्शन को दर्शाती है, साथ ही इन अपवादों को भी बरकरार रखती है।

परिनियोजन और लाइसेंस की शर्तें

डाउनलोड FP8 और BF16 safetensors फ़ॉर्मैट में उपलब्ध हैं। मॉडल कार्ड में completions API के ज़रिए SGLang और vLLM के साथ प्रोडक्शन सर्विंग का विवरण है, जो चेकपॉइंट की बेस-मॉडल स्थिति के अनुरूप है। NVIDIA की Megatron Bridge कार्यविधि में पर्यवेक्षित फ़ाइन-ट्यूनिंग की प्रक्रिया दी गई है, जिसमें डेटा तैयार करना, प्रशिक्षण और मॉडल को वापस Hugging Face फ़ॉर्मैट में निर्यात करना शामिल है। इसके पूरे-मॉडल वाले तरीके में 16 नोड हैं और हर नोड में चार GB300 GPU हैं। NVIDIA इन कार्यविधियों को Blackwell GB200 और GB300 सिस्टम पर सत्यापित करता है; इनके घटक Hopper का समर्थन करते हैं, लेकिन Hopper पर उनका सत्यापन नहीं किया गया है।

विशेष ERNIE 5.5 Flash Base मॉडल लाइसेंस समझौता v1.0 में क्षेत्रीय और व्यावसायिक शर्तें लागू हैं। इसके दायरे से यूरोपीय संघ, यूनाइटेड किंगडम और दक्षिण कोरिया बाहर हैं; और उस क्षेत्र के बाहर उपयोग, संशोधन तथा वितरण जैसी गतिविधियों की अनुमति नहीं है। गैर-व्यावसायिक उपयोग पर मॉडल लाइसेंस शुल्क नहीं लगता। संबंधित उत्पादों या सेवाओं से सालाना 50 मिलियन डॉलर या उससे कम राजस्व वाले व्यावसायिक उपयोग के लिए एक बार सूचना देना और प्रमुखता से “ERNIE द्वारा संचालित” श्रेय देना आवश्यक है। इस सीमा से अधिक राजस्व होने पर उपयोगकर्ताओं को Baidu की अलग से दी गई पूर्व लिखित अनुमति लेनी होगी।

यह समझौता लाइसेंस प्राप्त सामग्री, व्युत्पन्न मॉडलों या उनके आउटपुट का उपयोग किसी असंबंधित AI या मशीन लर्निंग प्रणाली को बेहतर बनाने के लिए करने पर भी रोक लगाता है। यह प्रतिबंध मॉडल डिस्टिलेशन और सिंथेटिक डेटा से जुड़ी कार्यप्रणालियों के लिए महत्वपूर्ण है, जिन्हें लाइसेंस व्युत्पन्न मॉडलों की परिभाषा और आउटपुट के उपयोग पर लगी सीमाओं को स्पष्ट करते समय विशेष रूप से संबोधित करता है।

ERNIE 5.5 Flash Base शोधकर्ताओं और डेवलपरों को बाद की प्रशिक्षण विधियों के परीक्षण के लिए एक निश्चित चेकपॉइंट उपलब्ध कराता है, ताकि उन्हें Baidu की पूर्व-प्रशिक्षण प्रक्रिया दोहरानी न पड़े। इसका डिज़ाइन सक्रिय गणना और लंबा संदर्भ संभालने की लागत को नियंत्रित करने पर केंद्रित है, लेकिन इस रिलीज़ का व्यावहारिक दायरा पूरे मॉडल को फ़ाइन-ट्यून करने के लिए आवश्यक हार्डवेयर और ऐसे लाइसेंस से सीमित है, जो भौगोलिक क्षेत्रों, बड़े पैमाने पर व्यावसायिक उपयोग और असंबंधित मॉडलों तक क्षमताओं के हस्तांतरण पर पाबंदियाँ लगाता है।