Multiverse Computing का 4‑बिट हीलिंग फुल‑प्रिसिजन मॉडल को मात देता है

Multiverse Computing ने 25 अगस्त, 2026 को एक तकनीक प्रकाशित की जो मॉडल डिप्लॉयमेंट में सबसे भरोसेमंद ट्रेड‑ऑफ़ में से एक को उलट देती है: एक बड़ा भाषा मॉडल जो अपने पैरामीटरों का आधा कर संकुचित किया गया और 4 बिट में क्वांटाइज़ किया गया, वह उस फुल‑प्रिसिजन चेकपॉइंट से भी अधिक स्कोर करता है जिससे इसे बनाया गया था। इस विधि को Quantization‑Aware Healing (QAH) कहा जाता है, जिसका विवरण एक company blog post और एक सहयोगी पेपर में दिया गया है, और इसे OpenAI के GPT‑OSS 120B पर लागू किया गया, जिसे 60B पैरामीटर तक संकुचित और MXFP4 में क्वांटाइज़ किया गया। परिणामी 4‑बिट मॉडल 9 में से 7 बेंचमार्क पर अपने स्वयं के bfloat16 स्रोत से बेहतर है, जिसमें लंबी‑संदर्भ तर्क में 7.4 अंक और प्रतियोगी गणित में 5.6 अंक की बढ़ोतरी शामिल है।

परिणाम किसी नई फ्रंटियर मॉडल के लिए लीडरबोर्ड एंट्री नहीं है। यह संपीड़न पाइपलाइन में पुनर्प्राप्ति चरण के बारे में दावा है, वह चरण जहाँ संकुचित और क्वांटाइज़ किया गया मॉडल फिर से प्रशिक्षित किया जाता है ताकि उन चरणों द्वारा नष्ट की गई क्षमता को पुनः प्राप्त किया जा सके। Multiverse का तर्क, जो पेपर Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs में प्रस्तुत किया गया है, यह है कि क्षेत्र की मानक पुनर्प्राप्ति विधियाँ क्वांटाइज़्ड मॉडल को गलत शिक्षक से जोड़ देती हैं, और उस एकल चयन को ठीक करने से संकुचित मॉडल की संभावित श्रेष्ठता की सीमा हट जाती है।

शिक्षक ही बाधा था

मानक कुशल‑डिप्लॉयमेंट रेसिपी में तीन चरण होते हैं: आर्किटेक्चर को लेयर, हेड या न्यूरॉन हटाकर संरचनात्मक रूप से संकुचित करना; बची हुई वज़न को 4 बिट में क्वांटाइज़ करना; और फिर आगे के प्रशिक्षण से क्षति को ठीक करना। प्रमुख हीलिंग विधि, क्वांटाइज़ेशन‑अवेयर ट्रेनिंग, मॉडल को टास्क डेटा पर सिम्युलेटेड लो‑प्रिसिजन फॉरवर्ड पास के माध्यम से फाइन‑ट्यून करना जारी रखती है। एक वैकल्पिक विधि, क्वांटाइज़ेशन‑अवेयर डिस्टिलेशन, क्वांटाइज़्ड छात्र को फ्रीज़्ड फुल‑प्रिसिजन शिक्षक के आउटपुट वितरण से मेल खाने के लिए प्रशिक्षित करती है।

जब क्वांटाइज़ेशन ही एकमात्र परिवर्तन हो तो दोनों काम करते हैं, क्योंकि उसी मॉडल की वास्तविक फुल‑प्रिसिजन कॉपी मौजूद होती है जिससे सीखाया जा सके। संरचनात्मक संपीड़न इस अनुमान को तोड़ देता है। 120B से घटाया गया 60B मॉडल कभी स्वतंत्र रूप से फुल‑प्रिसिजन पर प्रशिक्षित नहीं हुआ; एकमात्र bfloat16 उम्मीदवार वह चेकपॉइंट है जिसे मूल मॉडल से डिस्टिलेशन द्वारा स्वयं पुनः प्राप्त किया गया था। उस चेकपॉइंट से 4‑बिट छात्र को डिस्टिलेट करने पर, Multiverse का तर्क है कि इसकी शुद्धता को पुनः प्राप्त चेकपॉइंट की अपनी सीमा तक सीमित कर देता है।

QAH मध्यवर्ती शिक्षक को पूरी तरह छोड़कर सीमा को हटाता है। 4‑बिट छात्र सीधे मूल, संपीड़न‑पूर्व 120B मॉडल से डिस्टिलेट करता है, लॉजिट्स पर KL‑डाइवर्जेंस लॉस के माध्यम से उसके आउटपुट वितरण से मेल खाता है। शिक्षक और छात्र न आकार में समान हैं न प्रिसिजन में, जिसे लेखक नोट करते हैं कि महत्व नहीं रखता: शिक्षक का आउटपुट वितरण छात्र की आर्किटेक्चर से परे स्थानांतरित हो जाता है। इस परिप्रेक्ष्य में, क्वांटाइज़ेशन एक लॉसी पोस्ट‑प्रोसेसिंग चरण नहीं रह जाता बल्कि उपलब्ध सबसे मजबूत शिक्षक के विरुद्ध डिस्टिलेशन का दूसरा पूर्ण पास बन जाता है, ऐसी निगरानी जो bfloat16 चेकपॉइंट को कभी नहीं मिली।

बेंचमार्क क्या दर्शाते हैं

मुख्य तुलना में QAH‑ट्रीटेड 60B MXFP4 मॉडल को उसी आर्किटेक्चर के सर्वश्रेष्ठ फुल‑प्रिसिजन संस्करण, अर्थात पुनः प्राप्त 60B bfloat16 चेकपॉइंट के विरुद्ध रखा गया है। 4‑बिट मॉडल 9 में से 7 बेंचमार्क जीतता है:

• AA-LCR (लॉन्ग‑कॉन्टेक्स्ट रीजनिंग): 42.7 बनाम 35.3, 7.4 अंक की बढ़ोतरी
• AIME 2025 (गणित): 76.3 बनाम 70.7, 5.6 अंक की बढ़ोतरी
• Aider (एजेंटिक कोडिंग): 40.9 बनाम 38.2
• τ²-bench (टूल उपयोग): 61.7 बनाम 59.4
• GPQA Diamond (विज्ञान): 67.4 बनाम 65.7
• IFBench (इंस्ट्रक्शन फॉलोइंग): 59.9 बनाम 58.4
• LiveCodeBench (कोडिंग): 66.5 बनाम 65.5

दो नुक़सान, MMLU-Pro (73.8 बनाम 74.0) और SciCode (34.2 बनाम 35.6), एक और आधे अंक से कम हैं। सबसे बड़ी बढ़ोतरी बिल्कुल उन क्षेत्रों में होती है जहाँ संपीड़न आमतौर पर सबसे अधिक नुकसान पहुँचाता है: लॉन्ग‑कॉन्टेक्स्ट रीजनिंग और गणित।

मूल 120B शिक्षक के मुकाबले, 4‑बिट छात्र, जो शिक्षक के पैरामीटर गिनती का आधा और वज़न मेमोरी का लगभग एक चौथाई उपयोग करता है, LiveCodeBench (66.5 बनाम 66.0) में उसे थोड़ा पीछे छोड़ता है और GPQA Diamond में 1.6 अंक के भीतर आता है। सबसे बड़ा शेष अंतर AA‑LCR है, जहाँ शिक्षक 50.0 स्कोर करता है जबकि छात्र 42.7, वह क्षमता जिसे पेपर ने क्षमता कटने के बाद अंतर्निहित रूप से सबसे कठिन पुनः प्राप्ति बताया है।

प्रशिक्षण में तेज, और यह ढहता नहीं है

एक दूसरा प्रयोग लॉस फ़ंक्शन को अलग करता है। समान परिस्थितियों में GPT‑OSS 9B मॉडल को MXFP4 में क्वांटाइज़ करने पर, QAH और QAT प्रभावी रूप से समान शिखर स्कोर प्राप्त करते हैं, 54.9 बनाम 54.6, जो MMLU‑Pro, LiveCodeBench, और GPQA Diamond के औसत हैं। इसके बाद रास्ते अलग हो जाते हैं। QAH लगभग 100 प्रशिक्षण चरणों में शिखर तक पहुँचता है, जो QAT के 700 चरणों से लगभग 7 गुना तेज़ है, और चरण 1,200 तक उस शिखर से दो अंक के भीतर रहता है। QAT अपने शिखर के बाद ढह जाता है, उसी बिंदु पर लगभग 19 अंक खो देता है।

व्यावहारिक परिणाम एक डिप्लॉयमेंट‑रिस्क अंतर है जिसे लेखक स्पष्ट करते हैं: QAT चेकपॉइंट को रखे‑हुए सिग्नल के विरुद्ध सावधानीपूर्वक प्रारंभिक रोक की आवश्यकता होती है, या टीम ऐसा मॉडल जारी करती है जो पहले ही गिरावट शुरू कर चुका है। एक QAH चेकपॉइंट, जो फ्रीज़्ड शिक्षक वितरण से जुड़ा होता है, एक बार बराबर हो जाने पर कहीं भी धकेलने वाला ग्रेडिएंट नहीं रखता, इसलिए पूर्ण‑प्रशिक्षित चेकपॉइंट को बिना उस निगरानी के सर्व किया जा सकता है। पेपर इस अंतर को स्वयं लॉस को देता है: क्रॉस‑एंट्रॉपी उद्देश्य अनिश्चितकाल तक हार्ड लेबल्स की ओर धकेलता रहता है, जबकि स्थिर लक्ष्य के विरुद्ध KL डिस्टिलेशन अभिसरण पर शांत हो जाता है।

सूक्ष्म विवरण

ये Multiverse Computing द्वारा अपने पाइपलाइन के अपने स्वयं के माप हैं, जो उनके पेपर और ब्लॉग पोस्ट में रिपोर्ट किए गए हैं, न कि एक स्वतंत्र मूल्यांकन। पेपर में कहा गया है कि QAH छात्र को HyperNova-60B के रूप में ओपन‑वेट जारी किया गया है, जो कंपनी का Apache 2.0 मॉडल है जो gpt‑oss‑120b से निर्मित है।

यह तकनीक कंपनी के पूर्व कार्यों की मशीनरी पर भी निर्भर करती है। प्रशिक्षण कॉर्पस में 32,000‑टोकन संदर्भ लंबाई पर हीलिंग एक चंकीड KL‑डाइवर्जेंस लॉस को पुन: उपयोग करती है जो डाइवर्जेंस को एक समय में एक अनुक्रम स्लाइस के आधार पर गणना करती है, न कि पूरी शब्दावली‑बाय‑अनुक्रम ग्रिड को मैटेरियलाइज़ करती है; यह companion paper and post का विषय है, जो 10 अगस्त, 2026 को प्रकाशित हुआ। उस पूर्व कार्य ने 32K‑टोकन डिस्टिलेशन के लिए पीक मेमोरी को 85.2 GiB से घटाकर 5.45 GiB कर दिया था एक अलग बेंचमार्क में, और यही कारण है कि लॉन्ग‑कॉन्टेक्स्ट हीलिंग एक निश्चित GPU बजट में फिट हो जाती है। नया पेपर भी वितरित‑प्रशिक्षण बैकएंड्स के बीच पुनरुत्पादक गुणवत्ता अंतर को एक डिप्लॉयमेंट सबक के रूप में चिन्हित करता है, बिना ब्लॉग सारांश में किसी विजेता का नाम बताए।

परिणाम क्यों प्रसारित होता है

कुशलता की गणित वही गणित है जो मूल रूप से संपीड़न को प्रेरित करती है, और यही कारण है कि शुद्धता उलटाव महत्वपूर्ण बनता है। 4‑बिट प्रिसिजन पर QAH मॉडल bfloat16 छात्र की तुलना में लगभग 4 गुना कम वज़न मेमोरी उपयोग करता है, और शिक्षक के पैरामीटर गिनती के आधे पर होने के कारण टोकन प्रति गणना लगभग आधी हो जाती है; उन मॉडल परिवारों के लिए जो bfloat16 में शिप होते हैं न कि 4‑बिट, संयुक्त कमी टोकन प्रति लगभग 8 गुना कम गणना बनती है। Multiverse की वर्तमान रिलीज़ लाइन उसी दर्शन को दर्शाती है: उसका Hypernova 60B 2605 checkpoint 32GB वज़न के साथ शिप होता है, जबकि gpt‑oss‑120b के लिए 65GB है, और कंपनी ने एकल NVIDIA H200 पर उच्च थ्रूपुट की रिपोर्ट की है।

यदि यह रेसिपी इस पाइपलाइन से आगे भी लागू होती है, तो ओपन‑वेट डिप्लॉयमेंट के लिए इसका निहितार्थ यह है कि 4‑बिट सर्विंग पर शुद्धता कर कोई प्राकृतिक नियम नहीं, बल्कि यह इस बात का परिणाम है कि छात्र को कौन पढ़ा रहा है। Multiverse का संपीड़न कार्य अब तक अन्य लैबों के ओपन मॉडल पर लागू किया गया है, और कंपनी इस रेसिपी को इस तरह बेच रही है कि एक टीम इसे कई‑सप्ताह के हाइपरपैरामीटर सर्च के बिना डिप्लॉय कर सके। 9 में से 7 बेंचमार्क पर अपने 16‑बिट पैरेंट को मात देने वाला 4‑बिट चेकपॉइंट वह प्रमाण है जिसे वह प्रमुख बनाकर प्रस्तुत करना चाहता था।