4‑bitové léčení od Multiverse Computing překonává model s plnou přesností

Společnost Multiverse Computing 25. srpna 2026 zveřejnila techniku, která obrací jeden z nejspolehlivějších kompromisů při nasazování modelů: velký jazykový model komprimovaný na polovinu počtu parametrů a kvantovaný na 4 bity, který dosahuje lepších výsledků než plně‑přesný checkpoint, ze kterého byl vytvořen. Metoda, nazvaná Quantization-Aware Healing (QAH), je podrobně popsána v blogovém příspěvku společnosti a doprovodném článku a byla aplikována na GPT‑OSS 120B od OpenAI, komprimovaný na 60 B parametrů a kvantovaný na MXFP4. Výsledný 4‑bitový model překonává svůj vlastní bfloat16 zdroj v 7 ze 9 benchmarků, včetně zisků 7,4 bodu u dlouhého kontextu a 5,6 bodu u soutěžní matematiky.

Výsledek není umístěním na žebříčku nového špičkového modelu. Jedná se o tvrzení o kroku obnovy v kompresních pipelinech, fázi, kdy je model, který byl zmenšen a kvantován, znovu trénován, aby získal zpět schopnosti, které tyto kroky zničily. Argument Multiverse, představený v článku Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs, spočívá v tom, že standardní metody obnovy v oboru ukotvují kvantovaný model ke špatnému učiteli, a že oprava této jediné volby odstraní strop, který omezuje, jak dobrý může komprimovaný model být.

Učitel byl úzkým místem

Standardní recept na efektivní nasazení má tři fáze: strukturální komprese architektury odstraněním vrstev, hlav nebo neuronů; kvantování zbývajících vah na 4 bity; a následné „léčení“ poškození dalším tréninkem. Dominantní metoda léčení, kvantizačně‑vědomý trénink, pokračuje v jemném doladění modelu na úlohových datech pomocí simulovaného nízkopřesného průchodu vpřed. Alternativa, kvantizačně‑vědomá destilace, trénuje kvantovaného studenta tak, aby odpovídal výstupní distribuci zmraženého učitele s plnou přesností.

Obě fungují, když je kvantizace jedinou změnou, protože existuje pravá kopie modelu v plné přesnosti, ze které se může učit. Strukturální komprese tuto předpoklad narušuje. Model 60 B zmenšený z 120 B nikdy nebyl nezávisle trénován v plné přesnosti; jediným kandidátem v bfloat16 je checkpoint, který byl sám zotaven destilací z originálu. Destilací 4‑bitového studenta z tohoto checkpointu, argumentuje Multiverse, se jeho přesnost omezí stropem tohoto zotaveného checkpointu.

QAH odstraňuje tento strop tím, že úplně vynechá mezilehlého učitele. 4‑bitový student destiluje přímo z původního, před‑kompresního modelu 120 B, přičemž jeho výstupní distribuci ladí pomocí ztráty KL‑divergence na logitech. Učitel a student se neliší ani velikostí, ani přesností, což autoři poznamenávají, že není podstatné: výstupní distribuce učitele se přenáší bez ohledu na architekturu studenta. V tomto pojetí přestává kvantizace být ztrátovým post‑procesním krokem a stává se druhým úplným průchodem destilace proti nejsilnějšímu dostupnému učiteli, dohled, který checkpoint v bfloat16 nikdy nedostal.

Co ukazují benchmarky

Hlavní srovnání staví QAH‑zpracovaný model 60 B MXFP4 proti nejlepší verzi s plnou přesností stejné architektury, zotavenému checkpointu 60 B bfloat16. 4‑bitový model vyhrává v 7 ze 9 benchmarků:

• AA‑LCR (dlouhý kontext): 42,7 vs. 35,3, zisk 7,4 bodu
• AIME 2025 (matematika): 76,3 vs. 70,7, zisk 5,6 bodu
• Aider (agentní kódování): 40,9 vs. 38,2
• τ²‑bench (používání nástrojů): 61,7 vs. 59,4
• GPQA Diamond (věda): 67,4 vs. 65,7
• IFBench (sledování instrukcí): 59,9 vs. 58,4
• LiveCodeBench (kódování): 66,5 vs. 65,5

Dvě ztráty, MMLU‑Pro (73,8 vs. 74,0) a SciCode (34,2 vs. 35,6), jsou pod jedním a půl bodem. Největší zisky přicházejí přesně tam, kde komprese obvykle způsobuje největší poškození: dlouhý kontext a matematika.

Ve srovnání s původním učitelem 120 B, 4‑bitový student, který běží s polovinou počtu parametrů učitele a přibližně čtvrtinou jeho paměti na váhy, ho mírně předstihuje v LiveCodeBench (66,5 vs. 66,0) a je jen o 1,6 bodu pozadu u GPQA Diamond. Největší zbývající rozdíl je v AA‑LCR, kde učitel dosahuje 50,0 proti 42,7 studenta – schopnost, kterou autoři popisují jako nejnáročnější na zotavení po zkrácení kapacity.

Rychlejší trénink a nekolabuje

Druhý experiment izoluje ztrátovou funkci. Kvantizací modelu GPT‑OSS 9 B na MXFP4 za shodných podmínek dosahují QAH a QAT prakticky stejných špičkových skóre, 54,9 proti 54,6, průměrovaných přes MMLU‑Pro, LiveCodeBench a GPQA Diamond. Odtud se cesty rozcházejí. QAH dosáhne vrcholu zhruba po 100 tréninkových krocích, což je asi 7‑krát rychleji než QAT s 700 kroky, a drží se do dvou bodů od tohoto vrcholu až do kroku 1 200. QAT po svém vrcholu kolabuje a ztratí téměř 19 bodů do stejného okamžiku.

Praktickým důsledkem je rozdíl v riziku nasazení, který autoři vymezují: checkpoint QAT vyžaduje opatrné předčasné zastavení vůči vyhrazenému signálu, nebo tým nasadí model, který už začal degradovat. Checkpoint QAH, spojený se zmraženou distribucí učitele, nemá žádný gradient, který by ho posunul dál, jakmile dožene učitele, takže plně vyškolený checkpoint může být nasazen bez tohoto sledování. Autoři rozdíl přičítají samotné ztrátě: cíl cross‑entropy neustále tlačí směrem k tvrdým štítkům, zatímco KL‑destilace vůči pevnému cíli utiší při konvergenci.

Jemná písmena

Jedná se o vlastní měření Multiverse Computing své vlastní pipeline, uvedená v jejich článku a blogovém příspěvku, nikoli o nezávislé hodnocení. Článek uvádí, že QAH student je vydán jako open‑weight model HyperNova-60B, model společnosti pod licencí Apache 2.0 vytvořený z gpt‑oss‑120b.

Technika také spoléhá na nástroje z dřívější práce společnosti. Léčení při kontextových délkách 32 000 tokenů ve výcvikovém korpusu znovu používá segmentovanou ztrátu KL‑divergence, která počítá divergenci po jedné sekvenční části místo materializace celé mřížky slovníku‑sekvence, což je předmět doprovodného článku a příspěvku publikovaného 10. srpna 2026. Tato dřívější práce snížila špičkovou paměť pro destilaci 32K‑tokenů z 85,2 GiB na 5,45 GiB v izolovaném benchmarku a umožňuje, aby dlouhý kontextový léčebný proces zapadl do pevného rozpočtu GPU. Nový článek také upozorňuje na reprodukovatelný rozdíl kvality mezi backendy distribuovaného tréninku jako lekci pro nasazení, aniž by v souhrnu blogu jmenoval vítěze.

Proč výsledek přetrvává

Efektivnostní aritmetika je stejná, která motivuje kompresi od počátku, a právě to dává smysl obratu přesnosti. Při 4‑bitové přesnosti model QAH používá přibližně čtyřikrát méně paměti na váhy než bfloat16 student a při polovině počtu parametrů učitele přibližně dělí výpočet na token napůl; pro rodiny modelů, které jsou distribuovány v bfloat16 místo 4 bity, se kombinované snížení blíží osminásobnému snížení výpočtu na token. Současná řada vydání Multiverse odráží stejnou filozofii: jejich checkpoint Hypernova 60B 2605 má 32 GB vah oproti 65 GB pro gpt‑oss‑120b, přičemž společnost uvádí vyšší propustnost na jediném NVIDIA H200.

Pokud se recept uplatní i mimo tuto pipeline, implikace pro open‑weight nasazení je, že daň na přesnost při 4‑bitovém servírování není zákonem přírody, ale artefaktem toho, kdo studenta učí. Kompresní práce Multiverse byla zatím aplikována na otevřené modely jiných laboratoří a společnost prodává recept jako něco, co tým může nasadit bez vícetýdenního hledání hyperparametrů. 4‑bitový checkpoint, který překonal svého 16‑bitového předka v 7 ze 9 benchmarků, je důkazem, který si zvolili jako úvodní ukázku.