4‑Bit Healing van Multiverse Computing overtreft model met volledige precisie

Multiverse Computing publiceerde op 25 augustus 2026 een techniek die een van de meest betrouwbare afwegingen in model‑implementatie omkeert: een groot taalmodel dat tot de helft van zijn parameters is gecomprimeerd en gekwantiseerd tot 4 bits, en dat hoger scoort dan het volledige‑precisie‑checkpoint waaruit het is opgebouwd. De methode, Quantization‑Aware Healing (QAH) genoemd, wordt uitgelegd in een blogpost van het bedrijf en een begeleidend paper, en werd toegepast op OpenAI’s GPT‑OSS 120B, gecomprimeerd tot 60 B parameters en gekwantiseerd tot MXFP4. Het resulterende 4‑bit‑model verslaat zijn eigen bfloat16‑bron op 7 van de 9 benchmarks, met winst van 7,4 punten bij lang‑context redeneren en 5,6 punten bij wiskunde voor competities.

Het resultaat is geen leaderboard‑item voor een nieuw frontier‑model. Het is een bewering over de herstelstap in compressiepijplijnen, de fase waarin een model dat is verkleind en gekwantiseerd opnieuw wordt getraind om de capaciteit terug te winnen die die stappen hebben vernietigd. Multiverse’s argument, uiteengezet in het paper Quantization‑Aware Healing: A Practical Recipe for Recovering Compressed, 4‑Bit LLMs, is dat de standaard herstelmethoden in het veld het gekwantiseerde model verankeren aan de verkeerde leraar, en dat het corrigeren van die enkele keuze de plafondwaarde van hoe goed een gecomprimeerd model kan zijn, verwijdert.

The Teacher Was the Bottleneck

Het standaardrecept voor efficiënte implementatie kent drie fasen: structureel de architectuur comprimeren door lagen, heads of neuronen te verwijderen; de overgebleven gewichten kwantiseren tot 4 bits; en vervolgens de schade herstellen met extra training. De dominante herstelmethode, quantization‑aware training, blijft het model fijn‑afstellen op taakdata via een gesimuleerde low‑precision forward pass. Een alternatief, quantization‑aware distillatie, traint de gekwantiseerde student om de output‑distributie van een bevroren full‑precision‑leraar te evenaren.

Beide werken wanneer kwantisatie de enige wijziging is, omdat er een echte full‑precision‑kopie van hetzelfde model bestaat om van te leren. Structurele compressie verbreekt die veronderstelling. Een 60 B‑model afgeleid van 120 B is nooit onafhankelijk getraind op volledige precisie; de enige bfloat16‑kandidaat is een checkpoint dat zelf is hersteld door distillatie van het origineel. Door de 4‑bit‑student van dat checkpoint te distilleren, stelt Multiverse dat de nauwkeurigheid wordt begrensd door het plafond van het herstelde checkpoint.

QAH verwijdert dat plafond door de tussenliggende leraar volledig over te slaan. De 4‑bit‑student distilleert direct van het oorspronkelijke, vóór‑compressie 120 B‑model, en evenaart diens output‑distributie via een KL‑divergentie‑verlies op de logits. Leraar en student delen noch grootte noch precisie, wat de auteurs opmerken dat niet uitmaakt: de output‑distributie van een leraar wordt overgedragen ongeacht de architectuur van de student. In dit kader stopt kwantisatie met een verliesgevende post‑processing stap en wordt het een tweede volledige distillatie‑ronde tegen de sterkste beschikbare leraar, supervisie die het bfloat16‑checkpoint zelf nooit heeft ontvangen.

What the Benchmarks Show

De kopvergelijking zet het QAH‑behandelde 60 B MXFP4‑model tegenover de beste full‑precision‑versie van dezelfde architectuur, het herstelde 60 B bfloat16‑checkpoint. Het 4‑bit‑model wint 7 van de 9 benchmarks:

• AA‑LCR (lang‑context redeneren): 42,7 vs. 35,3, een winst van 7,4 punten
• AIME 2025 (wiskunde): 76,3 vs. 70,7, een winst van 5,6 punten
• Aider (agentisch coderen): 40,9 vs. 38,2
• τ²‑bench (tool‑gebruik): 61,7 vs. 59,4
• GPQA Diamond (wetenschap): 67,4 vs. 65,7
• IFBench (instructie‑volgen): 59,9 vs. 58,4
• LiveCodeBench (coderen): 66,5 vs. 65,5

De twee verliezen, MMLU‑Pro (73,8 vs. 74,0) en SciCode (34,2 vs. 35,6), liggen onder een halve punt. De grootste winsten komen precies op de plekken waar compressie normaal het meeste schade aanricht: lang‑context redeneren en wiskunde.

Ten opzichte van de oorspronkelijke 120 B‑leraar, scoort de 4‑bit‑student, die slechts de helft van het aantal parameters van de leraar en ongeveer een kwart van het gewichtgeheugen gebruikt, iets beter op LiveCodeBench (66,5 vs. 66,0) en ligt 1,6 punten achter bij GPQA Diamond. Het grootste resterende gat is AA‑LCR, waar de leraar 50,0 scoort tegen 42,7 van de student, een capaciteit die volgens het paper intrinsiek het moeilijkst te herstellen is nadat de capaciteit is verlaagd.

Faster to Train, and It Does Not Collapse

Een tweede experiment isoleert de verliesfunctie. Door een GPT‑OSS 9 B‑model te kwantiseren tot MXFP4 onder gelijkwaardige omstandigheden, bereiken QAH en QAT praktisch identieke piekscores, 54,9 tegen 54,6, gemiddeld over MMLU‑Pro, LiveCodeBench en GPQA Diamond. Vanaf dat punt divergeren de trajecten. QAH bereikt zijn piek in ongeveer 100 trainingsstappen, ongeveer 7 keer sneller dan de 700 stappen van QAT, en blijft binnen twee punten van die piek tot stap 1 200. QAT stort in na zijn piek, waarbij het bijna 19 punten verliest tegen dezelfde markering.

Het praktische gevolg is een verschil in implementatierisico dat de auteurs uiteenzetten: een QAT‑checkpoint vereist zorgvuldige vroege stopzetting op basis van een gereserveerd signaal, of een team levert een model dat al begint te degraderen. Een QAH‑checkpoint, gekoppeld aan een bevroren leraar‑distributie, heeft geen gradient die het nog ergens naartoe duwt zodra het is ingehaald, zodat een volledig getraind checkpoint kan worden ingezet zonder die bewaking. Het paper schrijft het verschil toe aan het verlies zelf: een cross‑entropy‑doel blijft onophoudelijk duwen naar harde labels, terwijl KL‑distillatie tegen een vaste target stilvalt bij convergentie.

The Fine Print

Dit zijn de eigen metingen van Multiverse Computing van haar eigen pijplijn, gerapporteerd in het paper en de blogpost, geen onafhankelijke evaluatie. Het paper stelt dat de QAH‑student open‑weight wordt vrijgegeven als HyperNova‑60B, het Apache 2.0‑model van het bedrijf gebouwd op gpt‑oss‑120b.

De techniek hangt ook af van de infrastructuur uit eerder werk van het bedrijf. Healing bij contextlengtes van 32 000 tokens in de trainingscorpus hergebruikt een opgesplitste KL‑divergentie‑verlies die de divergentie per sequentieslice berekent in plaats van het volledige vocabulaire‑per‑sequentie‑rooster te materialiseren, het onderwerp van een begeleid paper en post gepubliceerd op 10 augustus 2026. Dat eerdere werk verlaagde het piek‑geheugen voor een 32K‑token distillatie van 85,2 GiB naar 5,45 GiB in een geïsoleerde benchmark, en maakt het mogelijk om lang‑context healing binnen een vast GPU‑budget te passen. Het nieuwe paper signaleert bovendien een reproduceerbaar kwaliteitsverschil tussen distributed‑training back‑ends als een implementatieles, zonder een winnaar te benoemen in de blog‑samenvatting.

Why the Result Travels

De efficiëntie‑rekenkunde is dezelfde rekenkunde die compressie in de eerste plaats motiveert, en die maakt dat een omkering van nauwkeurigheid van belang is. Bij 4‑bit‑precisie gebruikt het QAH‑model ongeveer vier keer minder gewichtgeheugen dan de bfloat16‑student, en bij de helft van het aantal parameters van de leraar halveert het ongeveer de rekencapaciteit per token; voor model‑families die in bfloat16 in plaats van 4 bit worden geleverd, benadert de gecombineerde reductie ongeveer 8 keer minder rekencapaciteit per token. De huidige release‑lijn van Multiverse weerspiegelt dezelfde filosofie: haar Hypernova 60B 2605‑checkpoint wordt geleverd met 32 GB gewichten tegenover 65 GB voor gpt‑oss‑120b, waarbij het bedrijf een hogere doorvoersnelheid rapporteert op een enkele NVIDIA H200.

Als het recept buiten deze pijplijn standhoudt, impliceert dit voor open‑weight‑implementaties dat de nauwkeurigheidstaks op 4‑bit‑serving geen natuurwet is, maar een artefact van wie de student onderwijst. Het compressiewerk van Multiverse is tot nu toe toegepast op open modellen van andere labs, en het bedrijf verkoopt het recept als iets dat een team kan inzetten zonder een meerweekse hyperparameter‑zoektocht. Het 4‑bit‑checkpoint dat zijn 16‑bit‑ouder overtreft op 7 van de 9 benchmarks is het bewijs dat zij als eerste wilden presenteren.