Multiverse Computings 4‑bit Healing slår fullprecision‑modell

Multiverse Computing publicerade en teknik den 25 augusti 2026 som vänder på en av de mest pålitliga kompromisserna i modellutplacering: en stor språkmodell komprimerad till hälften av sina parametrar och kvantiserad till 4 bit som får högre poäng än den full‑precision‑checkpoint den byggdes från. Metoden, som heter Quantization‑Aware Healing (QAH), beskrivs i ett företags‑blogginlägg och ett medföljande papper, och tillämpades på OpenAI:s GPT‑OSS 120B komprimerad till 60 B parametrar och kvantiserad till MXFP4. Den resulterande 4‑bit‑modellen slår sin egen bfloat16‑källa på 7 av 9 benchmark‑tester, inklusive vinster på 7,4 poäng i lång‑kontext‑resonemang och 5,6 poäng i tävlingsmatematik.

Resultatet är inte ett topplista‑inlägg för en ny frontier‑modell. Det är ett påstående om återhämtningssteget i komprimeringspipelines, den fas där en modell som har krympts och kvantiserats tränas om för att återfå den förmåga som dessa steg förstörde. Multiverses argument, som redovisas i papperet Quantization‑Aware Healing: A Practical Recipe for Recovering Compressed, 4‑Bit LLMs, är att fältets standardåterhämtningsmetoder förankrar den kvantiserade modellen till fel lärare, och att korrigering av detta enda val tar bort ett tak för hur bra en komprimerad modell kan bli.

Läraren var flaskhalsen

Den standardiserade effektiva‑utplaceringsreceptet har tre steg: strukturellt komprimera arkitekturen genom att ta bort lager, huvuden eller neuroner; kvantiserar de återstående vikterna till 4 bit; och läker sedan skadan med ytterligare träning. Den dominerande läkningsmetoden, kvantiserings‑medveten träning, fortsätter finjustera modellen på uppgiftsdata genom ett simulerat låg‑precision‑framåtpas. Ett alternativ, kvantiserings‑medveten destillation, tränar den kvantiserade studenten att matcha en fryst full‑precision‑lärares utspridningsfördelning istället.

Båda fungerar när kvantiseringen är den enda förändringen, eftersom en äkta full‑precision‑kopia av samma modell finns att lära från. Strukturell komprimering bryter detta antagande. En 60 B‑modell nedskuren från 120 B tränades aldrig oberoende i full precision; den enda bfloat16‑kandidaten är en checkpoint som själv återhämtats genom destillation från originalet. Att destillera den 4‑bit‑studenten från den checkpointen, menar Multiverse, begränsar dess noggrannhet till den återhämtade checkpointens eget tak.

QAH tar bort taket genom att hoppa över den mellanstegsläraren helt. Den 4‑bit‑studenten destilleras direkt från den ursprungliga, för‑komprimerings‑120 B‑modellen, och matchar dess utspridningsfördelning via en KL‑divergensförlust på logits. Lärare och student delar varken storlek eller precision, vilket författarna noterar inte spelar någon roll: en lärares utspridningsfördelning överförs oavsett studentens arkitektur. Under denna ram blir kvantisering inte ett förlustfyllt efterbearbetningssteg utan en andra fulla destillationspass mot den starkaste tillgängliga läraren, en supervision som bfloat16‑checkpointen själv aldrig fick.

Vad benchmark‑testerna visar

Huvudjämförelsen ställer den QAH‑behandlade 60 B‑MXFP4‑modellen mot den bästa full‑precision‑versionen av samma arkitektur, den återhämtade 60 B‑bfloat16‑checkpointen. 4‑bit‑modellen vinner på 7 av 9 benchmark‑tester:

• AA‑LCR (lång‑kontext‑resonemang): 42,7 vs. 35,3, en vinst på 7,4 poäng
• AIME 2025 (matematik): 76,3 vs. 70,7, en vinst på 5,6 poäng
• Aider (agentisk kodning): 40,9 vs. 38,2
• τ²‑bench (verktygsanvändning): 61,7 vs. 59,4
• GPQA Diamond (vetenskap): 67,4 vs. 65,7
• IFBench (instruktionsföljning): 59,9 vs. 58,4
• LiveCodeBench (kodning): 66,5 vs. 65,5

De två förlusterna, MMLU‑Pro (73,8 vs. 74,0) och SciCode (34,2 vs. 35,6), ligger under en och en halv poäng. De största vinsterna inträffar exakt där komprimering vanligtvis gör mest skada: lång‑kontext‑resonemang och matematik.

Mot den ursprungliga 120 B‑läraren ligger 4‑bit‑studenten, som kör med hälften så många parametrar som läraren och ungefär en fjärdedel av dess viktsminne, något före den på LiveCodeBench (66,5 vs. 66,0) och ligger inom 1,6 poäng på GPQA Diamond. Den största återstående klyftan är AA‑LCR, där läraren får 50,0 mot studentens 42,7, en förmåga som papperet beskriver som intrinsiskt svårast att återhämta efter kapacitetsnedskärning.

Snabbare att träna, och den kollapsar inte

Ett andra experiment isolerar förlustfunktionen. När en GPT‑OSS 9 B‑modell kvantiseras till MXFP4 under matchade förhållanden når QAH och QAT i praktiken lika höga top‑poäng, 54,9 mot 54,6, medelvärde över MMLU‑Pro, LiveCodeBench och GPQA Diamond. Vägarna divergerar därefter. QAH når sin topp efter ungefär 100 träningssteg, cirka 7 gånger snabbare än QAT:s 700 steg, och håller sig inom två poäng från den toppen genom steg 1 200. QAT kollapsar efter sin topp och tappar nästan 19 poäng vid samma märke.

Den praktiska konsekvensen är en skillnad i utrullningsrisk som författarna förklarar: en QAT‑checkpoint kräver noggrann tidig stoppning mot en håll‑ut‑signal, eller så levererar ett team en modell som redan börjat försämras. En QAH‑checkpoint, bunden till en fryst lärarfördelning, har ingen gradient som driver den någonstans när den har kommit ikapp, så en fulltränad checkpoint kan serveras utan den övervakningen. Papperet tillskriver skillnaden själva förlusten: ett kors‑entropi‑mål fortsätter att driva mot hårda etiketter oändligt, medan KL‑destillation mot ett fast mål tystnar vid konvergens.

Det finstilta

Dessa är Multiverse Computings egna mätningar av sin egen pipeline, rapporterade i papperet och blogginlägget, inte en oberoende utvärdering. Papperet anger att QAH‑studenten släpps som öppen vikt under namnet HyperNova‑60B, företagets Apache 2.0‑modell byggd från gpt‑oss‑120b.

Tekniken bygger också på maskineri från företagets tidigare arbete. Läkning vid 32 000‑token‑kontextlängder i träningskorpuset återanvänder en segmenterad KL‑divergensförlust som beräknar divergensen en sekvensdel i taget snarare än att materialisera hela vokabulär‑per‑sekvens‑matrisen, ämnet för ett medföljande papper och inlägg publicerat den 10 augusti 2026. Det tidigare arbetet minskade topp‑minnet för en 32K‑token‑destillation från 85,2 GiB till 5,45 GiB i ett isolerat benchmark, och det är vad som gör lång‑kontext‑läkning möjlig inom en fast GPU‑budget. Det nya papperet pekar också på ett reproducerbart kvalitetsgap mellan distribuerade tränings‑backends som en utrullningslektion, utan att namnge en vinnare i bloggsammanfattningen.

Varför resultatet sprider sig

Effektivitets‑aritmetiken är samma aritmetik som driver komprimering från början, vilket gör en noggrannhets‑inversion meningsfull. Vid 4‑bit‑precision använder QAH‑modellen ungefär fyra gånger mindre viktsminne än bfloat16‑studenten, och med hälften så många parametrar som läraren halverar den ungefär beräkningskostnaden per token; för modellfamiljer som levereras i bfloat16 snarare än 4 bit närmar sig den kombinerade reduktionen åtta gånger mindre beräkning per token. Multiverses nuvarande utgivningslinje speglar samma filosofi: dess Hypernova 60B 2605‑checkpoint levereras med 32 GB vikter mot 65 GB för gpt‑oss‑120b, och företaget rapporterar högre genomströmning på en ensam NVIDIA H200.

Om receptet håller bortom denna pipeline innebär det för öppen‑vikt‑utplacering att skatten på 4‑bit‑tjänst inte är en naturlag utan ett artefakt av vem som lär studenten. Multiverses komprimeringsarbete har hittills tillämpats på andra laboratoriers öppna modeller, och företaget säljer receptet som något ett team kan distribuera utan en fler‑veckors hyperparameter‑sökning. 4‑bit‑checkpointen som slår sin 16‑bit‑förälder på 7 av 9 benchmark‑tester är beviset de valde att leda med.