Multiverse Computings 4‑bits helbredelse overgår fullpresisjonsmodell

Multiverse Computing publiserte en teknikk 25. august 2026 som snur en av de mest pålitelige avveiningene i modellutplassering: en stor språkmodell komprimert til halvparten av parameterne og kvantisert til 4 bit som oppnår høyere poengsum enn fullpresisjons‑checkpointen den ble bygget fra. Metoden, kalt Quantization-Aware Healing (QAH), er beskrevet i et bedriftsblogginnlegg og et tilhørende papir, og ble anvendt på OpenAI sin GPT‑OSS 120B komprimert ned til 60B parametere og kvantisert til MXFP4. Den resulterende 4‑bits modellen slår sin egen bfloat16‑kilde på 7 av 9 benchmarker, inkludert gevinster på 7,4 poeng i langt‑kontekst resonnering og 5,6 poeng i konkurransematematikk.

Resultatet er ikke en leaderboard‑oppføring for en ny frontmodellen. Det er et påstand om gjenopprettingssteget i komprimerings‑pipelines, fasen der en modell som er blitt krympet og kvantisert blir trent på nytt for å gjenvinne evnene som de trinnene ødela. Multiverses argument, lagt frem i papiret Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs, er at feltes standard gjenopprettingsmetoder forankrer den kvantiserte modellen til feil lærer, og at en korrigering av dette ene valget fjerner taket for hvor god en komprimert modell kan bli.

Læreren var flaskehalsen

Den standard effektive‑utplasseringsoppskriften har tre trinn: strukturell komprimering av arkitekturen ved å fjerne lag, hoder eller nevroner; kvantisering av de gjenværende vektene til 4 bit; og så helbredelse av skaden med videre trening. Den dominerende helbredelsesmetoden, kvantiserings‑bevisst trening, fortsetter fin‑tuning av modellen på oppgavedata gjennom en simulert lav‑presisjon fremoverpassering. Et alternativ, kvantiserings‑bevisst destillasjon, trener den kvantiserte studenten til å matche en frosset full‑presisjonslærers utdatafordeling i stedet.

Begge fungerer når kvantisering er den eneste endringen, fordi en ekte full‑presisjonskopi av samme modell eksisterer for å undervise fra. Strukturell komprimering bryter denne antakelsen. En 60B‑modell kuttet ned fra 120B ble aldri uavhengig trent i full presisjon; den eneste bfloat16‑kandidaten er et checkpoint som selv ble gjenopprettet ved destillasjon fra originalen. Å destillere den 4‑bits studenten fra det checkpointet, hevder Multiverse, begrenser nøyaktigheten til checkpointets eget tak.

QAH fjerner taket ved å hoppe over den mellomliggende læreren helt. Den 4‑bits studenten destillerer direkte fra den opprinnelige, før‑komprimerings‑120B‑modellen, og matcher dens utdatafordeling gjennom et KL‑divergens‑tap på logittene. Lærer og student deler verken størrelse eller presisjon, noe forfatterne bemerker er irrelevant: en lærers utdatafordeling overføres uavhengig av studentens arkitektur. Under dette rammeverket slutter kvantisering å være et tapfullt etterbehandlingssteg og blir et andre fullt pass med destillasjon mot den sterkeste tilgjengelige læreren, veiledning som bfloat16‑checkpointen selv aldri mottok.

Hva benchmarkene viser

Hovedsammenligningen stiller den QAH‑behandlede 60B MXFP4‑modellen opp mot den beste full‑presisjonsversjonen av samme arkitektur, det gjenopprettede 60B bfloat16‑checkpointet. 4‑bits modellen vinner 7 av 9 benchmarker:

• AA-LCR (lang‑kontekst resonnering): 42,7 vs. 35,3, en gevinst på 7,4 poeng
• AIME 2025 (matematikk): 76,3 vs. 70,7, en gevinst på 5,6 poeng
• Aider (agentisk koding): 40,9 vs. 38,2
• τ²-bench (verktøybruk): 61,7 vs. 59,4
• GPQA Diamond (vitenskap): 67,4 vs. 65,7
• IFBench (instruksjonsfølgning): 59,9 vs. 58,4
• LiveCodeBench (koding): 66,5 vs. 65,5

De to tapene, MMLU-Pro (73,8 vs. 74,0) og SciCode (34,2 vs. 35,6), ligger under ett og et halvt poeng. De største gevinstene lander akkurat der komprimering vanligvis gjør mest skade: langt‑kontekst resonnering og matematikk.

Mot den opprinnelige 120B‑læreren, den 4‑bits studenten, som kjører med halvparten av lærerens parameterantall og omtrent en fjerdedel av vekteminnet, overgår den på LiveCodeBench (66,5 vs. 66,0) og ligger innen 1,6 poeng på GPQA Diamond. Den bredeste gjenværende gapen er AA-LCR, hvor læreren scorer 50,0 mot studentens 42,7, evnen som artikkelen beskriver som intrinsisk vanskeligst å gjenvinne etter at kapasiteten er kuttet.

Raskere å trene, og den kollapser ikke

Et annet eksperiment isolerer tapsfunksjonen. Når en GPT‑OSS 9B‑modell kvantiseres til MXFP4 under like betingelser, når QAH og QAT praktisk talt like toppscore, 54,9 mot 54,6, gjennomsnittlig over MMLU-Pro, LiveCodeBench og GPQA Diamond. Stiene divergerer deretter. QAH når topp i omtrent 100 treningstrinn, omtrent 7 ganger raskere enn QATs 700, og holder seg innen to poeng fra dette toppnivået gjennom trinn 1 200. QAT kollapser etter sitt toppnivå, og taper nesten 19 poeng ved samme merke.

Den praktiske konsekvensen er en utrullings‑risikoforskjell forfatterne tydeliggjør: et QAT‑checkpoint krever nøye tidlig stopp mot et hold‑out‑signal, eller et team sender en modell som allerede har begynt å forringes. Et QAH‑checkpoint, bundet til en frosset lærerfordeling, har ingen gradient som presser det noe sted når det har tatt igjen, så et fullt trent checkpoint kan betjenes uten den overvåkingen. Papiret tilskriver forskjellen til selve tapet: et kryss‑entropi‑mål fortsetter å presse mot harde etiketter uendelig, mens KL‑destillasjon mot et fast mål stilner ved konvergens.

Det småskrevne

Dette er Multiverse Computings egne målinger av sin egen pipeline, rapportert i papiret og blogginnlegget, ikke en uavhengig evaluering. Papiret sier at QAH‑studenten er frigitt som åpen‑vekt under HyperNova-60B, selskapets Apache 2.0‑modell bygget fra gpt-oss-120b.

Teknikken avhenger også av maskineri fra selskapets tidligere arbeid. Helbredelse ved 32 000‑tokens kontekstlengder i treningskorpuset gjenbruker et oppdelt KL‑divergens‑tap som beregner divergensen én sekvens‑skive av gangen i stedet for å materialisere hele vokabular‑per‑sekvens‑rutenett, temaet for et tilhørende papir og innlegg publisert 10. august 2026. Det tidligere arbeidet reduserte topp‑minneforbruket for en 32K‑tokens destillasjon fra 85,2 GiB til 5,45 GiB i en isolert benchmark, og gjør langt‑kontekst‑helbredelse mulig innenfor et fast GPU‑budsjett. Det nye papiret påpeker også et reproduserbart kvalitetsgap mellom distribuerte trenings‑backends som en utrullings‑lesning, uten å navngi en vinner i blogg‑sammendraget.

Hvorfor resultatet sprer seg

Effektivitets‑aritmetikken er den samme aritmetikken som driver komprimering i utgangspunktet, og som gjør en nøyaktighets‑inversjon meningsfull. Ved 4‑bits presisjon bruker QAH‑modellen omtrent fire ganger mindre vekteminne enn bfloat16‑studenten, og ved halvparten av lærerens parameterantall halverer den omtrent beregning per token; for modellfamilier som distribueres i bfloat16 i stedet for 4‑bits, nærmer den samlede reduksjonen seg åtte ganger mindre beregning per token. Multiverses nåværende utgivelseslinje reflekterer samme filosofi: deres Hypernova 60B 2605‑checkpoint leveres med 32 GB vekter mot 65 GB for gpt-oss-120b, med selskapet som rapporterer høyere gjennomstrømning på én NVIDIA H200.

Hvis oppskriften holder utenfor denne pipelinen, innebærer det for åpen‑vekt‑utplassering at nøyaktighetsavgiften ved 4‑bits betjening ikke er en naturlov, men et artefakt av hvem som underviser studenten. Multiverse sitt komprimeringsarbeid har hittil blitt anvendt på andre laboratoriers åpne modeller, og selskapet selger oppskriften som noe et team kan distribuere uten et flerukers hyperparameter‑søk. 4‑bits checkpointen som slår sin 16‑bits forelder på 7 av 9 benchmarker er beviset de valgte å fremheve.