Multiverse Computings 4‑bit‑heling slår fuldpresisionsmodel

Multiverse Computing offentliggjorde en teknik den 25. august 2026, som vender en af de mest pålidelige afvejninger i modeludrulning: en stor sprogmodel komprimeret til halvdelen af sine parametre og kvantiseret til 4 bit, som scorer højere end den fuldpresisions‑checkpoint, den er bygget fra. Metoden, kaldet Quantization‑Aware Healing (QAH), beskrives i et firma‑blogindlæg og et tilhørende papir, og blev anvendt på OpenAI’s GPT‑OSS 120B komprimeret ned til 60B parametre og kvantiseret til MXFP4. Den resulterende 4‑bit‑model slår sin egen bfloat16‑kilde på 7 af 9 benchmark‑tests, herunder gevinster på 7,4 point i langt‑kontekst‑resonering og 5,6 point i konkurrencematematik.

Resultatet er ikke en placering på en rangliste for en ny frontier‑model. Det er et påstand om genopretnings‑trinnet i komprimerings‑pipelines, den fase hvor en model, der er blevet krympet og kvantiseret, trænes igen for at genvinde den kapacitet, som de trin har ødelagt. Multiverses argument, fremlagt i papiret Quantization‑Aware Healing: A Practical Recipe for Recovering Compressed, 4‑Bit LLMs, er, at feltets standard‑genopretningsmetoder forankrer den kvantiserede model til den forkerte lærer, og at en rettelse af dette ene valg fjerner loftet for, hvor god en komprimeret model kan blive.

Læreren var flaskehalsen

Den standardiserede opskrift på effektiv udrulning har tre faser: strukturelt komprimere arkitekturen ved at fjerne lag, hoveder eller neuroner; kvantisere de overlevende vægte til 4 bit; og derefter helbrede skaden med yderligere træning. Den dominerende helbredelsesmetode, kvantiserings‑bevidst træning, fortsætter med fin‑justering af modellen på opgavedata gennem et simuleret lav‑præcisions‑forward‑pass. Et alternativ, kvantiserings‑bevidst destillation, træner den kvantiserede elev til at matche en frosset fuldpresisions‑lærers output‑fordeling i stedet.

Begge fungerer, når kvantisering er den eneste ændring, fordi en ægte fuldpresisions‑kopi af den samme model findes til undervisning. Strukturel kompression bryder denne antagelse. En 60B‑model nedskåret fra 120B blev aldrig uafhængigt trænet i fuld præcision; den eneste bfloat16‑kandidat er en checkpoint, der selv blev genoprettet ved destillation fra den originale. Ved at destillere den 4‑bit‑elev fra den checkpoint, argumenterer Multiverse, begrænses dens nøjagtighed af den genoprettede checkpoints eget loft.

QAH fjerner loftet ved fuldstændigt at springe den mellemliggende lærer over. Den 4‑bit‑elev destillerer direkte fra den originale, før‑komprimerings‑120B‑model og matcher dens output‑fordeling gennem et KL‑divergens‑tab på logits. Lærer og elev deler hverken størrelse eller præcision, hvilket forfatterne bemærker ikke betyder noget: en lærers output‑fordeling overføres uanset elevens arkitektur. Under denne ramme stopper kvantisering med at være et tabsgivende efterbehandlings‑trin og bliver et andet fuldt pass af destillation mod den stærkeste tilgængelige lærer, supervision som bfloat16‑checkpointen selv aldrig modtog.

Hvad benchmarkene viser

Hovedsammenligningen stiller den QAH‑behandlede 60B‑MXFP4‑model op imod den bedste fuldpresisions‑version af samme arkitektur, den genoprettede 60B‑bfloat16‑checkpoint. Den 4‑bit‑model vinder 7 af 9 benchmark‑tests:

• AA-LCR (lang‑kontekst‑resonering): 42.7 vs. 35.3, en gevinst på 7.4 point
• AIME 2025 (matematik): 76.3 vs. 70.7, en gevinst på 5.6 point
• Aider (agentisk kodning): 40.9 vs. 38.2
• τ²-bench (værktøjsbrug): 61.7 vs. 59.4
• GPQA Diamond (videnskab): 67.4 vs. 65.7
• IFBench (instruktionsfølgning): 59.9 vs. 58.4
• LiveCodeBench (kodning): 66.5 vs. 65.5

De to tab, MMLU‑Pro (73.8 vs. 74.0) og SciCode (34.2 vs. 35.6), ligger under et og et halvt point. De største gevinster forekommer præcis der, hvor komprimering typisk gør mest skade: lang‑kontekst‑resonering og matematik.

Mod den originale 120B‑lærer ligger den 4‑bit‑elev, der kører med halvdelen af lærerens parameterantal og cirka en fjerdedel af dens vægt‑hukommelse, let foran på LiveCodeBench (66.5 vs. 66.0) og er kun 1.6 point bag på GPQA Diamond. Den bredeste resterende forskel er AA‑LCR, hvor læreren scorer 50.0 mod elevens 42.7, den evne som papiret beskriver som intrinsisk sværest at genvinde efter kapaciteten er skåret ned.

Hurtigere at træne, og den kollapser ikke

Et andet eksperiment isolerer tab‑funktionen. Kvantisering af en GPT‑OSS 9B‑model til MXFP4 under matchede betingelser får QAH og QAT til effektivt at nå lige top‑score, 54.9 mod 54.6, gennemsnitligt over MMLU‑Pro, LiveCodeBench og GPQA Diamond. Stierne divergerer derefter. QAH når toppen efter cirka 100 trænings‑trin, omkring 7 gange hurtigere end QAT’s 700, og holder sig inden for to point fra den top indtil trin 1.200. QAT kollapser efter sin top og mister næsten 19 point ved samme mærke.

Den praktiske konsekvens er en udrulnings‑risikodifference, som forfatterne beskriver: et QAT‑checkpoint kræver omhyggelig tidlig stop‑ning mod et hold‑out‑signal, eller et team leverer en model, der allerede er begyndt at forringes. Et QAH‑checkpoint, forbundet med en frosset lærer‑distribution, har ingen gradient, der skubber det nogen steder, når det indhenter, så et fuldt trænet checkpoint kan serveres uden den overvågning. Papiret tilskriver forskellen til selve tabet: et kryds‑entropi‑mål fortsætter med at skubbe mod hårde etiketter uendeligt, mens KL‑destillation mod et fast mål stilner ved konvergens.

Det med småt

Dette er Multiverse Computings egne målinger af sin egen pipeline, rapporteret i deres papir og blogindlæg, ikke en uafhængig evaluering. Papiret angiver, at QAH‑eleven frigives som open‑weight under navnet HyperNova-60B, virksomhedens Apache 2.0‑model bygget fra gpt‑oss‑120b.

Teknikken afhænger også af maskineri fra virksomhedens tidligere arbejde. Helbredelse ved 32.000‑token‑kontekstlængder i træningskorpuset genbruger et chunk‑baseret KL‑divergens‑tab, der beregner divergensen sekvens‑slice for sekvens‑slice i stedet for at materialisere hele ordforråd‑pr‑sekvens‑gitteret, emnet for en tilhørende papir og indlæg offentliggjort den 10. august 2026. Det tidligere arbejde reducerede peak‑hukommelsen for en 32K‑token‑destillation fra 85.2 GiB til 5.45 GiB i en isoleret benchmark, og det er det, der gør lang‑kontekst‑helbredelse mulig inden for et fast GPU‑budget. Det nye papir påpeger også et reproducerbart kvalitetsgab mellem distribuerede trænings‑backends som en udrulnings‑lektion, uden at navngive en vinder i blog‑opsummeringen.

Hvorfor resultatet spreder sig

Effektivitets‑aritmetikken er den samme aritmetik, der i første omgang driver komprimering, og som gør en nøjagtighedsinversion betydningsfuld. Ved 4‑bit‑præcision bruger QAH‑modellen omtrent 4 gange mindre vægt‑hukommelse end bfloat16‑eleven, og ved halvdelen af lærerens parameterantal halveres beregningen pr. token omtrent; for model‑familier, der leveres i bfloat16 i stedet for 4‑bit, nærmer den samlede reduktion sig 8 gange mindre beregning pr. token. Multiverses nuværende udgivelseslinje afspejler den samme filosofi: dens Hypernova 60B 2605 checkpoint leveres med 32GB vægte kontra 65GB for gpt-oss-120b, med virksomheden der rapporterer højere gennemløb på en enkelt NVIDIA H200.

Hvis opskriften holder ud over denne pipeline, er implikationen for open‑weight‑udrulning, at nøjagtigheds‑afgiften ved 4‑bit‑betjening ikke er en naturlov, men et artefakt af, hvem der underviser eleven. Multiverses komprimeringsarbejde er indtil nu blevet anvendt på andre laboratoriers open‑modeller, og virksomheden sælger opskriften som noget, et team kan implementere uden en fler‑ugers hyperparameter‑søgning. Det 4‑bit‑checkpoint, der slår sin 16‑bit‑forælder på 7 af 9 benchmark‑tests, er det bevis, de valgte at fremhæve.