Modelul de vindecare pe 4 biţi al Multiverse Computing depășește modelul cu precizie completă

Multiverse Computing a publicat o tehnică pe 25 august 2026 care inversează una dintre cele mai fiabile compromisuri în implementarea modelelor: un model lingvistic mare comprimat la jumătate din parametri și cuantificat la 4 biţi, care obţine un scor mai mare decât punctul de control cu precizie completă din care a fost construit. Metoda, denumită Quantization-Aware Healing (QAH), este detaliată într-un postare pe blogul companiei și într-o lucrare însoţitoare, şi a fost aplicată la GPT‑OSS 120B de la OpenAI, comprimat la 60B de parametri şi cuantificat la MXFP4. Modelul de 4 biţi rezultat depășește sursa sa bfloat16 pe 7 din 9 benchmark‑uri, inclusiv câştiguri de 7.4 puncte la raţionamentul pe context lung şi 5.6 puncte la matematică de competiţie.

Rezultatul nu este o intrare pe clasament pentru un model de frontieră nou. Este o afirmaţie despre etapa de recuperare în conductele de comprimare, faza în care un model care a fost micşorat şi cuantificat este re‑antrenat pentru a recâştiga capacitatea pe care acele etape au distrus‑o. Argumentul Multiverse, prezentat în lucrarea Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs, susţine că metodele standard de recuperare din domeniu ancorează modelul cuantificat la profesorul greşit, iar corectarea acelei alegeri unice elimină plafonul asupra cât de bun poate fi un model comprimat.

Învăţătorul a fost blocajul

Reţeta standard pentru implementare eficientă are trei etape: comprimă structural arhitectura prin eliminarea de straturi, capete sau neuroni; cuantifică greutăţile rămase la 4 biţi; apoi vindecă pagubele prin antrenament suplimentar. Metoda dominantă de vindecare, antrenamentul conştient de cuantizare, continuă ajustarea fină a modelului pe datele sarcinii printr-un pas în față simulând precizie scăzută. O alternativă, distilarea conştientă de cuantizare, antrenează studentul cuantificat să se potrivească cu distribuţia de ieşire a unui profesor îngheţat cu precizie completă.

Ambele funcţionează când cuantizarea este singura modificare, deoarece există o copie autentică cu precizie completă a aceluiaşi model pentru a fi folosită la învăţare. Compresia structurală încalcă această presupunere. Un model de 60B redus de la 120B nu a fost niciodată antrenat independent la precizie completă; singurul candidat bfloat16 este un punct de control care a fost el însuşi recuperat prin distilare din original. Distilând studentul de 4 biţi din acel punct de control, Multiverse susţine că se limitează acurateţea la plafonul punctului de control recuperat.

QAH elimină plafonul prin omisiunea completă a profesorului intermediar. Studentul de 4 biţi se distilează direct din modelul original de 120B, pre‑comprimare, potrivind distribuţia sa de ieşire printr-o pierdere de divergenţă KL pe logituri. Profesorul şi studentul nu împărtăşesc nici dimensiunea, nici precizia, lucru pe care autorii îl subliniază că nu contează: distribuţia de ieşire a profesorului se transferă indiferent de arhitectura studentului. În această perspectivă, cuantizarea încetează să fie un pas de postprocesare cu pierderi şi devine o a doua trecere completă de distilare împotriva celui mai puternic profesor disponibil, supraveghere pe care punctul de control bfloat16 nu a primit‑o niciodată.

Ce arată benchmark‑urile

Comparaţia principală pune modelul 60B MXFP4 tratat cu QAH în opoziţie cu cea mai bună versiune cu precizie completă a aceleiaşi arhitecturi, punctul de control bfloat16 de 60B recuperat. Modelul de 4 biţi câştigă 7 din 9 benchmark‑uri:

• AA‑LCR (raţionament pe context lung): 42.7 vs. 35.3, un câştig de 7.4 puncte
• AIME 2025 (matematică): 76.3 vs. 70.7, un câştig de 5.6 puncte
• Aider (programare agentică): 40.9 vs. 38.2
• τ²‑bench (utilizare instrumente): 61.7 vs. 59.4
• GPQA Diamond (ştiinţă): 67.4 vs. 65.7
• IFBench (urmărire instrucţiuni): 59.9 vs. 58.4
• LiveCodeBench (programare): 66.5 vs. 65.5

Cele două pierderi, MMLU‑Pro (73.8 vs. 74.0) şi SciCode (34.2 vs. 35.6), sunt cu mai puţin de un punct şi jumătate. Cele mai mari câştiguri apar exact acolo unde comprimarea de obicei provoacă cel mai mult rău: raţionamentul pe context lung şi matematica.

În faţa profesorului original de 120B, studentul de 4 biţi, care rulează cu jumătate din numărul de parametri al profesorului şi aproximativ un sfert din memoria greutăţilor, îl depăşeşte pe LiveCodeBench (66.5 vs. 66.0) şi se apropie cu 1.6 puncte pe GPQA Diamond. Cel mai mare decalaj rămas este AA‑LCR, unde profesorul obţine 50.0 faţă de 42.7 ale studentului, capacitatea pe care lucrarea o descrie ca fiind intrinsec cea mai dificilă de recuperat după reducerea capacităţii.

Mai rapid de antrenat şi nu se prăbuşește

Un al doilea experiment izolează funcţia de pierdere. Cuantizând un model GPT‑OSS de 9B la MXFP4 în condiţii echivalente, QAH şi QAT ating practic scoruri de vârf egale, 54.9 versus 54.6, mediate pe MMLU‑Pro, LiveCodeBench şi GPQA Diamond. De acolo, căile se despart. QAH atinge vârful în aproximativ 100 de paşi de antrenament, de aproximativ 7 ori mai rapid decât cei 700 ai QAT, şi rămâne la două puncte de acel vârf până la pasul 1.200. QAT se prăbuşează după vârf, pierzând aproape 19 puncte până la aceeaşi marcă.

Consecinţa practică este o diferenţă de risc în implementare pe care autorii o explică: un punct de control QAT necesită oprire timpurie atentă pe baza unui semnal reţinut, sau o echipă livrează un model care a început deja să se degradeze. Un punct de control QAH, legat de o distribuţie a profesorului îngheţată, nu are niciun gradient care să îl împingă oriunde odată ce îl egalează, astfel că un punct de control complet antrenat poate fi servit fără acea supraveghere. Lucrarea atribuie diferenţa însăşi funcţiei de pierdere: un obiectiv de cross‑entropy continuă să împingă spre etichete dure la infinit, în timp ce distilarea KL faţă de o ţintă fixă se linişteşte la convergenţă.

Detaliile fine

Acestea sunt propriile măsurători ale Multiverse Computing asupra propriului său flux, raportate în lucrarea şi postarea de pe blog, nu o evaluare independentă. Lucrarea afirmă că studentul QAH este lansat cu greutăţi deschise ca HyperNova-60B, modelul companiei sub licenţa Apache 2.0 construit din gpt‑oss‑120b.

Tehnica depinde, de asemenea, de mecanismele din lucrările anterioare ale companiei. Vindecarea la lungimi de context de 32.000 de tokeni în corpusul de antrenament reutilizează o pierdere de divergenţă KL fragmentată care calculează divergenţa o felie de secvenţă la un moment dat, în loc să materializeze întreaga reţea vocabular‑secvenţă, subiectul unei lucrări şi postări însoţitoare publicate pe 10 august 2026. Acea lucrare anterioară a redus memoria maximă pentru o distilare de 32K tokeni de la 85.2 GiB la 5.45 GiB într-un benchmark izolat, şi este ceea ce permite vindecarea pe context lung să încapă într-un buget GPU fix. Noua lucrare semnalează, de asemenea, un decalaj de calitate reproductibil între backend‑urile de antrenament distribuit ca lecţie de implementare, fără a numi un câştigător în rezumatul blogului.

De ce rezultatul se propagă

Aritmetica eficienţei este aceeaşi aritmetică care motivează comprimarea iniţială, şi aceasta este ceea ce face ca inversarea acurateţii să conteze. La precizie de 4 biţi, modelul QAH foloseşte aproximativ de 4 ori mai puţină memorie pentru greutăţi decât studentul bfloat16, şi la jumătate din numărul de parametri al profesorului reduce aproximativ la jumătate calculul pe token; pentru familiile de modele care sunt livrate în bfloat16 în loc de 4 biţi, reducerea combinată se apropie de 8 ori mai puţin calcul pe token. Linia curentă de lansări a Multiverse reflectă aceeaşi filozofie: checkpointul Hypernova 60B 2605 este livrat cu 32 GB de greutăţi versus 65 GB pentru gpt‑oss‑120b, compania raportând o rată de transfer mai mare pe un singur NVIDIA H200.

Dacă reţeta se menţine dincolo de acest flux, implicaţia pentru implementarea cu greutăţi deschise este că taxa de acurateţe la servirea în 4 biţi nu este o lege a naturii, ci un artefact al celui care învaţă studentul. Munca de comprimare a Multiverse a fost până acum aplicată la modelele deschise ale altor labouratoare, iar compania vinde reţeta ca pe una pe care o echipă o poate implementa fără o căutare de hiperparametri de săptămâni întregi. Punctul de control de 4 biţi care depăşeşte părintele său de 16 biţi pe 7 din 9 benchmark‑uri este dovada pe care a ales să o prezinte.