Multiverse Computingin 4‑bittinen parantaminen päihittää täysprecision mallin

Multiverse Computing julkaisi tekniikan 25. elokuuta 2026, joka kääntää yhden luotettavimmista kompromisseista mallien käyttöönotossa: suuri kielimalli, joka on pakattu puoleen parametreistaan ja kvantisoitu 4 bittiä, saavuttaa paremman tuloksen kuin siitä rakennettu täysprecision tarkistuspiste. Menetelmää, jota kutsutaan Quantization-Aware Healing (QAH), kuvataan yrityksen blogikirjoituksessa ja siihen liittyvässä paperissa, ja sitä sovellettiin OpenAI:n GPT-OSS 120B:hen, pakattuna 60B parametriin ja kvantisoituna MXFP4:ksi. Tuloksena syntynyt 4‑bittinen malli päihittää oman bfloat16‑lähteensä 7:stä 9:stä mittarista, mukaan lukien 7,4 pistettä pitkän kontekstin päättelyssä ja 5,6 pistettä kilpailumatematiikassa.

Tulosta ei ole kyse uuden raja‑mallin sijoituksesta tulostaululla. Kyse on väitteestä, joka koskee palautusvaihetta pakkausputkissa, vaihetta, jossa pienennetty ja kvantisoitu malli koulutetaan uudelleen palauttamaan ne kyvyt, jotka nämä vaiheet ovat poistaneet. Multiversen argumentti, joka on esitetty paperissa Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs, on, että alan vakiopalaute‑menetelmät ankkuroivat kvantisoidun mallin väärään opettajaan, ja että tämän yhden valinnan korjaaminen poistaa kattoarvon, jonka pakatun mallin tarkkuus voi saavuttaa.

Opettaja oli pullonkaula

Standardi tehokkaan käyttöönoton resepti koostuu kolmesta vaiheesta: arkkitehtuurin rakenteellinen pakkaus poistamalla kerroksia, päitä tai neuroneja; kvantisointi jäljelle jääville painoille 4 bittiä; ja vahingoittumisen korjaus jatkokoulutuksella. Hallitseva korjausmenetelmä, kvantisointitietoinen koulutus, jatkaa mallin hienosäätöä tehtäväaineistolla simuloidun matalan tarkkuuden eteenpäin -passin kautta. Vaihtoehtoinen, kvantisointitietoinen destillaatio, opettaa kvantisoidun oppilaan vastaamaan jäädytetyn täysprecision opettajan lähtöjakaumaa.

Molemmat toimivat, kun kvantisointi on ainoa muutos, koska samasta mallista on olemassa aito täysprecision kopio, josta opettaa. Rakenne‑pakkaus rikkoo tämän oletuksen. 60B‑malli, joka on leikattu 120B:stä, ei koskaan ole itsenäisesti koulutettu täysprecision‑tasolla; ainoa bfloat16‑kandidaatti on tarkistuspiste, joka itsessään on palautettu destillaatiolla alkuperäisestä. Kun 4‑bittinen oppilas destilloidaan siitä tarkistuspisteestä, Multiverse väittää, että sen tarkkuus rajoittuu palautetun tarkistuspisteen omaan kattoon.

QAH poistaa katon ohittamalla välikäs opettajan kokonaan. 4‑bittinen oppilas destilloituu suoraan alkuperäisestä, pakkaamattomasta 120B‑mallista, vastaamalla sen lähtöjakaumaa KL‑divergenssi‑häviöllä logiteissa. Opettaja ja oppilas eivät jaa kokoa eikä tarkkuutta, mikä kirjoittajat huomauttavat olevan merkityksetöntä: opettajan lähtöjakauma siirtyy riippumatta oppilaan arkkitehtuurista. Tässä yhteydessä kvantisointi ei ole enää häviöllinen jälkikäsittelyvaihe, vaan toinen täysi destillaatiokierros vahvimmassa mahdollisessa opettajassa, valvonta, jota bfloat16‑tarkistuspiste ei koskaan saanut.

Mitä mittarit osoittavat

Otsikkovertailussa QAH‑käsitelty 60B MXFP4 -malli asetetaan vastakkain saman arkkitehtuurin parhaan täysprecision‑version, palautetun 60B bfloat16 -tarkistuspisteen, kanssa. 4‑bittinen malli voittaa 7:stä 9:stä mittarista:

• AA-LCR (pitkän kontekstin päättely): 42.7 vs. 35.3, 7.4 pisteen lisäys
• AIME 2025 (matematiikka): 76.3 vs. 70.7, 5.6 pisteen lisäys
• Aider (agenttipohjainen koodaus): 40.9 vs. 38.2
• τ²-bench (työkalujen käyttö): 61.7 vs. 59.4
• GPQA Diamond (tiede): 67.4 vs. 65.7
• IFBench (ohjeiden noudattaminen): 59.9 vs. 58.4
• LiveCodeBench (koodaus): 66.5 vs. 65.5

Kaksi häviötä, MMLU-Pro (73.8 vs. 74.0) ja SciCode (34.2 vs. 35.6), ovat alle puoli pistettä. Suurimmat hyödyt sijoittuvat juuri sinne, missä pakkaus yleensä aiheuttaa eniten vahinkoa: pitkän kontekstin päättelyyn ja matematiikkaan.

Alkuperäistä 120B‑opettajaa vastaan 4‑bittinen oppilas, joka käyttää puolet opettajan parametrimäärästä ja noin neljänneksen painomuistista, ohittaa sen LiveCodeBench‑testissä (66.5 vs. 66.0) ja on 1.6 pistettä GPQA Diamondissa. Suurin jäljellä oleva ero on AA-LCR:ssä, jossa opettaja saa 50.0 pistettä oppilaan 42.7:n sijaan – kyky, jonka paperi kuvaa sisäisesti vaikeimmaksi palauttaa kapasiteetin leikkauksen jälkeen.

Nopeampi koulutus, eikä se romaha

Toinen kokeilu eristää häviöfunktiota. Kvantisointi GPT-OSS 9B -mallille MXFP4:ksi samankaltaisissa olosuhteissa, QAH ja QAT saavuttavat käytännössä tasaiset huippupisteet, 54.9 vastaan 54.6, keskiarvona MMLU-Pro, LiveCodeBench ja GPQA Diamond. Polut eroavat sen jälkeen. QAH saavuttaa huippunsa noin 100 koulutusaskeleessa, noin 7‑kertaisesti nopeammin kuin QAT:n 700 askelta, ja pysyy kahden pisteen sisällä huippuarvostaan askel 1,200 asti. QAT romahtaa huippunsa jälkeen, menettäen lähes 19 pistettä samassa merkissä.

Käytännön seuraus on käyttöönoton riskieroa, jonka kirjoittajat kuvaavat näin: QAT‑tarkistuspiste vaatii tarkkaa varhaista pysäytystä pidettävän signaalin perusteella, tai tiimi julkaisee mallin, joka on jo alkanut heikentyä. QAH‑tarkistuspiste, joka on sidottu jäädytettyyn opettajajakaumaan, ei enää saa gradienttia, joka työntäisi sitä minnekään sen jälkeen kun se on saavuttanut tasapainon, joten täysin koulutettu tarkistuspiste voidaan ottaa käyttöön ilman jatkuvaa valvontaa. Paperi selittää eron itse häviöön: risti‑entropia‑tavoite työntää mallia kohti kovia luokkia loputtomiin, kun taas KL‑destillaatio kiinteää kohdetta vastaan hiljenee konvergenssin saavuttua.

Pieniä tarkennuksia

Nämä ovat Multiverse Computingin omia mittauksia omasta putkistostaan, raportoituina sen paperissa ja blogikirjoituksessa, eivät itsenäistä arviointia. Paperi toteaa, että QAH‑oppilas julkaistaan avoimen painon versiona HyperNova-60B, yrityksen Apache 2.0 -mallina, joka on rakennettu gpt-oss-120b:stä.

Tekniikka riippuu myös yrityksen aikaisemmasta työstä. 32 000‑tokenin kontekstipituuksilla tapahtuva parantaminen koulutuskorpuksessa käyttää uudelleenkäytettävää paloittettua KL‑divergenssi‑häviötä, joka laskee divergenssin yksi sekvenssiviipale kerrallaan sen sijaan, että se materialisoisi koko sanaston‑sekvenssiruudukon; tästä on kyse seuraavassa paperissa ja blogikirjoituksessa, joka julkaistiin 10. elokuuta 2026. Tämä aikaisempi työ leikkasi huippumuistin 32K‑token‑destillaatiolle 85.2 GiB:stä 5.45 GiB:iin erillisessä mittauksessa, ja mahdollistaa pitkän kontekstin parantamisen kiinteän GPU‑budjetin sisällä. Uusi paperi myös nostaa esiin toistettavan laadun eron hajautettujen koulutus‑taustajärjestelmien välillä, ilman että blogiyhteenveto nimeää voittajaa.

Miksi tulos leviää

Tehokkuuslaskelma on sama laskelma, joka alun perin motivoi pakkausta, ja se tekee tarkkuus‑käänteestä merkityksellisen. 4‑bittisen tarkkuuden QAH‑malli käyttää noin neljä kertaa vähemmän painomuistia kuin bfloat16‑oppilas, ja puolella opettajan parametrimäärällä se puolittaa laskennan tokenia kohti; malliperheille, jotka toimitetaan bfloat16‑muodossa 4‑bittisen sijaan, yhdistetty vähennys lähestyy kahdeksan kertaa vähemmän laskentaa tokenia kohti. Multiversen nykyinen julkaisulinja heijastaa samaa filosofiaa: sen Hypernova 60B 2605 -tarkistuspiste toimitetaan 32 GB painoilla verrattuna 65 GB:iin gpt-oss-120b:ssä, ja yritys raportoi korkeampaa läpimenoaikaa yhdellä NVIDIA H200 -laitteella.

Jos resepti pätee tämän putken ulkopuolelle, implikaatio avoimen painon käyttöönotolle on, että 4‑bittisen palvelun tarkkuusverotus ei ole luonnonlaki, vaan riippuu siitä, kuka opettaa oppilaan. Multiversen pakkaustyötä on tähän mennessä sovellettu muiden laboratoriotöiden avoimiin malleihin, ja yritys myy reseptiä, jonka tiimi voi ottaa käyttöön ilman moniviikkoista hyperparametrien hakua. 4‑bittinen tarkistuspiste, joka päihittää 16‑bittisen vanhempansa 7:ssä 9:stä mittarista, on se todiste, jonka se valitsi korostettavakseen.