4‑bitowe uzdrawianie Multiverse Computing przewyższa model o pełnej precyzji

Multiverse Computing opublikowało technikę 25 sierpnia 2026 roku, która odwraca jeden z najpewniejszych kompromisów w wdrażaniu modeli: duży model językowy skompresowany do połowy liczby parametrów i skwantowany do 4 bitów, który uzyskuje wyższy wynik niż pełnoprecyzyjny checkpoint, z którego został zbudowany. Metoda, nazwana Quantization-Aware Healing (QAH), jest szczegółowo opisana w wpisie na blogu firmy oraz w towarzyszącym artykule, i została zastosowana do GPT‑OSS 120B firmy OpenAI, skompresowanego do 60 B parametrów i skwantowanego do MXFP4. Powstały 4‑bitowy model przewyższa swój własny źródłowy bfloat16 w 7 z 9 benchmarków, w tym o 7,4 punktu w rozumowaniu długokontekstowym i 5,6 punktu w matematyce konkursowej.

Wynik nie jest pozycją w rankingu nowego modelu na pograniczu. To twierdzenie dotyczące etapu odzyskiwania w pipeline’ach kompresji, czyli fazy, w której model, który został skompresowany i skwantowany, jest ponownie trenowany, aby odzyskać zdolności utracone przez te kroki. Argument Multiverse, przedstawiony w artykule Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs, brzmi, że standardowe metody odzyskiwania w dziedzinie zakotwiczają skwantowany model do niewłaściwego nauczyciela, a naprawienie tego jednego wyboru usuwa górny limit jakości skompresowanego modelu.

The Teacher Was the Bottleneck

Standardowy przepis na efektywne wdrożenie składa się z trzech etapów: strukturalna kompresja architektury poprzez usunięcie warstw, głowic lub neuronów; kwantyzacja pozostałych wag do 4 bitów; a następnie naprawa uszkodzeń dalszym treningiem. Dominującą metodą naprawy jest trening świadomy kwantyzacji, który kontynuuje drobne dostrajanie modelu na danych zadania poprzez symulowany niskoprecyzyjny przebieg w przód. Alternatywą jest destylacja świadoma kwantyzacji, w której kwantowany uczeń jest uczony dopasowania do rozkładu wyjścia zamrożonego nauczyciela o pełnej precyzji.

Obie metody działają, gdy kwantyzacja jest jedyną zmianą, ponieważ istnieje prawdziwa kopia modelu o pełnej precyzji, z której można się uczyć. Strukturalna kompresja łamie to założenie. Model 60 B wycięty z 120 B nigdy nie był niezależnie trenowany w pełnej precyzji; jedynym kandydatem bfloat16 jest checkpoint, który sam został odzyskany poprzez destylację z oryginału. Destylując 4‑bitowego ucznia z tego checkpointu, Multiverse twierdzi, że ogranicza jego dokładność do górnego pułapu tego odzyskanego checkpointu.

QAH usuwa ten pułap, pomijając pośredniego nauczyciela całkowicie. 4‑bitowy uczeń destyluje bezpośrednio z oryginalnego, przedkompresyjnego modelu 120 B, dopasowując jego rozkład wyjścia poprzez stratę KL‑dywergencji na logitach. Nauczyciel i uczeń nie dzielą ani rozmiaru, ani precyzji, co autorzy zauważają, że nie ma znaczenia: rozkład wyjścia nauczyciela przenosi się niezależnie od architektury ucznia. W takim ujęciu kwantyzacja przestaje być stratnym etapem post‑processingu i staje się drugą pełną rundą destylacji przeciwko najsilniejszemu dostępnemu nauczycielowi, nadzorowi, którego sam checkpoint bfloat16 nigdy nie otrzymał.

What the Benchmarks Show

Główne zestawienie porównuje model 60 B MXFP4 poddany QAH z najlepszą wersją pełnoprecyzyjną tej samej architektury, odzyskanym checkpointem 60 B bfloat16. 4‑bitowy model wygrywa w 7 z 9 benchmarków:

• AA‑LCR (rozumowanie długokontekstowe): 42.7 vs. 35.3, zysk 7.4 punktu
• AIME 2025 (matematyka): 76.3 vs. 70.7, zysk 5.6 punktu
• Aider (kodowanie agentowe): 40.9 vs. 38.2
• τ²-bench (użycie narzędzi): 61.7 vs. 59.4
• GPQA Diamond (nauka): 67.4 vs. 65.7
• IFBench (śledzenie instrukcji): 59.9 vs. 58.4
• LiveCodeBench (kodowanie): 66.5 vs. 65.5

Dwa wyniki, MMLU‑Pro (73.8 vs. 74.0) i SciCode (34.2 vs. 35.6), są poniżej jednego i pół punktu. Największe zyski pojawiają się dokładnie tam, gdzie kompresja zwykle powoduje najwięcej szkód: w rozumowaniu długokontekstowym i matematyce.

W porównaniu z oryginalnym nauczycielem 120 B, 4‑bitowy uczeń, działający przy połowie liczby parametrów nauczyciela i mniej więcej jednej czwartej pamięci wag, wyprzedza go w LiveCodeBench (66.5 vs. 66.0) i jest w odległości 1.6 punktu od GPQA Diamond. Najszersza pozostała różnica dotyczy AA‑LCR, gdzie nauczyciel uzyskuje 50.0 przeciwko 42.7 ucznia – zdolność, którą artykuł opisuje jako wewnętrznie najtrudniejszą do odzyskania po ograniczeniu pojemności.

Faster to Train, and It Does Not Collapse

Drugi eksperyment izoluje funkcję straty. Kwantyzując model GPT‑OSS 9B do MXFP4 w warunkach dopasowanych, QAH i QAT osiągają praktycznie wyrównane szczytowe wyniki, 54.9 vs. 54.6, średnio pośród MMLU‑Pro, LiveCodeBench i GPQA Diamond. Od tego punktu ścieżki się rozdzielają. QAH osiąga szczyt po około 100 krokach treningu, czyli około 7‑krotnie szybciej niż QAT (700 kroków), i utrzymuje się w odległości dwóch punktów od tego szczytu aż do kroku 1 200. QAT załamuje się po przekroczeniu szczytu, tracąc prawie 19 punktów do tego samego momentu.

Praktyczną konsekwencją jest różnica w ryzyku wdrożenia, którą autorzy opisują: checkpoint QAT wymaga starannego wczesnego zatrzymania względem odrzuconego sygnału, albo zespół wypuszcza model, który już zaczął się pogarszać. Checkpoint QAH, powiązany z zamrożonym rozkładem nauczyciela, nie ma gradientu popychającego go dalej po wyrównaniu, więc w pełni wytrenowany checkpoint może być udostępniony bez tego nadzoru. Artykuł przypisuje różnicę samej funkcji straty: cel krzyżowej entropii nieustannie popycha w stronę twardych etykiet, podczas gdy destylacja KL wobec stałego celu wycisza się przy zbieżności.

The Fine Print

Są to własne pomiary Multiverse Computing własnego pipeline’u, zgłoszone w ich artykule i wpisie na blogu, a nie niezależna ocena. Artykuł stwierdza, że uczeń QAH jest udostępniany jako otwarto‑wagowy HyperNova-60B, model firmy na licencji Apache 2.0 zbudowany z gpt-oss-120b.

Technika zależy również od infrastruktury opracowanej we wcześniejszych pracach firmy. Uzdrawianie przy długościach kontekstu 32 000 tokenów w korpusie treningowym ponownie wykorzystuje podzieloną stratę KL‑dywergencji, która oblicza dywergencję fragment po fragmencie sekwencji zamiast materializować pełną siatkę słownik‑sekwencja, co jest tematem towarzyszącego artykułu i wpisu opublikowanego 10 sierpnia 2026. Ta wcześniejsza praca zmniejszyła szczytową pamięć potrzebną do destylacji 32K‑tokenowej z 85.2 GiB do 5.45 GiB w odrębnym benchmarku i umożliwia dopasowanie uzdrawiania długokontekstowego do stałego budżetu GPU. Nowy artykuł również wskazuje reprodukowalną lukę jakościową między backendami treningu rozproszonego jako lekcję wdrożeniową, nie wymieniając zwycięzcy w podsumowaniu bloga.

Why the Result Travels

Arytmetyka efektywności jest tą samą arytmetyką, która pierwotnie napędza kompresję, a to właśnie sprawia, że odwrócenie dokładności ma znaczenie. Przy precyzji 4‑bitowej model QAH zużywa około 4‑krotnie mniej pamięci wag niż uczeń bfloat16, a przy połowie liczby parametrów nauczyciela mniej więcej podwaja zużycie obliczeń na token; dla rodzin modeli, które są dystrybuowane w bfloat16 zamiast 4‑bit, łączna redukcja zbliża się do 8‑krotnego zmniejszenia obliczeń na token. Obecna linia wydań Multiverse odzwierciedla tę samą filozofię: ich checkpoint Hypernova 60B 2605 ma 32 GB wag w porównaniu do 65 GB dla gpt-oss-120b, a firma zgłasza wyższą przepustowość na pojedynczym NVIDIA H200.

Jeśli przepis sprawdzi się poza tym pipeline’em, implikacją dla otwarto‑wagowego wdrożenia jest to, że podatek na dokładność przy serwowaniu w 4‑bit nie jest prawem natury, lecz artefaktem tego, kto uczy ucznia. Prace kompresyjne Multiverse dotychczas zastosowano do otwartych modeli innych laboratoriów, a firma sprzedaje przepis jako rozwiązanie, które zespół może wdrożyć bez wielotygodniowego przeszukiwania hiperparametrów. 4‑bitowy checkpoint, który przewyższa swojego 16‑bitowego rodzica w 7 z 9 benchmarków, jest dowodem, który wybrali jako główny argument.