4-Bit Healing Multiverse Computing Mengalahkan Model Presisi Penuh

Multiverse Computing menerbitkan sebuah teknik pada 25 Agustus 2026 yang membalik salah satu kompromi paling dapat diandalkan dalam penyebaran model: sebuah model bahasa besar yang dikompresi menjadi setengah parameter dan dikuantisasi menjadi 4 bit namun memperoleh skor lebih tinggi daripada checkpoint presisi penuh yang menjadi dasarnya. Metode ini, yang disebut Quantization-Aware Healing (QAH), dijelaskan dalam sebuah posting blog perusahaan dan makalah pendamping, dan diterapkan pada GPT-OSS 120B milik OpenAI yang dikompresi menjadi 60B parameter serta dikuantisasi menjadi MXFP4. Model 4-bit yang dihasilkan mengalahkan sumber bfloat16‑nya pada 7 dari 9 benchmark, termasuk peningkatan 7,4 poin pada penalaran konteks panjang dan 5,6 poin pada matematika kompetisi.

Hasil ini bukan entri papan peringkat untuk model frontier baru. Ini merupakan klaim mengenai langkah pemulihan dalam pipeline kompresi, tahap di mana model yang telah diperkecil dan dikuantisasi dilatih kembali untuk merebut kembali kemampuan yang hilang akibat langkah‑langkah tersebut. Argumen Multiverse, yang dipaparkan dalam makalah Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs, adalah bahwa metode pemulihan standar di bidang ini mengaitkan model terkuantisasi dengan guru yang salah, dan bahwa memperbaiki pilihan tunggal itu menghilangkan batas atas pada kualitas yang dapat dicapai oleh model terkompresi.

Guru Menjadi Kendala

Resep penyebaran efisien standar memiliki tiga tahap: secara struktural mengompresi arsitektur dengan menghapus lapisan, kepala, atau neuron; mengkuantisasi bobot yang tersisa menjadi 4 bit; lalu memperbaiki kerusakan dengan pelatihan lanjutan. Metode penyembuhan yang dominan, pelatihan yang sadar kuantisasi (quantization-aware training), melanjutkan fine‑tuning model pada data tugas melalui simulasi pass maju berpresisi rendah. Alternatifnya, distilasi yang sadar kuantisasi (quantization-aware distillation), melatih model siswa terkuantisasi untuk meniru distribusi output guru presisi penuh yang dibekukan.

Kedua metode berfungsi ketika kuantisasi merupakan satu‑satunya perubahan, karena terdapat salinan presisi penuh yang sejati dari model yang sama untuk dijadikan guru. Kompresi struktural melanggar asumsi tersebut. Model 60B yang dipotong dari 120B tidak pernah dilatih secara independen pada presisi penuh; satu‑satunya kandidat bfloat16 adalah checkpoint yang sendiri dipulihkan melalui distilasi dari model asli. Menyuling siswa 4‑bit dari checkpoint tersebut, menurut Multiverse, membatasi akurasinya pada batas atas checkpoint yang dipulihkan.

QAH menghilangkan batas tersebut dengan melewatkan guru perantara sepenuhnya. Siswa 4‑bit melakukan distilasi langsung dari model 120B asli sebelum kompresi, menyesuaikan distribusi outputnya melalui loss KL‑divergence pada logits. Guru dan siswa tidak berbagi ukuran maupun presisi, yang dicatat penulis tidak menjadi masalah: distribusi output guru dapat ditransfer terlepas dari arsitektur siswa. Dengan kerangka ini, kuantisasi tidak lagi menjadi langkah pasca‑pemrosesan yang merugikan, melainkan menjadi proses distilasi penuh kedua melawan guru terkuat yang tersedia, supervisi yang tidak pernah diterima checkpoint bfloat16.

Apa yang Ditunjukkan oleh Benchmark

Perbandingan utama menempatkan model 60B MXFP4 yang diproses QAH melawan versi presisi penuh terbaik dari arsitektur yang sama, yaitu checkpoint bfloat16 60B yang dipulihkan. Model 4‑bit menang pada 7 dari 9 benchmark:

• AA-LCR (penalaran konteks panjang): 42,7 vs. 35,3, peningkatan 7,4 poin
• AIME 2025 (matematika): 76,3 vs. 70,7, peningkatan 5,6 poin
• Aider (pengkodean agen): 40,9 vs. 38,2
• τ²-bench (penggunaan alat): 61,7 vs. 59,4
• GPQA Diamond (ilmu pengetahuan): 67,4 vs. 65,7
• IFBench (mengikuti instruksi): 59,9 vs. 58,4
• LiveCodeBench (pengkodean): 66,5 vs. 65,5

Dua penurunan, MMLU-Pro (73,8 vs. 74,0) dan SciCode (34,2 vs. 35,6), masing‑masing kurang dari setengah poin. Peningkatan terbesar terjadi tepat pada area di mana kompresi biasanya menimbulkan kerusakan paling besar: penalaran konteks panjang dan matematika.

Melawan guru 120B asli, siswa 4‑bit, yang beroperasi dengan setengah jumlah parameter guru dan kira‑kira seperempat memori bobotnya, mengungguli pada LiveCodeBench (66,5 vs. 66,0) dan selisihnya hanya 1,6 poin pada GPQA Diamond. Selisih terbesar yang tersisa terdapat pada AA-LCR, di mana guru mencetak 50,0 dibandingkan 42,7 siswa, kemampuan yang dijelaskan dalam makalah sebagai yang paling sulit dipulihkan setelah kapasitas dipotong.

Lebih Cepat Dilatih, dan Tidak Mengalami Keruntuhan

Eksperimen kedua memisahkan fungsi loss. Mengkuantisasi model GPT-OSS 9B menjadi MXFP4 dalam kondisi yang sebanding, QAH dan QAT mencapai skor puncak yang pada dasarnya setara, 54,9 vs. 54,6, rata‑rata pada MMLU-Pro, LiveCodeBench, dan GPQA Diamond. Dari situ jalurnya berpisah. QAH mencapai puncak dalam kira‑kira 100 langkah pelatihan, sekitar 7 kali lebih cepat dibandingkan 700 langkah QAT, dan tetap berada dalam dua poin dari puncak tersebut hingga langkah 1.200. QAT kemudian runtuh setelah puncaknya, kehilangan hampir 19 poin pada titik yang sama.

Konsekuensi praktisnya adalah perbedaan risiko penyebaran yang dijelaskan penulis: checkpoint QAT memerlukan penghentian awal yang cermat terhadap sinyal yang ditahan, atau tim meluncurkan model yang sudah mulai menurun. Checkpoint QAH, yang terikat pada distribusi guru yang dibekukan, tidak memiliki gradien yang mendorongnya ke mana pun setelah menyamai guru, sehingga checkpoint yang telah sepenuhnya dilatih dapat disajikan tanpa pengawasan tersebut. Makalah mengaitkan perbedaan ini pada loss itu sendiri: tujuan cross‑entropy terus mendorong ke label keras tanpa henti, sementara distilasi KL terhadap target tetap berhenti pada konvergensi.

Catatan Kecil

Ini merupakan pengukuran internal Multiverse Computing atas pipeline-nya sendiri, dilaporkan dalam makalah dan posting blognya, bukan evaluasi independen. Makalah menyatakan bahwa model siswa QAH dirilis sebagai open‑weight dengan nama HyperNova-60B, model Apache 2.0 perusahaan yang dibangun dari gpt-oss-120b.

Teknik ini juga bergantung pada infrastruktur dari pekerjaan sebelumnya perusahaan. Penyembuhan pada panjang konteks 32.000 token dalam korpus pelatihan kembali menggunakan loss KL‑divergence berpotongan yang menghitung divergensi satu potongan urutan pada satu waktu alih‑alih memuat seluruh grid kosakata‑per‑urutan, yang menjadi subjek makalah pendamping dan posting yang diterbitkan pada 10 Agustus 2026. Pekerjaan sebelumnya tersebut mengurangi memori puncak untuk distilasi 32K‑token dari 85,2 GiB menjadi 5,45 GiB dalam benchmark terisolasi, dan itulah yang memungkinkan penyembuhan konteks panjang muat dalam anggaran GPU tetap. Makalah baru juga menandai adanya kesenjangan kualitas yang dapat direproduksi antara backend pelatihan terdistribusi sebagai pelajaran penyebaran, tanpa menyebutkan pemenang dalam rangkuman blog.

Mengapa Hasil Ini Menyebar

Aritmetika efisiensi adalah aritmetika yang sama yang mendorong kompresi pada awalnya, yang menjadikan inversi akurasi penting. Pada presisi 4‑bit, model QAH menggunakan kira‑kira 4 kali lebih sedikit memori bobot dibandingkan siswa bfloat16, dan dengan setengah jumlah parameter guru, komputasi per token berkurang hampir setengah; bagi keluarga model yang dikirim dalam bfloat16 bukan 4‑bit, pengurangan gabungan mendekati 8 kali lebih sedikit komputasi per token. Garis rilis terkini Multiverse mencerminkan filosofi yang sama: checkpoint Hypernova 60B 2605 checkpoint mereka dikirim dengan 32 GB bobot dibandingkan 65 GB untuk gpt-oss-120b, dengan perusahaan melaporkan throughput lebih tinggi pada satu NVIDIA H200.

Jika resep ini berlaku di luar pipeline ini, implikasinya bagi penyebaran open‑weight adalah bahwa beban akurasi pada layanan 4‑bit bukanlah hukum alam melainkan artefak dari siapa yang mengajar siswa. Pekerjaan kompresi Multiverse sejauh ini telah diterapkan pada model open milik laboratorium lain, dan perusahaan menjual resep tersebut sebagai sesuatu yang dapat diterapkan tim tanpa pencarian hyperparameter selama beberapa minggu. Checkpoint 4‑bit yang mengalahkan induk 16‑bit pada 7 dari 9 benchmark adalah bukti yang mereka pilih untuk ditonjolkan.