Multiverse Computing’in 4-Bit İyileştirme Yöntemi, Tam Hassasiyetli Modeli Geride Bırakıyor

Multiverse Computing, 25 Ağustos 2026’da, model dağıtımındaki en güvenilir ödünleşmelerden birini tersine çeviren bir teknik yayınladı: parametre sayısı yarıya düşürülmüş ve 4 bit’e kuantize edilmiş büyük bir dil modeli, oluşturulduğu tam hassasiyetli checkpoint’ten daha yüksek bir puan alıyor. “Quantization-Aware Healing (QAH)” (Kuantizasyon Bilinçli İyileştirme) adı verilen yöntem, bir şirket blog gönderisi ve eşlik eden bir makalede ayrıntılı olarak açıklanıyor ve OpenAI’nın GPT-OSS 120B modeline uygulanarak 60B parametreye sıkıştırıldı ve MXFP4’e kuantize edildi. Ortaya çıkan 4‑bit model, 9 benchmark’tan 7’sinde kendi bfloat16 kaynağını geride bırakarak, uzun bağlamlı akıl yürütmede 7.4 puan, yarışma matematiğinde ise 5.6 puan kazanım sağladı.

Bu sonuç, yeni bir sınır modeli için bir sıralama girişi değildir. Model sıkıştırma hatlarında yer alan iyileştirme adımıyla ilgili bir iddiadır; yani küçültülüp kuantize edilen bir modelin, bu adımların yok ettiği yetenekleri geri kazanmak üzere yeniden eğitildiği aşamadır. Multiverse’ın, Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs başlıklı makalesinde ortaya koyduğu argüman, alandaki standart iyileştirme yöntemlerinin kuantize modeli yanlış öğretmene bağladığı ve bu tek seçimin düzeltilmesinin sıkıştırılmış bir modelin ne kadar iyi olabileceği üzerindeki tavanı kaldırdığı yönündedir.

Öğretmen Dar Boğazdı

Standart verimli dağıtım tarifinin üç aşaması vardır: mimariyi katman, baş veya nöron kaldırarak yapısal olarak sıkıştırmak; kalan ağırlıkları 4 bite kuantize etmek; ardından hasarı daha fazla eğitimle iyileştirmek. Hakim iyileştirme yöntemi, kuantizasyon‑bilinçli eğitim, düşük hassasiyetli bir ileri geçişi taklit ederek modelin görev verileri üzerinde ince ayar yapmaya devam eder. Alternatif bir yöntem olan kuantizasyon‑bilinçli distilasyon ise kuantize öğrenci modelini, dondurulmuş tam hassasiyetli öğretmenin çıktı dağılımına uydurur.

Her iki yöntem de kuantizasyon tek değişiklik olduğunda çalışır, çünkü aynı modelin gerçek tam hassasiyetli bir kopyası öğretmek için mevcuttur. Yapısal sıkıştırma bu varsayımı bozar. 120B’den 60B’ye düşürülen bir model, tam hassasiyetle bağımsız olarak eğitilmemiştir; tek bfloat16 aday, orijinalden distilasyonla elde edilmiş bir checkpoint’tir. Multiverse’ın savunduğu gibi, 4‑bit öğrenci bu checkpoint’ten distile edildiğinde, doğruluğu o checkpoint’in kendi tavanıyla sınırlanır.

QAH, ara öğretmeni tamamen atlayarak bu tavanı kaldırır. 4‑bit öğrenci, orijinal, sıkıştırma öncesi 120B modelinden doğrudan distile edilir ve logits üzerindeki KL‑divergans kaybı ile çıktı dağılımını eşleştirir. Öğretmen ve öğrenci ne boyut ne de hassasiyet bakımından aynı değildir; yazarlar bunun önemli olmadığını, öğretmenin çıktı dağılımının öğrencinin mimarisinden bağımsız olarak aktarılabildiğini belirtir. Bu çerçevede, kuantizasyon artık kayıplı bir son‑işlem adımı olmaktan çıkar ve mevcut en güçlü öğretmene karşı ikinci bir tam distilasyon turu hâline gelir; bfloat16 checkpoint’in hiç almadığı bir gözetim sağlanır.

Benchmark’ler Ne Gösteriyor

Başlık karşılaştırması, QAH‑tedavi edilmiş 60B MXFP4 modelini aynı mimarinin en iyi tam hassasiyetli versiyonu olan geri kazanılmış 60B bfloat16 checkpoint ile karşılaştırır. 4‑bit model 9 benchmark’tan 7’sinde üstünlük kurar:

• AA-LCR (uzun bağlam akıl yürütmesi): 42.7 vs. 35.3, 7.4 puanlık artış
• AIME 2025 (matematik): 76.3 vs. 70.7, 5.6 puanlık artış
• Aider (ajan kodlama): 40.9 vs. 38.2
• τ²-bench (araç kullanımı): 61.7 vs. 59.4
• GPQA Diamond (bilim): 67.4 vs. 65.7
• IFBench (talimat takibi): 59.9 vs. 58.4
• LiveCodeBench (kodlama): 66.5 vs. 65.5

İki kayıp, MMLU-Pro (73.8 vs. 74.0) ve SciCode (34.2 vs. 35.6), bir buçuk puanın altında kalır. En büyük kazançlar, sıkıştırmanın genellikle en çok zarar verdiği alanlarda gerçekleşir: uzun bağlam akıl yürütmesi ve matematik.

Orijinal 120B öğretmene karşı, 4‑bit öğrenci, öğretmenin parametre sayısının yarısı ve ağırlık belleğinin yaklaşık dörtte biriyle, LiveCodeBench’te (66.5 vs. 66.0) üstünlük sağlar ve GPQA Diamond’ta 1.6 puan farkla yakındır. En geniş kalan fark AA-LCR’dedir; öğretmen 50.0 puan alırken öğrenci 42.7 puan alır; bu, kapasite kesildikten sonra geri kazanılması en zor olan yetenek olarak makalede tanımlanmıştır.

Daha Hızlı Eğitim ve Çökmez

İkinci bir deney, kayıp fonksiyonunu izole eder. Aynı koşullarda MXFP4’e kuantize edilmiş bir GPT-OSS 9B modeli için QAH ve QAT, MMLU-Pro, LiveCodeBench ve GPQA Diamond ortalamasında etkili olarak eşit zirve puanları elde eder: 54.9 vs. 54.6. Yol bundan sonra ayrılır. QAH, yaklaşık 100 eğitim adımında zirveye ulaşır; bu, QAT’ın 700 adımına göre 7 kat daha hızlıdır ve 1,200. adımda bile zirve puanının iki puan içinde kalır. QAT ise zirvesinin ardından çökerek aynı işaretçide neredeyse 19 puan kaybeder.

Pratik sonuç, yazarların belirttiği gibi bir dağıtım‑risk farkıdır: QAT checkpoint’i, tutulan bir sinyal karşısında dikkatli erken durdurma gerektirir, aksi takdirde ekip zaten bozulmaya başlayan bir modeli gönderir. QAH checkpoint’i, dondurulmuş bir öğretmen dağılımına bağlı olduğundan, yaklaştığında yönlendiren bir gradyan yoktur; bu yüzden tam eğitimli bir checkpoint, ek izleme olmadan hizmete alınabilir. Makale, farkı kayba bağlar: çapraz‑entropi hedefi, zor etiketlere sınırsız itmeye devam ederken, sabit bir hedefe karşı KL distilasyonu, yakınsama noktasında sessizleşir.

Detaylar

Bunlar, Multiverse Computing’in kendi makalesi ve blog gönderisinde raporladığı, kendi hattının ölçümleridir; bağımsız bir değerlendirme değildir. Makale, QAH öğrencisinin HyperNova-60B adıyla açık‑ağırlıklı olarak yayımlandığını, şirketin Apache 2.0 lisanslı modelinin gpt-oss-120b’den üretildiğini belirtir.

Teknik, şirketin önceki çalışmalarındaki altyapıya da dayanır. Eğitim veri kümesindeki 32.000‑token bağlam uzunluklarında iyileştirme, tam kelime‑dizgi ızgarasını oluşturmadan, her bir dizi dilimini ayrı ayrı işleyen parçalı bir KL‑divergans kaybını yeniden kullanır; bu, eşlik eden bir makale ve gönderide 10 Ağustos 2026’da yayınlanmıştır. Bu önceki çalışma, 32K‑token distilasyonu için tepe belleği 85.2 GiB’den 5.45 GiB’ye düşürmüş ve uzun bağlam iyileştirmenin sabit bir GPU bütçesine sığmasını sağlamıştır. Yeni makale ayrıca dağıtık‑eğitim arka planları arasında yeniden üretilebilir bir kalite farkı olduğunu, blog özetinde kazananı adlandırmadan bir dağıtım dersi olarak işaret eder.

Sonucun Neden Yaygınlaştığı

Verimlilik hesabı, sıkıştırmayı ilk başta motive eden aynı hesabı taşır; bu da doğruluk tersine çevrildiğinde anlam kazanır. 4‑bit hassasiyette QAH modeli, bfloat16 öğrenciye göre yaklaşık 4 kat daha az ağırlık belleği kullanır ve öğretmenin yarı parametresi sayesinde token başına hesaplamayı da yaklaşık yarıya indirir; bfloat16 yerine 4‑bit kullanan model aileleri için birleşik azalma, token başına yaklaşık 8 kat daha az hesaplama anlamına gelir. Multiverse’ın mevcut sürüm hattı aynı felsefeyi yansıtır: Hypernova 60B 2605 checkpoint’i, gpt-oss-120b’nin 65 GB ağırlığına karşı 32 GB ağırlıkla gelir ve şirket, tek bir NVIDIA H200 üzerinde daha yüksek verim elde ettiğini rapor eder.

Eğer tarif bu hattın ötesinde de geçerli olursa, açık‑ağırlıklı dağıtım için çıkarım, 4‑bit sunumundaki doğruluk vergisinin doğa kanunu değil, öğrenciyi kimlerin eğittiğiyle ilgili bir yan etkidir. Multiverse’ın sıkıştırma çalışması, şu ana kadar diğer laboratuvarların açık modellerine uygulanmış ve şirket, çok haftalık bir hiperparametre araması gerektirmeden bir ekibin dağıtabileceği bir tarif olarak satmaktadır. 4‑bit checkpoint’in, 9 benchmark’tan 7’sinde 16‑bit ebeveynini geride bırakması, şirketin öne çıkarmak istediği kanıttır.