Multiverse Computing’s 4‑Bit‑Heilung schlägt Vollpräzisionsmodell

Multiverse Computing veröffentlichte am 25. August 2026 eine Technik, die einen der verlässlichsten Kompromisse beim Modell‑Deployment umkehrt: ein großes Sprachmodell, das auf die Hälfte seiner Parameter komprimiert und auf 4 Bit quantisiert wurde, erzielt eine höhere Punktzahl als der Vollpräzisions‑Checkpoint, aus dem es hervorgegangen ist. Die Methode, genannt Quantization‑Aware Healing (QAH), wird in einem Unternehmens‑Blog‑Beitrag und einem Begleitpapier detailliert beschrieben und wurde auf OpenAIs GPT‑OSS 120B angewendet, das auf 60 B Parameter komprimiert und auf MXFP4 quantisiert wurde. Das resultierende 4‑Bit‑Modell schlägt seine eigene bfloat16‑Quelle in 7 von 9 Benchmarks, darunter Verbesserungen von 7.4 Punkten beim Langkontext‑Reasoning und 5.6 Punkten bei Wettbewerbs‑Mathematik.

Das Ergebnis ist kein Eintrag in einer Rangliste für ein neues Frontier‑Modell. Es ist ein Anspruch an den Wiederherstellungsschritt in Kompressions‑Pipelines, also die Phase, in der ein Modell, das geschrumpft und quantisiert wurde, erneut trainiert wird, um die Fähigkeiten zurückzugewinnen, die diese Schritte zerstört haben. Multiverses Argument, das im Papier Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs dargelegt wird, besagt, dass die üblichen Wiederherstellungsmethoden das quantisierte Modell am falschen Lehrer ausrichten und dass das Korrigieren dieser einen Wahl die Obergrenze dessen, wie gut ein komprimiertes Modell sein kann, entfernt.

Der Lehrer war der Engpass

Das Standard‑Rezept für effizientes Deployment besteht aus drei Stufen: strukturelle Kompression der Architektur durch Entfernen von Schichten, Köpfen oder Neuronen; Quantisierung der verbleibenden Gewichte auf 4 Bit; anschließend Heilung des Schadens durch weiteres Training. Die dominante Heilungsmethode, quantisierungs‑bewusstes Training, führt das Feintuning des Modells auf Aufgabendaten durch einen simulierten Niedrigpräzisions‑Forward‑Pass fort. Eine Alternative, quantisierungs‑bewusste Distillation, trainiert den quantisierten Schüler, um die Ausgabeverteilung eines eingefrorenen Vollpräzisions‑Lehrers nachzuahmen.

Beide funktionieren, wenn Quantisierung die einzige Änderung ist, weil eine echte Vollpräzisions‑Kopie desselben Modells zum Lehren vorhanden ist. Strukturelle Kompression bricht diese Annahme. Ein 60 B‑Modell, das von 120 B heruntergeschnitten wurde, wurde nie eigenständig in Vollpräzision trainiert; der einzige bfloat16‑Kandidat ist ein Checkpoint, der selbst durch Distillation aus dem Original wiederhergestellt wurde. Multiverse argumentiert, dass die Distillation des 4‑Bit‑Schülers aus diesem Checkpoint die Genauigkeit auf die Obergrenze des wiederhergestellten Checkpoints begrenzt.

QAH entfernt diese Obergrenze, indem es den Zwischenschritt des Lehrers komplett überspringt. Der 4‑Bit‑Schüler distilliert direkt vom ursprünglichen, vor der Kompression stehenden 120 B‑Modell und gleicht dessen Ausgabeverteilung mittels einer KL‑Divergenz‑Verlustfunktion über die Logits an. Lehrer und Schüler teilen weder Größe noch Präzision, was die Autoren anmerken, sei irrelevant: die Ausgabeverteilung eines Lehrers wird unabhängig von der Architektur des Schülers übertragen. Unter diesem Blickwinkel wird Quantisierung nicht mehr zu einem verlustbehafteten Nachbearbeitungsschritt, sondern zu einem zweiten vollständigen Durchlauf der Distillation gegen den bestmöglichen verfügbaren Lehrer – einer Aufsicht, die der bfloat16‑Checkpoint selbst nie erhalten hat.

Was die Benchmarks zeigen

Der Hauptvergleich stellt das QAH‑behandelte 60 B‑MXFP4‑Modell dem besten Vollpräzisions‑Modell derselben Architektur gegenüber, dem wiederhergestellten 60 B‑bfloat16‑Checkpoint. Das 4‑Bit‑Modell gewinnt in 7 von 9 Benchmarks:

• AA-LCR (Langkontext‑Reasoning): 42.7 vs. 35.3, ein Gewinn von 7.4 Punkten
• AIME 2025 (Mathematik): 76.3 vs. 70.7, ein Gewinn von 5.6 Punkten
• Aider (agentisches Coding): 40.9 vs. 38.2
• τ²-bench (Tool‑Nutzung): 61.7 vs. 59.4
• GPQA Diamond (Wissenschaft): 67.4 vs. 65.7
• IFBench (Instruktions‑Folgen): 59.9 vs. 58.4
• LiveCodeBench (Coding): 66.5 vs. 65.5

Die beiden Verluste, MMLU‑Pro (73.8 vs. 74.0) und SciCode (34.2 vs. 35.6), liegen jeweils unter einem Punkt und einem halben Punkt. Die größten Gewinne liegen exakt dort, wo Kompression normalerweise den meisten Schaden anrichtet: Langkontext‑Reasoning und Mathematik.

Im Vergleich zum ursprünglichen 120 B‑Lehrer liegt der 4‑Bit‑Schüler, der nur die Hälfte der Parameterzahl und etwa ein Viertel des Gewichts‑Speichers des Lehrers nutzt, beim LiveCodeBench leicht vorne (66.5 vs. 66.0) und liegt beim GPQA Diamond nur 1.6 Punkte zurück. Die breiteste verbleibende Lücke ist AA‑LCR, wo der Lehrer 50.0 Punkte erzielt, während der Schüler 42.7 Punkte erreicht – die Fähigkeit, die das Papier als intrinsisch am schwersten wiederherzustellen beschreibt, nachdem die Kapazität reduziert wurde.

Schnelleres Training und kein Kollaps

Ein zweites Experiment isoliert die Verlustfunktion. Wird ein GPT‑OSS‑9B‑Modell zu MXFP4 unter gleichen Bedingungen quantisiert, erreichen QAH und QAT praktisch identische Spitzenwerte, 54.9 gegen 54.6, gemittelt über MMLU‑Pro, LiveCodeBench und GPQA Diamond. Ab hier divergieren die Pfade. QAH erreicht den Höhepunkt nach etwa 100 Training‑Schritten, etwa 7‑mal schneller als die 700 Schritte von QAT, und bleibt bis Schritt 1 200 innerhalb von zwei Punkten dieses Höhepunkts. QAT kollabiert nach seinem Höhepunkt und verliert bis zum gleichen Zeitpunkt fast 19 Punkte.

Die praktische Konsequenz ist ein Unterschied im Deploy‑Risiko, den die Autoren herausarbeiten: Ein QAT‑Checkpoint erfordert ein sorgfältiges frühes Stop‑Kriterium gegen ein zurückgehaltenes Signal, oder ein Team liefert ein Modell, das bereits zu degradieren beginnt. Ein QAH‑Checkpoint, der an eine eingefrorene Lehrer‑Verteilung gebunden ist, hat keinen Gradient, der ihn weiter bewegt, sobald er aufgeholt hat, sodass ein vollständig trainierter Checkpoint ohne diese Überwachung bereitgestellt werden kann. Das Papier führt den Unterschied auf den Verlust selbst zurück: ein Cross‑Entropy‑Ziel drängt unendlich weiter auf harte Labels, während die KL‑Distillation gegen ein festes Ziel bei Konvergenz still wird.

Das Kleingedruckte

Dies sind Multiverse Computings eigene Messungen seiner eigenen Pipeline, berichtet im Papier und Blog‑Beitrag, nicht eine unabhängige Evaluation. Das Papier gibt an, dass der QAH‑Schüler als Open‑Weight‑Modell HyperNova-60B veröffentlicht wird, das Apache‑2.0‑Modell des Unternehmens, gebaut aus gpt‑oss‑120b.

Die Technik beruht zudem auf Werkzeugen aus früheren Arbeiten des Unternehmens. Das Heilen bei Kontextlängen von 32.000 Token im Trainingskorpus nutzt einen chunk‑basierten KL‑Divergenz‑Verlust, der die Divergenz sequenzweise Stück für Stück berechnet, anstatt das gesamte Vokabular‑nach‑Sequenz‑Gitter zu materialisieren – Gegenstand eines Begleitpapiers und Beitrags, veröffentlicht am 10. August 2026. Diese frühere Arbeit reduzierte den Spitzen‑Speicherverbrauch für eine 32K‑Token‑Distillation von 85.2 GiB auf 5.45 GiB in einem isolierten Benchmark und ermöglicht es, Langkontext‑Heilung innerhalb eines festen GPU‑Budgets zu realisieren. Das neue Papier weist zudem auf eine reproduzierbare Qualitätslücke zwischen verteilten Trainings‑Backends als Deploy‑Lehre hin, ohne im Blog‑Zusammenfassung einen Gewinner zu benennen.

Warum das Ergebnis weiterverbreitet wird

Die Effizienz‑Arithmetik ist dieselbe Arithmetik, die die Kompression überhaupt erst motiviert, und genau das lässt eine Umkehr der Genauigkeit bedeutsam werden. Bei 4‑Bit‑Präzision verbraucht das QAH‑Modell etwa viermal weniger Gewichts‑Speicher als das bfloat16‑Modell, und bei halb so vielen Parametern des Lehrers halbiert es grob den Rechenaufwand pro Token; für Modellfamilien, die in bfloat16 statt 4 Bit ausgeliefert werden, nähert sich die kombinierte Reduktion etwa dem Acht‑fachen geringeren Rechenaufwands pro Token. Multiverses aktuelle Release‑Linie spiegelt dieselbe Philosophie wider: ihr Hypernova‑60B‑2605‑Checkpoint wird mit 32 GB Gewichten gegenüber 65 GB für gpt‑oss‑120b ausgeliefert, wobei das Unternehmen eine höhere Durchsatzrate auf einer einzelnen NVIDIA H200 meldet.

Falls das Rezept über diese Pipeline hinaus gilt, impliziert das für Open‑Weight‑Deployments, dass die Genauigkeits‑Steuer beim 4‑Bit‑Serving kein Naturgesetz, sondern ein Artefakt dessen ist, wer den Schüler unterrichtet. Multiverses Kompressionsarbeit wurde bislang auf offene Modelle anderer Labore angewendet, und das Unternehmen verkauft das Rezept als etwas, das ein Team ohne mehrwöchige Hyperparameter‑Suche einsetzen kann. Der 4‑Bit‑Checkpoint, der sein 16‑Bit‑Elternmodell in 7 von 9 Benchmarks übertrifft, ist das Beweisstück, das sie anführen.