Il modello a 4 bit di Multiverse Computing supera il modello a piena precisione

Multiverse Computing ha pubblicato una tecnica il 25 agosto 2026 che ribalta uno dei compromessi più affidabili nella distribuzione dei modelli: un modello di linguaggio di grandi dimensioni compresso a metà dei suoi parametri e quantizzato a 4 bit che ottiene un punteggio superiore al checkpoint a piena precisione da cui è stato costruito. Il metodo, chiamato Quantization-Aware Healing (QAH), è dettagliato in un post del blog aziendale e in un documento di accompagnamento, ed è stato applicato al GPT-OSS 120B di OpenAI compresso a 60B parametri e quantizzato a MXFP4. Il modello a 4 bit risultante supera la sua sorgente bfloat16 in 7 dei 9 benchmark, includendo guadagni di 7,4 punti nel ragionamento a lungo contesto e 5,6 punti nella matematica competitiva.

Il risultato non è una voce nella classifica per un modello di nuova frontiera. È una affermazione sul passaggio di recupero nelle pipeline di compressione, la fase in cui un modello che è stato ridotto e quantizzato viene riaddestrato per riconquistare le capacità distrutte da tali passaggi. L’argomento di Multiverse, esposto nel documento Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs, è che i metodi di recupero standard del settore ancorano il modello quantizzato all’insegnante sbagliato, e che correggere questa singola scelta elimina il limite superiore su quanto possa essere buono un modello compresso.

L’insegnante era il collo di bottiglia

La ricetta standard per una distribuzione efficiente prevede tre fasi: comprimere strutturalmente l’architettura rimuovendo layer, teste o neuroni; quantizzare i pesi rimanenti a 4 bit; quindi curare i danni con ulteriore addestramento. Il metodo di cura dominante, l’addestramento consapevole della quantizzazione (quantization-aware training), prosegue il fine‑tuning del modello sui dati di task attraverso un passaggio in avanti simulato a bassa precisione. Un’alternativa, la distillazione consapevole della quantizzazione (quantization-aware distillation), addestra lo studente quantizzato a replicare la distribuzione di output di un insegnante a piena precisione congelato.

Entrambi funzionano quando la quantizzazione è l’unica modifica, poiché esiste una copia genuina a piena precisione dello stesso modello da cui insegnare. La compressione strutturale infrange tale assunzione. Un modello da 60 B ridotto da 120 B non è mai stato addestrato indipendentemente a piena precisione; l’unico candidato bfloat16 è un checkpoint che è stato recuperato tramite distillazione dall’originale. Distillare lo studente a 4 bit da quel checkpoint, secondo Multiverse, limita la sua accuratezza al tetto del checkpoint recuperato.

QAH elimina il tetto saltando completamente l’insegnante intermedio. Lo studente a 4 bit si distilla direttamente dal modello originale, pre‑compressione da 120 B, facendo corrispondere la sua distribuzione di output tramite una perdita di divergenza KL sui logit. Insegnante e studente non condividono né dimensione né precisione, cosa che gli autori osservano non importare: la distribuzione di output di un insegnante si trasferisce indipendentemente dall’architettura dello studente. In questa prospettiva, la quantizzazione non è più un passaggio di post‑processing lossy, ma diventa un secondo passaggio completo di distillazione contro l’insegnante più forte disponibile, supervisione che il checkpoint bfloat16 non ha mai ricevuto.

Cosa mostrano i benchmark

La comparazione principale mette a confronto il modello 60 B MXFP4 trattato con QAH contro la migliore versione a piena precisione della stessa architettura, il checkpoint bfloat16 da 60 B recuperato. Il modello a 4 bit vince 7 dei 9 benchmark:

• AA-LCR (ragionamento a lungo contesto): 42,7 vs. 35,3, guadagno di 7,4 punti
• AIME 2025 (matematica): 76,3 vs. 70,7, guadagno di 5,6 punti
• Aider (codifica agentica): 40,9 vs. 38,2
• τ²-bench (uso di strumenti): 61,7 vs. 59,4
• GPQA Diamond (scienza): 67,4 vs. 65,7
• IFBench (seguimento istruzioni): 59,9 vs. 58,4
• LiveCodeBench (codifica): 66,5 vs. 65,5

Le due perdite, MMLU-Pro (73,8 vs. 74,0) e SciCode (34,2 vs. 35,6), sono inferiori di meno di un punto e mezzo. I guadagni più consistenti si verificano esattamente dove la compressione di solito causa il maggior danno: ragionamento a lungo contesto e matematica.

Contro l’insegnante originale da 120 B, lo studente a 4 bit, operante con metà del numero di parametri dell’insegnante e circa un quarto della sua memoria dei pesi, lo supera su LiveCodeBench (66,5 vs. 66,0) e si avvicina a 1,6 punti su GPQA Diamond. Il divario più ampio rimane in AA-LCR, dove l’insegnante segna 50,0 contro i 42,7 dello studente, capacità che il documento descrive come intrinsecamente più difficile da recuperare dopo la riduzione della capacità.

Più veloce da addestrare, e non collassa

Un secondo esperimento isola la funzione di perdita. Quantizzando un modello GPT-OSS da 9 B a MXFP4 in condizioni equivalenti, QAH e QAT raggiungono punteggi di picco praticamente pari, 54,9 contro 54,6, mediati su MMLU-Pro, LiveCodeBench e GPQA Diamond. Da lì i percorsi divergono. QAH raggiunge il picco in circa 100 passi di addestramento, circa 7 volte più veloce dei 700 di QAT, e rimane entro due punti da quel picco fino al passo 1 200. QAT collassa dopo il suo picco, perdendo quasi 19 punti allo stesso punto.

La conseguenza pratica è una differenza di rischio di distribuzione che gli autori esplicitano: un checkpoint QAT richiede un attento early stopping rispetto a un segnale di validazione, o un team rilascia un modello che ha già iniziato a degradarsi. Un checkpoint QAH, ancorato a una distribuzione di insegnante congelata, non ha alcun gradiente che lo spinga altrove una volta che ha raggiunto il livello, così un checkpoint completamente addestrato può essere servito senza tale monitoraggio. Il documento attribuisce la differenza alla perdita stessa: un obiettivo di cross‑entropy continua a spingere verso etichette dure indefinitamente, mentre la distillazione KL contro un target fisso si arresta al punto di convergenza.

Il piccolo stampato

Queste sono le proprie misurazioni di Multiverse Computing sul proprio pipeline, riportate nel suo documento e nel post del blog, non una valutazione indipendente. Il documento afferma che lo studente QAH è rilasciato come modello open‑weight HyperNova-60B, il modello Apache 2.0 dell’azienda costruito a partire da gpt-oss-120b.

La tecnica dipende anche da meccanismi sviluppati nel lavoro precedente dell’azienda. La guarigione a lunghezze di contesto di 32.000 token nel corpus di addestramento riutilizza una perdita di divergenza KL a blocchi che calcola la divergenza una fetta di sequenza alla volta invece di materializzare l’intera griglia vocabolario‑per‑sequenza, oggetto di un documento e post di accompagnamento pubblicato il 10 agosto 2026. Quel lavoro precedente ha ridotto la memoria di picco per una distillazione a 32K token da 85,2 GiB a 5,45 GiB in un benchmark isolato, ed è ciò che rende la guarigione a lungo contesto compatibile con un budget GPU fisso. Il nuovo documento segnala anche un divario di qualità riproducibile tra i backend di addestramento distribuito come lezione di distribuzione, senza nominare un vincitore nel riepilogo del blog.

Perché il risultato si propaga

L’aritmetica dell’efficienza è la stessa che motiva la compressione in primo luogo, ed è ciò che rende significativa un’inversione di accuratezza. Con precisione a 4 bit, il modello QAH utilizza circa 4 volte meno memoria dei pesi rispetto allo studente bfloat16, e con metà del numero di parametri dell’insegnante dimezza approssimativamente il calcolo per token; per le famiglie di modelli che vengono distribuite in bfloat16 anziché a 4 bit, la riduzione combinata si avvicina a 8 volte meno calcolo per token. L’attuale linea di rilascio di Multiverse riflette la stessa filosofia: il suo checkpoint Hypernova 60B 2605 viene distribuito con 32 GB di pesi contro 65 GB per gpt-oss-120b, con l’azienda che segnala una maggiore velocità su una singola NVIDIA H200.

Se la ricetta si mantiene al di là di questa pipeline, l’implicazione per la distribuzione open‑weight è che il costo in accuratezza del servizio a 4 bit non è una legge della natura ma un artefatto di chi insegna allo studente. Il lavoro di compressione di Multiverse finora è stato applicato a modelli open di altri laboratori, e l’azienda sta vendendo la ricetta come qualcosa che un team può distribuire senza una ricerca di iperparametri di settimane. Il checkpoint a 4 bit che supera il suo genitore a 16 bit in 7 dei 9 benchmark è la prova che ha scelto di mettere in evidenza.