O modelo de cura de 4 bits da Multiverse Computing supera o modelo de precisão total

A Multiverse Computing publicou uma técnica em 25 de agosto de 2026 que inverte um dos trade‑offs mais confiáveis na implantação de modelos: um grande modelo de linguagem comprimido para metade de seus parâmetros e quantizado para 4 bits, que obtém pontuação superior ao checkpoint de precisão total a partir do qual foi construído. O método, chamado Quantization‑Aware Healing (QAH), é detalhado em um post no blog da empresa e em um artigo acompanhante, e foi aplicado ao GPT‑OSS 120B da OpenAI, comprimido para 60 B de parâmetros e quantizado para MXFP4. O modelo de 4 bits resultante supera sua própria fonte bfloat16 em 7 de 9 benchmarks, incluindo ganhos de 7,4 pontos em raciocínio de longo contexto e 5,6 pontos em matemática de competição.

O resultado não é uma entrada de ranking para um modelo de fronteira. Trata‑se de uma afirmação sobre a etapa de recuperação em pipelines de compressão, a fase em que um modelo que foi reduzido e quantizado é retreinado para recuperar a capacidade que essas etapas destruíram. O argumento da Multiverse, exposto no artigo Quantization‑Aware Healing: A Practical Recipe for Recovering Compressed, 4‑Bit LLMs, é que os métodos de recuperação padrão do campo ancoram o modelo quantizado ao professor errado, e que corrigir essa única escolha elimina o teto de qualidade que um modelo comprimido pode alcançar.

O Professor Era o Gargalo

A receita padrão de implantação eficiente tem três estágios: compressão estrutural da arquitetura removendo camadas, cabeças ou neurônios; quantização dos pesos remanescentes para 4 bits; e então cura do dano com treinamento adicional. O método de cura dominante, treinamento consciente da quantização, continua ajustando finamente o modelo em dados de tarefa por meio de uma passagem forward simulada de baixa precisão. Uma alternativa, destilação consciente da quantização, treina o estudante quantizado para corresponder à distribuição de saída de um professor de precisão total congelado.

Ambos funcionam quando a quantização é a única mudança, porque existe uma cópia de precisão total genuína do mesmo modelo para ensinar. A compressão estrutural quebra essa suposição. Um modelo de 60 B reduzido de 120 B nunca foi treinado independentemente em precisão total; o único candidato bfloat16 é um checkpoint que foi ele próprio recuperado por destilação a partir do original. Destilar o estudante de 4 bits a partir desse checkpoint, argumenta a Multiverse, limita sua acurácia ao teto do próprio checkpoint recuperado.

O QAH remove esse teto ao pular completamente o professor intermediário. O estudante de 4 bits destila diretamente do modelo original de 120 B pré‑compressão, correspondendo à sua distribuição de saída por meio de uma perda de divergência KL nos logits. Professor e estudante não compartilham nem tamanho nem precisão, o que os autores observam não importar: a distribuição de saída de um professor transfere independentemente da arquitetura do estudante. Sob essa perspectiva, a quantização deixa de ser uma etapa pós‑processamento com perda e torna‑se uma segunda passagem completa de destilação contra o professor mais forte disponível, supervisão que o checkpoint bfloat16 nunca recebeu.

O Que os Benchmarks Mostram

A comparação principal coloca o modelo MXFP4 de 60 B tratado com QAH contra a melhor versão de precisão total da mesma arquitetura, o checkpoint bfloat16 de 60 B recuperado. O modelo de 4 bits vence em 7 de 9 benchmarks:

• AA‑LCR (raciocínio de longo contexto): 42,7 vs. 35,3, ganho de 7,4 pontos
• AIME 2025 (matemática): 76,3 vs. 70,7, ganho de 5,6 pontos
• Aider (codificação agente): 40,9 vs. 38,2
• τ²‑bench (uso de ferramentas): 61,7 vs. 59,4
• GPQA Diamond (ciência): 67,4 vs. 65,7
• IFBench (seguimento de instruções): 59,9 vs. 58,4
• LiveCodeBench (codificação): 66,5 vs. 65,5

As duas perdas, MMLU‑Pro (73,8 vs. 74,0) e SciCode (34,2 vs. 35,6), ficam abaixo de um ponto e meio. Os maiores ganhos ocorrem exatamente onde a compressão costuma causar mais dano: raciocínio de longo contexto e matemática.

Contra o professor original de 120 B, o estudante de 4 bits, rodando com metade da contagem de parâmetros do professor e aproximadamente um quarto da memória de peso, supera‑o no LiveCodeBench (66,5 vs. 66,0) e chega a apenas 1,6 ponto do GPQA Diamond. A maior diferença restante está no AA‑LCR, onde o professor marca 50,0 contra 42,7 do estudante, capacidade que o artigo descreve como intrinsecamente mais difícil de recuperar após a redução de capacidade.

Treinamento Mais Rápido e Sem Colapso

Um segundo experimento isola a função de perda. Quantizando um modelo GPT‑OSS 9 B para MXFP4 em condições equivalentes, QAH e QAT atingem pontuações de pico efetivamente empatadas, 54,9 contra 54,6, em média nos benchmarks MMLU‑Pro, LiveCodeBench e GPQA Diamond. A partir daí, os caminhos divergem. O QAH atinge o pico em cerca de 100 passos de treinamento, aproximadamente 7 vezes mais rápido que os 700 passos do QAT, e mantém-se dentro de dois pontos desse pico até o passo 1 200. O QAT colapsa após seu pico, perdendo quase 19 pontos no mesmo marco.

A consequência prática é uma diferença de risco de implantação que os autores explicam: um checkpoint QAT requer parada precoce cuidadosa contra um sinal de validação, ou uma equipe lança um modelo que já começou a degradar. Um checkpoint QAH, ancorado a uma distribuição de professor congelada, não tem gradiente empurrando‑o em nenhuma direção depois de alcançar o professor, de modo que um checkpoint totalmente treinado pode ser servido sem essa vigilância. O artigo atribui a diferença à própria perda: um objetivo de entropia cruzada continua empurrando indefinidamente em direção a rótulos duros, enquanto a destilação KL contra um alvo fixo silencia ao convergir.

Os Detalhes

Estas são as próprias medições da Multiverse Computing de seu próprio pipeline, relatadas em seu artigo e post no blog, não uma avaliação independente. O artigo afirma que o estudante QAH é lançado como peso aberto sob o nome HyperNova-60B, modelo Apache 2.0 da empresa construído a partir do gpt‑oss‑120b.

A técnica também depende de infraestrutura desenvolvida em trabalhos anteriores da empresa. Curar em comprimentos de contexto de 32 000 tokens no corpus de treinamento reutiliza uma perda de divergência KL fragmentada que calcula a divergência fatia por fatia da sequência em vez de materializar a grade completa vocabulário‑por‑sequência, assunto de um artigo e post acompanhante publicado em 10 de agosto de 2026. Esse trabalho anterior reduziu a memória de pico para destilação de 32 K tokens de 85,2 GiB para 5,45 GiB em um benchmark isolado, e é o que permite que a cura de longo contexto caiba dentro de um orçamento fixo de GPU. O novo artigo também sinaliza uma lacuna de qualidade reproduzível entre back‑ends de treinamento distribuído como lição de implantação, sem nomear um vencedor no resumo do blog.

Por Que o Resultado Se Propaga

A aritmética de eficiência é a mesma que motiva a compressão inicialmente, e é isso que faz a inversão de acurácia ser relevante. Em precisão de 4 bits, o modelo QAH usa aproximadamente 4 vezes menos memória de peso que o estudante bfloat16, e com metade da contagem de parâmetros do professor reduz aproximadamente à metade o custo computacional por token; para famílias de modelos que são distribuídas em bfloat16 ao invés de 4 bits, a redução combinada chega a cerca de 8 vezes menos computação por token. A linha de lançamentos atual da Multiverse reflete a mesma filosofia: seu checkpoint Hypernova 60B 2605 ocupa 32 GB de pesos contra 65 GB para o gpt‑oss‑120b, com a empresa reportando maior taxa de transferência em uma única NVIDIA H200.

Se a receita se mantiver além deste pipeline, a implicação para implantação de peso aberto é que o ônus de acurácia ao servir em 4 bits não é uma lei da natureza, mas um artefato de quem ensina o estudante. O trabalho de compressão da Multiverse até agora foi aplicado a modelos abertos de outros laboratórios, e a empresa está vendendo a receita como algo que uma equipe pode implantar sem uma busca de hiperparâmetros de várias semanas. O checkpoint de 4 bits que supera seu progenitor de 16 bits em 7 de 9 benchmarks é a evidência que escolheram destacar.