4‑бітове відновлення від Multiverse Computing перевершує модель повної точності

Multiverse Computing опублікувала техніку 25 серпня 2026 року, яка змінює один із найнадійніших компромісів у розгортанні моделей: великий мовний модель, стиснута до половини кількості параметрів і квантизована до 4‑біт, демонструє кращі результати, ніж вихідна модель у повній точності. Метод, названий Quantization-Aware Healing (QAH), докладно описаний у блоґ‑пості компанії та супровідній статті, і був застосований до GPT‑OSS 120B від OpenAI, стиснутого до 60 B параметрів і квантизованого до MXFP4. Отримана 4‑бітова модель обганяє свою bfloat16‑версію у 7 із 9 тестів, включаючи приріст у 7,4 балів у довгоконтекстових роздумах і 5,6 балів у змаганнях з математики.

Результат не є новим записом у таблиці лідерів для передової моделі. Це твердження про етап відновлення у конвеєрі стискання, коли модель, що була стиснута і квантизована, повторно навчається, щоб повернути втрачені можливості. Аргумент Multiverse, викладений у статті Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs, полягає в тому, що стандартні методи відновлення прив’язують квантизовану модель до неправильного «вчителя», і виправлення цього вибору знімає обмеження на якість стиснутої моделі.

Вчитель був вузьким місцем

Стандартний рецепт ефективного розгортання має три етапи: структурно стискати архітектуру, видаляючи шари, головки або нейрони; квантизувати залишкові ваги до 4‑біт; потім лікувати пошкодження подальшим навчанням. Домінуючий метод лікування — навчання з урахуванням квантизації, яке продовжує тонке налаштування моделі на даних завдання через симульований низькоточний прямий прохід. Альтернативний підхід — дистиляція з урахуванням квантизації, коли квантизований студент навчається імітувати розподіл вихідних даних замороженого вчителя у повній точності.

Обидва підходи працюють, коли квантизація є єдиною зміною, оскільки існує справжня копія моделі у повній точності, яка може слугувати вчителем. Структурне стискання руйнує це припущення. Модель у 60 B, отримана зі 120 B, ніколи не була незалежно навчена у повній точності; єдиний кандидат у bfloat16 — це чекпоінт, який сам був відновлений дистиляцією від оригіналу. Дистилюючи 4‑бітового студента від цього чекпоінту, Multiverse стверджує, що точність обмежується верхньою межею відновленого чекпоінту.

QAH знімає цю межу, повністю пропускаючи проміжного вчителя. 4‑бітовий студент дистилюється безпосередньо від оригінальної, передстиснутої моделі 120 B, підганяючи її розподіл вихідних даних за допомогою KL‑дивергенції на логітах. Вчитель і студент не мають спільних розмірів чи точності, що, за словами авторів, не має значення: розподіл вихідних даних вчителя передається незалежно від архітектури студента. У такому підході квантизація перестає бути втратою післяобробки і стає другим повним проходом дистиляції проти найсильнішого доступного вчителя, якого оригінальний чекпоінт bfloat16 ніколи не отримував.

Що показують бенчмарки

Загальна порівняльна таблиця ставить QAH‑оброблену модель 60 B MXFP4 проти найкращої моделі у повній точності тієї ж архітектури, відновленого чекпоінту 60 B bfloat16. 4‑бітова модель виграє у 7 із 9 тестів:

• AA‑LCR (довгоконтекстові роздуми): 42.7 проти 35.3, приріст у 7.4 балів
• AIME 2025 (математика): 76.3 проти 70.7, приріст у 5.6 балів
• Aider (агентне кодування): 40.9 проти 38.2
• τ²‑bench (використання інструментів): 61.7 проти 59.4
• GPQA Diamond (наука): 67.4 проти 65.7
• IFBench (дотримання інструкцій): 59.9 проти 58.4
• LiveCodeBench (кодування): 66.5 проти 65.5

Два програші — MMLU‑Pro (73.8 проти 74.0) і SciCode (34.2 проти 35.6) — становлять менше ніж півбалі. Найбільші прирости спостерігаються саме там, де стискання зазвичай завдає найбільшої шкоди: у довгоконтекстових роздумах і математиці.

Проти оригінального вчителя 120 B, 4‑бітовий студент, який працює з половиною кількості параметрів вчителя і приблизно чвертю його пам’яті ваг, переважає його у LiveCodeBench (66.5 проти 66.0) і відстає лише на 1.6 балу у GPQA Diamond. Найбільша залишкова різниця — у AA‑LCR, де вчитель набирає 50.0, а студент — 42.7; саме цю здатність, за статтею, найскладніше відновити після скорочення місткості.

Швидше навчається і не руйнується

Другий експеримент ізолює функцію втрат. Квантизуючи модель GPT‑OSS 9 B до MXFP4 за однакових умов, QAH і QAT досягають практично однакових пікових результатів: 54.9 проти 54.6 у середньому по MMLU‑Pro, LiveCodeBench і GPQA Diamond. Далі шляхи розходяться. QAH досягає піку приблизно за 100 кроків навчання, що в 7 разів швидше, ніж 700 кроків у QAT, і зберігає результат у межах двох балів від піку до кроку 1 200. QAT же падає після піку, втрачаючи майже 19 балів до того ж моменту.

Практичний висновок — різниця у ризику розгортання, яку підкреслюють автори: чекпоінт QAT потребує ретельного раннього зупинення за допомогою відкладеного сигналу, або команда випускає модель, яка вже починає деградувати. Чекпоінт QAH, прив’язаний до замороженого розподілу вчителя, не має градієнту, що штовхає його далі після досягнення рівня вчителя, тому повністю навчену модель можна подавати без додаткового моніторингу. У статті різницю пояснюють самою функцією втрат: крос‑ентропійна мета продовжує штовхати модель до жорстких міток безкінечно, тоді як KL‑дистиляція проти фіксованої цілі затихає при збіжності.

Дрібний шрифт

Це власні вимірювання Multiverse Computing їхнього конвеєра, зазначені у статті та блоґ‑пості, а не незалежна оцінка. У статті зазначено, що студент QAH випущений як відкритий ваговий чекпоінт HyperNova-60B, модель компанії під ліцензією Apache 2.0, створена на базі gpt‑oss‑120b.

Техніка також спирається на інструменти з попередньої роботи компанії. Лікування при контекстних довжинах у 32 000 токенів у навчальному корпусі повторно використовує фрагментований KL‑дивергенційний лосс, який обчислює дивергенцію по одній частині послідовності за раз, а не матеріалізує повну матрицю «словник‑по‑послідовності». Це описано у супровідній статті та пості, опублікованих 10 серпня 2026 року. Така робота зменшила пікову пам’ять для дистиляції 32 K‑токенової послідовності з 85.2 GiB до 5.45 GiB у ізольованому тесті, і саме це дозволяє довгоконтекстове лікування вмістити у фіксований GPU‑бюджет. Нова стаття також вказує на відтворювану різницю у якості між бекендами розподіленого навчання як урок для розгортання, не називаючи переможця у підсумковому блоґ‑огляді.

Чому результат розповсюджується

Арифметика ефективності — це та сама арифметика, що спонукає стискання спочатку, і саме вона робить інверсію точності значущою. При 4‑бітовій точності модель QAH споживає приблизно в 4 рази менше пам’яті ваг, ніж студент bfloat16, а при половинній кількості параметрів вчителя приблизно вдвічі зменшує обчислення на токен; для сімей моделей, що постачаються у bfloat16, а не у 4‑біт, сумарне скорочення підходить до 8‑разового зменшення обчислень на токен. Поточна лінійка випусків Multiverse відображає ту ж філософію: її чекпоінт Hypernova 60B 2605 має 32 GB ваг проти 65 GB у gpt‑oss‑120b, і компанія повідомляє про вищу пропускну здатність на одному NVIDIA H200.

Якщо рецепт працює поза межами цього конвеєра, наслідок для відкритих вагових розгортань полягає в тому, що податок на точність при 4‑бітовому обслуговуванні не є законом природи, а артефактом того, хто навчає студента. Стискання Multiverse досі застосовувалося до відкритих моделей інших лабораторій, і компанія продає рецепт як рішення, яке команда може впровадити без багатотижневого пошуку гіперпараметрів. 4‑бітовий чекпоінт, що обганяє свого 16‑бітового предка у 7 із 9 бенчмарків, є доказом, яким саме він вирішив підкреслити.