Công nghệ 4‑Bit Healing của Multiverse Computing Đánh Bại Mô Hình Toàn Độ Chính Xác

Multiverse Computing đã công bố một kỹ thuật vào ngày 25 tháng 8 năm 2026, đảo ngược một trong những sự đánh đổi đáng tin cậy nhất trong việc triển khai mô hình: một mô hình ngôn ngữ lớn được nén xuống một nửa số tham số và lượng tử hoá thành 4 bit, nhưng đạt điểm cao hơn checkpoint toàn độ chính xác mà nó được xây dựng từ. Phương pháp, gọi là Quantization‑Aware Healing (QAH), được mô tả chi tiết trong bài đăng blog của công ty và một bài báo đi kèm, và đã được áp dụng cho GPT‑OSS 120B của OpenAI, nén xuống 60 B tham số và lượng tử hoá thành MXFP4. Mô hình 4 bit thu được đánh bại nguồn bfloat16 của chính nó trên 7 trong số 9 tiêu chuẩn, bao gồm mức tăng 7,4 điểm trong lập luận ngữ cảnh dài và 5,6 điểm trong toán học thi đấu.

Kết quả này không phải là một mục trên bảng xếp hạng cho một mô hình biên giới mới. Đó là một tuyên bố về bước khôi phục trong các quy trình nén, giai đoạn mà một mô hình đã bị thu nhỏ và lượng tử hoá được đào tạo lại để lấy lại khả năng mà các bước đó đã phá hủy. Lập luận của Multiverse, được trình bày trong bài báo Quantization‑Aware Healing: A Practical Recipe for Recovering Compressed, 4‑Bit LLMs, cho rằng các phương pháp khôi phục tiêu chuẩn trong lĩnh vực hiện nay gắn mô hình lượng tử hoá với giáo viên sai, và việc sửa đổi lựa chọn duy nhất này sẽ loại bỏ giới hạn trên về mức độ tốt mà một mô hình nén có thể đạt được.

Giáo viên là nút thắt

Công thức triển khai hiệu quả tiêu chuẩn bao gồm ba giai đoạn: nén cấu trúc kiến trúc bằng cách loại bỏ các lớp, đầu hoặc nơron; lượng tử hoá các trọng số còn lại thành 4 bit; sau đó khôi phục thiệt hại bằng việc đào tạo tiếp. Phương pháp khôi phục chi phối, đào tạo có nhận thức lượng tử (quantization‑aware training), tiếp tục tinh chỉnh mô hình trên dữ liệu nhiệm vụ thông qua một lần truyền xuôi mô phỏng độ chính xác thấp. Một phương pháp thay thế, chưng cất có nhận thức lượng tử (quantization‑aware distillation), huấn luyện sinh viên đã lượng tử hoá để khớp với phân phối đầu ra của một giáo viên toàn độ chính xác đã đóng băng.

Cả hai đều hoạt động khi lượng tử hoá là thay đổi duy nhất, vì có một bản sao toàn độ chính xác thực sự của cùng một mô hình để dạy. Việc nén cấu trúc phá vỡ giả định này. Một mô hình 60 B được cắt giảm từ 120 B chưa bao giờ được đào tạo độc lập ở độ chính xác đầy đủ; ứng cử viên bfloat16 duy nhất là một checkpoint đã được khôi phục bằng chưng cất từ mô hình gốc. Việc chưng cất sinh viên 4 bit từ checkpoint đó, theo Multiverse, sẽ giới hạn độ chính xác của nó ở mức trần của checkpoint đã khôi phục.

QAH loại bỏ giới hạn này bằng cách bỏ qua giáo viên trung gian hoàn toàn. Sinh viên 4 bit chưng cất trực tiếp từ mô hình gốc, trước khi nén, 120 B, bằng cách khớp phân phối đầu ra của nó thông qua hàm mất KL‑divergence trên logits. Giáo viên và sinh viên không chia sẻ kích thước hay độ chính xác, điều mà các tác giả lưu ý là không quan trọng: phân phối đầu ra của giáo viên vẫn truyền được bất kể kiến trúc của sinh viên. Dưới cách nhìn này, lượng tử hoá không còn là một bước xử lý hậu kỳ mất mát mà trở thành một vòng chưng cất đầy đủ thứ hai đối với giáo viên mạnh nhất hiện có, một sự giám sát mà checkpoint bfloat16 chưa bao giờ nhận được.

Những gì các tiêu chuẩn cho thấy

So sánh tiêu đề đặt mô hình 60 B MXFP4 đã được QAH xử lý đối đầu với phiên bản toàn độ chính xác tốt nhất của cùng kiến trúc, checkpoint bfloat16 60 B đã được khôi phục. Mô hình 4 bit thắng 7 trong số 9 tiêu chuẩn:

• AA‑LCR (lập luận ngữ cảnh dài): 42.7 so với 35.3, tăng 7.4 điểm
• AIME 2025 (toán): 76.3 so với 70.7, tăng 5.6 điểm
• Aider (lập trình tác nhân): 40.9 so với 38.2
• τ²‑bench (sử dụng công cụ): 61.7 so với 59.4
• GPQA Diamond (khoa học): 67.4 so với 65.7
• IFBench (theo dõi hướng dẫn): 59.9 so với 58.4
• LiveCodeBench (lập trình): 66.5 so với 65.5

Hai tiêu chuẩn thua, MMLU‑Pro (73.8 so với 74.0) và SciCode (34.2 so với 35.6), chỉ chênh lệch dưới một điểm rưỡi. Những mức tăng lớn nhất xuất hiện đúng ở những nơi nén thường gây thiệt hại nhiều nhất: lập luận ngữ cảnh dài và toán học.

So với giáo viên gốc 120 B, sinh viên 4 bit, chạy với một nửa số tham số của giáo viên và khoảng một phần tư bộ nhớ trọng số, đã vượt qua nó trên LiveCodeBench (66.5 so với 66.0) và chỉ cách 1.6 điểm so với GPQA Diamond. Khoảng cách còn lại lớn nhất là AA‑LCR, nơi giáo viên đạt 50.0 trong khi sinh viên chỉ 42.7, khả năng mà bài báo mô tả là khó khôi phục nhất sau khi dung lượng bị cắt giảm.

Đào tạo nhanh hơn, và không sụp đổ

Một thí nghiệm thứ hai cô lập hàm mất. Khi lượng tử hoá mô hình GPT‑OSS 9 B thành MXFP4 trong điều kiện tương đương, QAH và QAT đạt điểm đỉnh gần như bằng nhau, 54.9 so với 54.6, trung bình trên MMLU‑Pro, LiveCodeBench và GPQA Diamond. Từ đó, các con đường bắt đầu phân kỳ. QAH đạt đỉnh sau khoảng 100 bước đào tạo, nhanh hơn khoảng 7 lần so với QAT cần 700 bước, và duy trì trong vòng hai điểm so với đỉnh đó tới bước 1 200. QAT sụp đổ sau đỉnh, mất gần 19 điểm vào cùng thời điểm.

Hệ quả thực tiễn là một sự khác biệt về rủi ro triển khai mà các tác giả nêu rõ: một checkpoint QAT cần dừng sớm cẩn thận dựa trên tín hiệu giữ lại, hoặc một đội sẽ phát hành mô hình đã bắt đầu suy giảm. Một checkpoint QAH, gắn với phân phối giáo viên đã đóng băng, không còn gradient nào đẩy nó đi đâu sau khi bắt kịp, vì vậy một checkpoint đã được đào tạo đầy đủ có thể được phục vụ mà không cần giám sát. Bài báo quy cho sự khác biệt này cho chính hàm mất: mục tiêu cross‑entropy liên tục đẩy về các nhãn cứng vô hạn, trong khi chưng cất KL đối với mục tiêu cố định sẽ im lặng khi hội tụ.

Chi tiết nhỏ

Đây là các đo lường nội bộ của Multiverse Computing về quy trình của chính họ, được báo cáo trong bài báo và bài đăng blog, không phải một đánh giá độc lập. Bài báo cho biết sinh viên QAH được phát hành dưới dạng mở‑weight là HyperNova-60B, mô hình Apache 2.0 của công ty được xây dựng từ gpt‑oss‑120b.

Kỹ thuật này cũng phụ thuộc vào cơ sở hạ tầng từ công việc trước của công ty. Việc khôi phục ở độ dài ngữ cảnh 32 000 token trong tập dữ liệu huấn luyện tái sử dụng một hàm mất KL‑divergence dạng khối, tính độ lệch từng đoạn chuỗi một thay vì hiện thực toàn bộ lưới từ‑vựng‑theo‑chuỗi, là chủ đề của bài báo và bài đăng đi kèm công bố ngày 10 tháng 8 năm 2026. Công việc trước đó đã giảm bộ nhớ đỉnh cho một quá trình chưng cất 32K‑token từ 85.2 GiB xuống 5.45 GiB trong một benchmark cô lập, và chính nó cho phép việc khôi phục ngữ cảnh dài phù hợp trong ngân sách GPU cố định. Bài báo mới cũng chỉ ra một khoảng cách chất lượng có thể tái tạo giữa các backend đào tạo phân tán như một bài học triển khai, mà không nêu ra người thắng trong bản tóm tắt blog.

Tại sao kết quả này lan tỏa

Phép tính hiệu suất là cùng một phép tính thúc đẩy việc nén ngay từ đầu, và đó là lý do khiến việc đảo ngược độ chính xác trở nên quan trọng. Với độ chính xác 4 bit, mô hình QAH sử dụng khoảng 4 lần ít bộ nhớ trọng số hơn sinh viên bfloat16, và với một nửa số tham số của giáo viên, nó giảm khoảng một nửa tính toán cho mỗi token; đối với các họ mô hình được phát hành ở bfloat16 thay vì 4 bit, sự giảm tổng hợp gần đạt 8 lần ít tính toán cho mỗi token. Dòng phát hành hiện tại của Multiverse phản ánh cùng triết lý: checkpoint Hypernova 60B 2605 có trọng lượng 32 GB so với 65 GB cho gpt‑oss‑120b, và công ty báo cáo tốc độ xử lý cao hơn trên một NVIDIA H200 đơn.

Nếu công thức này áp dụng được ngoài quy trình này, hàm ý cho việc triển khai mở‑weight là thuế độ chính xác khi phục vụ 4 bit không phải là một quy luật tự nhiên mà là hệ quả của người dạy sinh viên. Công việc nén của Multiverse cho đến nay đã được áp dụng cho các mô hình mở của các phòng thí nghiệm khác, và công ty đang bán công thức này như một giải pháp mà một đội có thể triển khai mà không cần tìm kiếm siêu tham số trong nhiều tuần. Checkpoint 4 bit đánh bại mô hình cha 16 bit trên 7 trong số 9 tiêu chuẩn là bằng chứng mà họ chọn để giới thiệu.