Το 4‑Bit Healing της Multiverse Computing υπερβαίνει το μοντέλο πλήρους ακρίβειας

Η Multiverse Computing δημοσίευσε μια τεχνική στις 25 Αυγούστου 2026 που αντιστρέφει μία από τις πιο αξιόπιστες συμβιβαστικές επιλογές στην ανάπτυξη μοντέλων: ένα μεγάλο γλωσσικό μοντέλο συμπιεσμένο στο μισό των παραμέτρων του και κβαντισμένο στα 4 bit, το οποίο σημειώνει υψηλότερη απόδοση από το πλήρους ακρίβειας checkpoint από το οποίο δημιουργήθηκε. Η μέθοδος, που ονομάζεται Quantization‑Aware Healing (QAH), περιγράφεται λεπτομερώς σε μια αναρτηση στο εταιρικό blog και σε ένα συνοδευτικό paper, και εφαρμόστηκε στο GPT‑OSS 120B της OpenAI, συμπιεσμένο σε 60 B παραμέτρους και κβαντισμένο σε MXFP4. Το προκύπτον μοντέλο 4‑bit ξεπερνά το δικό του bfloat16 πηγή σε 7 από τα 9 benchmarks, με κέρδη 7,4 σημείων στην λογική μακράς συμφραζόμενης και 5,6 σημείων στα μαθηματικά ανταγωνισμού.

Το αποτέλεσμα δεν αποτελεί μια θέση στην κατάταξη για ένα νέο μοντέλο αιχμής. Είναι μια δήλωση σχετικά με το βήμα αποκατάστασης στις διαδικασίες συμπίεσης, το στάδιο όπου ένα μοντέλο που έχει μειωθεί και κβαντιστεί εκπαιδεύεται ξανά για να επανακτήσει τις δυνατότητες που χάθηκαν. Η επιχειρηματολογία της Multiverse, όπως παρουσιάζεται στο paper Quantization‑Aware Healing: A Practical Recipe for Recovering Compressed, 4‑Bit LLMs, είναι ότι οι τυπικές μέθοδοι αποκατάστασης αγκυροβολούν το κβαντισμένο μοντέλο στον λανθασμένο δάσκαλο, και ότι η διόρθωση αυτής της μοναδικής επιλογής αφαιρεί το όριο στην απόδοση ενός συμπιεσμένου μοντέλου.

Ο Δάσκαλος Ήταν το Σημείο Π bottleneck

Η τυπική συνταγή αποδοτικής ανάπτυξης περιλαμβάνει τρία στάδια: συμπίεση της αρχιτεκτονικής αφαιρώντας στρώματα, κεφαλές ή νευρώνες· κβαντισμός των εναπομείναντων βαρών σε 4 bit· και, τέλος, αποκατάσταση της ζημίας με περαιτέρω εκπαίδευση. Η κυρίαρχη μέθοδος αποκατάστασης, η εκπαίδευση με επίγνωση κβαντισμού, συνεχίζει τη λεπτομερή ρύθμιση του μοντέλου σε δεδομένα εργασίας μέσω μιας προσομοιωμένης προώθησης χαμηλής ακρίβειας. Μια εναλλακτική, η απόσταξη με επίγνωση κβαντισμού, εκπαιδεύει τον κβαντισμένο μαθητή ώστε να ταιριάζει στην κατανομή εξόδου ενός παγωμένου δάσκαλου πλήρους ακρίβειας.

Και οι δύο λειτουργούν όταν ο κβαντισμός είναι η μόνη αλλαγή, επειδή υπάρχει ένα πραγματικό αντίγραφο πλήρους ακρίβειας του ίδιου μοντέλου για να διδάξει. Η δομική συμπίεση σπάζει αυτή την υπόθεση. Ένα μοντέλο 60 B που κόπηκε από 120 B δεν εκπαιδεύτηκε ποτέ ανεξάρτητα σε πλήρη ακρίβεια· ο μόνος υποψήφιος bfloat16 είναι ένα checkpoint που ανακτήθηκε από την αρχική απόσταση μέσω απόσταξης. Η απόσταση του 4‑bit μαθητή από αυτό το checkpoint, όπως υποστηρίζει η Multiverse, περιορίζει την ακρίβειά του στο ανώτατο όριο του ανακτημένου checkpoint.

Η QAH αφαιρεί αυτό το όριο παρακάμπτοντας εντελώς τον ενδιάμεσο δάσκαλο. Ο 4‑bit μαθητής αποστάσσεται άμεσα από το αρχικό, προ‑συμπιεσμένο μοντέλο 120 B, ταιριάζοντας στην κατανομή εξόδου του μέσω απώλειας KL‑divergence στα λογίτ. Ο δάσκαλος και ο μαθητής δεν μοιράζονται ούτε το μέγεθος ούτε την ακρίβεια, κάτι που οι συγγραφείς σημειώνουν ότι δεν έχει σημασία: η κατανομή εξόδου ενός δασκάλου μεταφέρεται ανεξάρτητα από την αρχιτεκτονική του μαθητή. Με αυτή τη θεώρηση, ο κβαντισμός δεν είναι πλέον ένα απώλεια βήμα επεξεργασίας, αλλά μια δεύτερη πλήρης φάση απόσταξης ενάντια στον ισχυρότερο διαθέσιμο δάσκαλο, εποπτεία που το checkpoint bfloat16 δεν έλαβε ποτέ.

Τι Δείχνουν τα Benchmarks

Η κύρια σύγκριση τοποθετεί το μοντέλο QAH‑treated 60 B MXFP4 απέναντι στην καλύτερη έκδοση πλήρους ακρίβειας της ίδιας αρχιτεκτονικής, το ανακτημένο checkpoint 60 B bfloat16. Το 4‑bit μοντέλο κερδίζει σε 7 από τα 9 benchmarks:

• AA‑LCR (λογική μακράς συμφραζόμενης): 42,7 vs. 35,3, κέρδος 7,4 σημείων
• AIME 2025 (μαθηματικά): 76,3 vs. 70,7, κέρδος 5,6 σημείων
• Aider (προγραμματισμός πράκτορα): 40,9 vs. 38,2
• τ²‑bench (χρήση εργαλείων): 61,7 vs. 59,4
• GPQA Diamond (επιστήμη): 67,4 vs. 65,7
• IFBench (ακολούθηση οδηγιών): 59,9 vs. 58,4
• LiveCodeBench (κώδικας): 66,5 vs. 65,5

Οι δύο ήττες, MMLU‑Pro (73,8 vs. 74,0) και SciCode (34,2 vs. 35,6), είναι κάτω από μισό σημείο. Τα μεγαλύτερα κέρδη εμφανίζονται ακριβώς εκεί όπου η συμπίεση συνήθως προκαλεί τη μεγαλύτερη ζημιά: η λογική μακράς συμφραζόμενης και τα μαθηματικά.

Σε σύγκριση με τον αρχικό δάσκαλο 120 B, ο 4‑bit μαθητής, λειτουργώντας με το μισό αριθμό παραμέτρων του δασκάλου και περίπου το ένα τέταρτο της μνήμης βαρών, τον ξεπερνά στο LiveCodeBench (66,5 vs. 66,0) και φτάνει εντός 1,6 σημείων στο GPQA Diamond. Το μεγαλύτερο υπόλοιπο χάσμα είναι στο AA‑LCR, όπου ο δάσκαλος σημειώνει 50,0 ενώ ο μαθητής 42,7, η ικανότητα που το paper περιγράφει ως εσωτερικά πιο δύσκολη στην αποκατάσταση μετά την μείωση της χωρητικότητας.

Ταχύτερη Εκπαίδευση, και Δεν Καταρρέει

Ένα δεύτερο πείραμα απομονώνει τη συνάρτηση απώλειας. Κβαντίζοντας ένα μοντέλο GPT‑OSS 9 B σε MXFP4 υπό ίσες συνθήκες, η QAH και η QAT φθάνουν σε ουσιαστικά ίσες κορυφαίες βαθμολογίες, 54,9 vs. 54,6, κατά μέσο όρο στα MMLU‑Pro, LiveCodeBench και GPQA Diamond. Από εκεί diverge. Η QAH φτάνει στην κορυφή περίπου σε 100 βήματα εκπαίδευσης, περίπου 7 φορές πιο γρήγορα από τα 700 βήματα της QAT, και παραμένει εντός δύο σημείων της κορυφής μέχρι το βήμα 1 200. Η QAT καταρρέει μετά την κορυφή της, χάνοντας σχεδόν 19 σημεία στο ίδιο σημείο.

Η πρακτική συνέπεια είναι μια διαφορά στον κίνδυνο ανάπτυξης που οι συγγραφείς εξηγούν: ένα checkpoint QAT απαιτεί προσεκτικό νωρίτερο τερματισμό βάσει ενός απομονωμένου σήματος, ή μια ομάδα κυκλοφορεί ένα μοντέλο που ήδη αρχίζει να υποχωρεί. Ένα checkpoint QAH, δεσμευμένο σε μια παγωμένη κατανομή δασκάλου, δεν έχει κανένα gradient που το ωθεί προς τα εμπρός μόλις προσαρμοστεί, έτσι ένα πλήρως εκπαιδευμένο checkpoint μπορεί να χρησιμοποιηθεί χωρίς αυτήν την παρακολούθηση. Το paper αποδίδει τη διαφορά στην ίδια την απώλεια: ένας στόχος cross‑entropy συνεχίζει να ωθεί προς σκληρές ετικέτες επ’ άπειρο, ενώ η απόσταση KL έναντι ενός σταθερού στόχου ησυχάζει στη σύγκλιση.

Οι Λεπτομέρειες

Αυτά είναι τα δικά μετρήματα της Multiverse Computing για τη δική της διαδικασία, όπως αναφέρονται στο paper και στο blog post, όχι μια ανεξάρτητη αξιολόγηση. Το paper δηλώνει ότι ο μαθητής QAH κυκλοφορεί ως open‑weight με το όνομα HyperNova‑60B, το μοντέλο της εταιρείας υπό άδεια Apache 2.0, χτισμένο από το gpt‑oss‑120b.

Η τεχνική εξαρτάται επίσης από μηχανισμούς από προηγούμενη δουλειά της εταιρείας. Η αποκατάσταση σε μήκη συμφραζόμενης 32 000‑tokens στο εκπαιδευτικό σύνολο επαναχρησιμοποιεί μια τμηματική απώλεια KL‑divergence που υπολογίζει τη διαφορά μία φέτα ακολουθίας τη φορά αντί να υλοποιεί ολόκληρο το πλέγμα λεξιλογίου‑ακολουθίας, όπως περιγράφεται σε μια συνοδευτική εργασία και ανάρτηση που δημοσιεύθηκε στις 10 Αυγούστου 2026. Η προηγούμενη δουλειά μείωσε τη μέγιστη μνήμη για απόσταση 32K‑token από 85,2 GiB σε 5,45 GiB σε απομονωμένο benchmark, και είναι αυτό που επιτρέπει στην αποκατάσταση μακράς συμφραζόμενης να χωράει σε σταθερό προϋπολογισμό GPU. Το νέο paper επίσης επισημαίνει ένα επαναλήψιμο χάσμα ποιότητας μεταξύ διαφορετικών backends εκπαίδευσης ως μάθημα ανάπτυξης, χωρίς να ονομάζει νικητή στη σύνοψη του blog.

Γιατί Το Αποτέλεσμα Διαδίδεται

Η αριθμητική αποδοτικότητας είναι η ίδια αριθμητική που κινεί τη συμπίεση αρχικά, και είναι αυτό που κάνει την αντιστροφή ακρίβειας σημαντική. Σε 4‑bit ακρίβεια το μοντέλο QAH χρησιμοποιεί περίπου 4  φορές λιγότερη μνήμη βαρών από τον μαθητή bfloat16, και με το μισό αριθμό παραμέτρων του δασκάλου μειώνει περίπου κατά το ήμισυ τις υπολογιστικές απαιτήσεις ανά token· για οικογένειες μοντέλων που κυκλοφορούν σε bfloat16 αντί για 4‑bit, η συνδυασμένη μείωση φτάνει τα 8  φορές λιγότερους υπολογισμούς ανά token. Η τρέχουσα σειρά κυκλοφορίας της Multiverse αντανακλά την ίδια φιλοσοφία: το checkpoint Hypernova 60B 2605 κυκλοφορεί με 32 GB βαρών έναντι 65 GB για το gpt‑oss‑120b, με την εταιρεία να αναφέρει υψηλότερη απόδοση σε μία μόνο NVIDIA H200.

Αν η συνταγή ισχύει πέρα από αυτή τη διαδικασία, η συνέπεια για την ανάπτυξη open‑weight είναι ότι ο φόρος ακρίβειας στην εξυπηρέτηση 4‑bit δεν είναι νόμος της φύσης αλλά ένα αποτέλεσμα του ποιος διδάσκει τον μαθητή. Η δουλειά συμπίεσης της Multiverse έχει μέχρι τώρα εφαρμοστεί σε ανοιχτά μοντέλα άλλων εργαστηρίων, και η εταιρεία πουλά τη συνταγή ως κάτι που μια ομάδα μπορεί να εφαρμόσει χωρίς μια πολύ‑εβδομαδιαία αναζήτηση υπερ‑παραμέτρων. Το 4‑bit checkpoint που νικά το 16‑bit γονιό του σε 7 από τα 9 benchmarks αποτελεί το αποδεικτικό στοιχείο που επέλεξε να προβάλλει.