Η Baidu κυκλοφορεί το ERNIE 5.5 Flash Base για περαιτέρω εκπαίδευση

Η ομάδα ERNIE της Baidu ανακοίνωσε το ERNIE-5.5-Flash-Base στις 5 Νοεμβρίου 2026, διαθέτοντας για λήψη τα βάρη ενός μοντέλου αποκλειστικά για κείμενο, βασισμένου σε αρχιτεκτονική μίγματος ειδικών, με συνολικά 280 δισεκατομμύρια παραμέτρους και 14 δισεκατομμύρια ενεργοποιούμενες ανά διακριτικό. Το checkpoint ολοκληρώνει την προεκπαίδευση, χωρίς να έχει ακολουθήσει εκπαίδευση ενδιάμεσου σταδίου ή μετεκπαίδευση, προσφέροντας στους προγραμματιστές μια κοινή αφετηρία για προσαρμογή σε συγκεκριμένους τομείς, ρύθμιση με οδηγίες και έρευνα στη μάθηση με ενίσχυση.

Η κυκλοφορία παρέχει επίσης μια σταθερή βάση αναφοράς για ελεγχόμενες συγκρίσεις μεθόδων εκπαίδευσης. Η Baidu δήλωσε ότι μετά από αυτήν τη βασική έκδοση θα ακολουθήσει ένα μοντέλο ERNIE 5.5 Flash που θα έχει υποστεί μετεκπαίδευση.

Αρχιτεκτονική και σύστημα εκπαίδευσης

Η κάρτα μοντέλου αναφέρει 43 επίπεδα, κρυφή διάσταση 4.096 και 64 κεφαλές προσοχής. Σε 37 επίπεδα χρησιμοποιείται η Πολύ Συμπιεσμένη Προσοχή: η κρυφή μνήμη τους αποθηκεύει μία εγγραφή για κάθε μπλοκ 128 διακριτικών, καθώς και ένα σύντομο παράθυρο πρόσφατων, μη συμπιεσμένων διακριτικών. Έξι επίπεδα Προσοχής Πολλαπλών Κεφαλών σε Λανθάνουσα Αναπαράσταση διατηρούν πρόσβαση σε επίπεδο διακριτικού σε ολόκληρο το συγκείμενο και χρησιμοποιούν έναν ευρετηριαστή για να επιλέγουν τις προηγούμενες θέσεις με την υψηλότερη βαθμολογία. Σύμφωνα με την Baidu, αυτή η αραιή επιλογή διατηρεί σταθερό το κόστος της βασικής προσοχής ανά ερώτημα, καθώς αυξάνεται το συγκείμενο.

Όλα τα επίπεδα εκτός από το πρώτο χρησιμοποιούν ένα μπλοκ μίγματος ειδικών με 512 ειδικούς στους οποίους δρομολογούνται τα δεδομένα, από τους οποίους ενεργοποιούνται 10, καθώς και έναν κοινό ειδικό. Οι ειδικοί λειτουργούν σε λανθάνοντα χώρο 2.048 διαστάσεων, αντί για ολόκληρο το εύρος της κρυφής αναπαράστασης του μοντέλου. Η Baidu αναφέρει ότι έτσι μειώνονται περίπου στο μισό, σε σύγκριση με ειδικούς πλήρους εύρους, τόσο η κίνηση δεδομένων για τη δρομολόγηση και τον συνδυασμό των ειδικών όσο και οι υπολογισμοί κινητής υποδιαστολής των ειδικών (FLOPs). Ο σχεδιασμός περιλαμβάνει επίσης τέσσερις παράλληλες υπολειμματικές ροές μέσω υπερσυνδέσεων με περιορισμούς πολλαπλότητας και μια κεφαλή εξόδου MultiMax με εκμάθηση τμηματικής θερμοκρασίας.

Η προεκπαίδευση χρησιμοποίησε 33,5 τρισεκατομμύρια διακριτικά, τον βελτιστοποιητή Muon και μικτή ακρίβεια FP8. Το μήκος του συγκειμένου που χρησιμοποιήθηκε κατά την εκπαίδευση αυξήθηκε σταδιακά έως τα 128K διακριτικά· η λεπτομερής ρύθμιση και η εξαγωγή συμπερασμάτων υποστηρίζουν 1 εκατομμύριο διακριτικά. Εκτός από πολύγλωσσα δεδομένα ιστού, το σώμα δεδομένων περιλαμβάνει κώδικα και καταγραφές της ανάπτυξης λογισμικού, όπως υποβολές αλλαγών, ζητήματα, αιτήματα ενσωμάτωσης αλλαγών, αξιολογήσεις, δοκιμές που δημιουργήθηκαν αυτόματα και διορθώσεις επαληθευμένες μέσω CI. Επιλεγμένα εκτενή έγγραφα, ακολουθίες με παραπλανητικά στοιχεία παρόμοιας σημασιολογίας, καθώς και συνθετικά δεδομένα ανάκτησης πληροφοριών και απαντήσεων σε ερωτήσεις παρέχουν υλικό για εκπαίδευση σε εκτενή συγκείμενα. Αυτές οι επιλογές καθιστούν τη βασική έκδοση κατάλληλη για συλλογισμό σε επίπεδο αποθετηρίου κώδικα, μηχανική λογισμικού με αυτόνομους πράκτορες και εκτεταμένες εισόδους.

Το συνοδευτικό αποθετήριο FlashMask περιγράφει πυρήνες προσοχής για GPU Hopper και Blackwell. Οι διαμορφώσεις Blackwell υποστηρίζουν διαστάσεις κεφαλής έως 576 για το ερώτημα και το κλειδί, και 512 για την τιμή. Η Baidu αναφέρει κέρδη ταχύτητας έως και 175% στο πέρασμα προς τα εμπρός και 74% στο πέρασμα προς τα πίσω, σε σύγκριση με το FlashAttention-4 MaskMod σε υλικό SM100. Το κατανεμημένο σύστημα Muon συνδυάζει επίσης τον συγχρονισμό πυκνών παραμέτρων και παραμέτρων MoE σε μία συλλογική λειτουργία και κατανέμει την κατάσταση του βελτιστοποιητή πιο ομοιόμορφα στους κόμβους, χωρίς να αλλάζει τις ενημερώσεις του βελτιστοποιητή.

Αποτελέσματα συγκριτικών δοκιμών της Baidu

Η Baidu αξιολόγησε το ERNIE έναντι των δημόσια διαθέσιμων checkpoint DeepSeek-V4-Flash-Base, Hy3-preview-Base και MiMo-V2.5-Base, χρησιμοποιώντας το ίδιο πλαίσιο αξιολόγησης, τις ίδιες προτροπές και τα ίδια παραδείγματα λίγων λήψεων, καθώς και τον ίδιο κριτή LLM για απαντήσεις σε ερωτήσεις ελεύθερης μορφής. Τα επιλεγμένα αποτελέσματα του πίνακά της δείχνουν σε ποιες δοκιμές το μοντέλο προηγείται και σε ποιες υστερεί:

Η σύγκριση της Baidu εξαρτάται από την εκάστοτε εργασία και δεν αποτελεί σαρωτική επικράτηση: το ERNIE προηγείται στα αποτελέσματα MMLU και HumanEval+ που παρουσιάζονται, ενώ το Hy3 προηγείται στο FullStackBench και το DeepSeek στο InfiniteBench. Ο πίνακας καταδεικνύει ισχυρές επιδόσεις στις εξετάσεις και στον προγραμματισμό στο πλαίσιο της αξιολόγησης της Baidu, χωρίς να παραβλέπει αυτές τις εξαιρέσεις.

Όροι διάθεσης και άδειας χρήσης

Οι λήψεις διατίθενται σε μορφές safetensors FP8 και BF16. Η κάρτα μοντέλου τεκμηριώνει την εξυπηρέτησή του σε περιβάλλον παραγωγής με τα SGLang και vLLM μέσω του API συμπληρώσεων, σύμφωνα με το γεγονός ότι το checkpoint είναι βασικό μοντέλο. Η συνταγή Megatron Bridge της NVIDIA προσθέτει μια ροή εργασιών εποπτευόμενης λεπτομερούς ρύθμισης, η οποία καλύπτει την προετοιμασία δεδομένων, την εκπαίδευση και την εξαγωγή ξανά σε μορφή Hugging Face. Η συνταγή για ολόκληρο το μοντέλο χρησιμοποιεί 16 κόμβους, με τέσσερις GPU GB300 ανά κόμβο. Η NVIDIA επικυρώνει τις συνταγές σε συστήματα Blackwell GB200 και GB300· τα επιμέρους στοιχεία υποστηρίζουν το Hopper, αλλά δεν έχουν επικυρωθεί σε αυτό.

Η προσαρμοσμένη Συμφωνία άδειας χρήσης μοντέλου ERNIE 5.5 Flash Base, έκδοση 1.0 επιβάλλει γεωγραφικούς και εμπορικούς όρους. Η Ευρωπαϊκή Ένωση, το Ηνωμένο Βασίλειο και η Νότια Κορέα εξαιρούνται από την επιτρεπόμενη γεωγραφική περιοχή, ενώ δεν επιτρέπονται δραστηριότητες όπως η χρήση, η τροποποίηση και η διανομή εκτός αυτής. Η μη εμπορική χρήση δεν επιβαρύνεται με χρεώσεις άδειας χρήσης του μοντέλου. Για εμπορική χρήση με ετήσια έσοδα έως και 50 εκατομμύρια δολάρια από σχετικά προϊόντα ή υπηρεσίες απαιτείται εφάπαξ γνωστοποίηση και ευδιάκριτη αναφορά «Powered by ERNIE». Πάνω από αυτό το όριο, οι χρήστες χρειάζονται χωριστή προηγούμενη γραπτή εξουσιοδότηση από την Baidu.

Η συμφωνία απαγορεύει επίσης τη χρήση του αδειοδοτημένου υλικού, των παράγωγων μοντέλων ή των αποτελεσμάτων τους για τη βελτίωση ενός άσχετου συστήματος τεχνητής νοημοσύνης ή μηχανικής μάθησης. Ο περιορισμός αυτός έχει σημασία για τις ροές εργασίας απόσταξης και συνθετικών δεδομένων, τις οποίες η άδεια εξετάζει ρητά κατά τον ορισμό των παράγωγων μοντέλων και των περιορισμών στη χρήση των αποτελεσμάτων.

Το ERNIE 5.5 Flash Base προσφέρει στους ερευνητές και τους προγραμματιστές ένα σταθερό σημείο ελέγχου για τη δοκιμή μεταγενέστερων μεθόδων εκπαίδευσης, χωρίς να χρειάζεται να επαναλάβουν την προεκπαίδευση της Baidu. Ο σχεδιασμός του εστιάζει στον έλεγχο του ενεργού υπολογισμού και του κόστους των μεγάλων συμφραζομένων, όμως η πρακτική αξιοποίηση της έκδοσης περιορίζεται από το υλικό που απαιτείται για τη λεπτομερή ρύθμιση ολόκληρου του μοντέλου, καθώς και από μια άδεια που περιορίζει τη γεωγραφική διάθεση, την εμπορική χρήση μεγαλύτερης κλίμακας και τη μεταφορά δυνατοτήτων σε άσχετα μοντέλα.