Baidu veröffentlicht ERNIE 5.5 Flash Base für weiteres Training

Das ERNIE-Team von Baidu kündigte ERNIE-5.5-Flash-Base an und veröffentlichte am 5. November 2026 herunterladbare Gewichte für ein rein textbasiertes Mixture-of-Experts-Modell mit insgesamt 280 Milliarden Parametern, von denen 14 Milliarden pro Token aktiviert werden. Mit diesem Checkpoint ist das Vortraining abgeschlossen; ein Mid-Training oder Post-Training hat noch nicht stattgefunden. So erhalten Entwickler eine gemeinsame Ausgangsbasis für die Anpassung an bestimmte Fachgebiete, das Instruction-Tuning und die Forschung zum bestärkenden Lernen.

Die Veröffentlichung bietet außerdem eine feste Ausgangsbasis für kontrollierte Vergleiche von Trainingsmethoden. Baidu zufolge wird auf diese Basismodellversion ein nachtrainiertes ERNIE-5.5-Flash-Modell folgen.

Architektur und Trainingssystem

Laut der Modellkarte verfügt das Modell über 43 Schichten, eine verborgene Dimension von 4.096 und 64 Attention-Heads. In 37 Schichten kommt Heavily Compressed Attention zum Einsatz: Ihr Cache enthält einen Eintrag pro 128-Token-Block sowie ein kurzes Fenster mit kürzlich verarbeiteten, unkomprimierten Tokens. Sechs Schichten mit Multi-head Latent Attention ermöglichen weiterhin den Zugriff auf den gesamten Kontext auf Token-Ebene und verwenden einen Indexer, um die vorherigen Positionen mit den höchsten Bewertungen auszuwählen. Baidu zufolge sorgt diese dünn besetzte Auswahl dafür, dass die Kosten der Kern-Attention pro Abfrage unabhängig vom wachsenden Kontextumfang konstant bleiben.

Alle Schichten außer der ersten verwenden einen Mixture-of-Experts-Block mit 512 gerouteten Experten. Davon werden 10 aktiviert; hinzu kommt ein gemeinsam genutzter Experte. Die Experten arbeiten in einem latenten Raum mit 2.048 Dimensionen statt mit der vollständigen verborgenen Dimension des Modells. Baidu zufolge halbiert dies ungefähr den Datenverkehr für die Weiterleitung und Zusammenführung der Experten sowie deren FLOPs im Vergleich zu Experten mit voller Dimension. Die Architektur umfasst außerdem vier parallele Residualströme über mannigfaltigkeitsbeschränkte Hyperverbindungen und einen MultiMax-Ausgabekopf mit einer lernbaren stückweise definierten Temperatur.

Für das Vortraining wurden 33,5 Billionen Tokens, der Muon-Optimierer und gemischte FP8-Präzision verwendet. Der während des Trainings genutzte Kontext wurde schrittweise auf 128K Tokens erweitert; beim Fine-Tuning und bei der Inferenz werden 1 Million Tokens unterstützt. Neben mehrsprachigen Webdaten umfasst der Korpus Code und Aufzeichnungen zur Softwareentwicklung, etwa Commits, Issues, Pull Requests, Reviews, generierte Tests und durch CI verifizierte Fehlerbehebungen. Sorgfältig zusammengestellte lange Dokumente, Sequenzen mit semantisch ähnlichen Ablenkungsinformationen sowie synthetische Daten für Informationsabruf und Fragebeantwortung dienen dem Training mit langen Kontexten. Diese Entscheidungen richten die Basismodellveröffentlichung auf Schlussfolgerungen auf Repository-Ebene, agentische Softwareentwicklung und umfangreiche Eingaben aus.

Das begleitende FlashMask-Repository dokumentiert Attention-Kernels für Hopper- und Blackwell-GPUs. Blackwell-Konfigurationen unterstützen dabei Kopfdimensionen von bis zu 576 für Query und Key sowie 512 für Value. Baidu gibt an, dass die Geschwindigkeit auf SM100-Hardware gegenüber FlashAttention-4 MaskMod im Vorwärtsdurchlauf um bis zu 175 % und im Rückwärtsdurchlauf um 74 % steigt. Das verteilte Muon-System fasst zudem die Synchronisierung dichter Parameter und der MoE-Parameter in einem gemeinsamen kollektiven Vorgang zusammen und verteilt den Optimiererzustand gleichmäßiger auf die Knoten, ohne die Aktualisierungen des Optimierers zu verändern.

Baikus Benchmark-Ergebnisse

Baidu verglich ERNIE mit den öffentlich veröffentlichten Checkpoints DeepSeek-V4-Flash-Base, Hy3-preview-Base und MiMo-V2.5-Base. Dabei kamen dasselbe Testgerüst, dieselben Prompts und Few-Shot-Beispiele sowie für offene Fragen derselbe LLM-Bewerter zum Einsatz. Ausgewählte Ergebnisse der Tabelle zeigen, wo das Modell vorn liegt und wo es zurückbleibt:

Im Vergleich von Baidu hängt das Ergebnis von der jeweiligen Aufgabe ab; ERNIE liegt nicht durchgehend vorn: Bei den gezeigten Ergebnissen für MMLU und HumanEval+ führt ERNIE, bei FullStackBench dagegen Hy3 und bei InfiniteBench DeepSeek. Die Tabelle belegt starke Ergebnisse bei Prüfungs- und Programmieraufgaben in Baidus Evaluation, macht aber auch diese Ausnahmen deutlich.

Bereitstellung und Lizenzbedingungen

Die Downloads sind in den Safetensors-Formaten FP8 und BF16 verfügbar. Die Modellkarte beschreibt den produktiven Einsatz mit SGLang und vLLM über die Completions-API, was dem Status des Checkpoints als Basismodell entspricht. Das Rezept von NVIDIA für Megatron Bridge ergänzt einen Workflow für überwachtes Fine-Tuning, der die Datenaufbereitung, das Training und den anschließenden Export zurück ins Hugging-Face-Format umfasst. Das Rezept für das vollständige Modell nutzt 16 Knoten mit jeweils vier GB300-GPUs. NVIDIA validiert die Rezepte auf Blackwell-Systemen mit GB200 und GB300; die Komponenten unterstützen Hopper, doch für Hopper wurde keine Validierung durchgeführt.

Die eigens erstellte Lizenzvereinbarung für das Basismodell ERNIE 5.5 Flash, Version 1.0, legt territoriale und kommerzielle Bedingungen fest. Die Europäische Union, das Vereinigte Königreich und Südkorea sind vom Geltungsgebiet ausgeschlossen; Aktivitäten wie die Nutzung, Änderung und Verbreitung außerhalb dieses Gebiets sind nicht genehmigt. Die nicht kommerzielle Nutzung ist von Lizenzgebühren für das Modell befreit. Bei kommerzieller Nutzung mit einem Jahresumsatz von höchstens 50 Millionen US-Dollar aus damit verbundenen Produkten oder Dienstleistungen ist eine einmalige Mitteilung sowie ein gut sichtbarer Hinweis „Powered by ERNIE“ erforderlich. Bei einem Umsatz oberhalb dieser Schwelle benötigen Nutzer eine gesonderte vorherige schriftliche Genehmigung von Baidu.

Die Vereinbarung untersagt außerdem, die lizenzierten Materialien, abgeleitete Modelle oder deren Ausgaben zu verwenden, um ein nicht damit verbundenes KI- oder maschinelles-Lernen-System zu verbessern. Diese Einschränkung ist für Destillierungs- und Arbeitsabläufe mit synthetischen Daten relevant, auf die die Lizenz ausdrücklich eingeht, wenn sie abgeleitete Modelle definiert und die Nutzung der Ausgaben einschränkt.

ERNIE 5.5 Flash Base bietet Forschenden und Entwicklern einen festen Checkpoint, mit dem sie spätere Trainingsmethoden testen können, ohne Baidus Vortraining erneut durchführen zu müssen. Das Modell ist darauf ausgelegt, den aktiven Rechenaufwand und die Kosten langer Kontextfenster zu kontrollieren. Die praktischen Einsatzmöglichkeiten der Veröffentlichung sind jedoch durch die Hardware begrenzt, die für die Feinabstimmung des vollständigen Modells benötigt wird, sowie durch eine Lizenz, die den geografischen Geltungsbereich, die kommerzielle Nutzung in größerem Umfang und die Übertragung von Fähigkeiten auf nicht verwandte Modelle einschränkt.