Baidu brengt ERNIE 5.5 Flash Base uit voor verdere training

Het ERNIE-team van Baidu kondigde ERNIE-5.5-Flash-Base aan op 5 november 2026. Daarbij bracht het team downloadbare gewichten uit voor een uitsluitend tekstgebaseerd mixture-of-expertsmodel met in totaal 280 miljard parameters, waarvan er 14 miljard per token worden geactiveerd. Dit checkpoint markeert het einde van de pretraining; mid-training en post-training hebben nog niet plaatsgevonden. Zo krijgen ontwikkelaars een gemeenschappelijk uitgangspunt voor domeinaanpassing, instructieafstemming en onderzoek naar reinforcement learning.

De release biedt ook een vaste basislijn om trainingsmethoden onder gecontroleerde omstandigheden te vergelijken. Baidu liet weten dat na deze basisversie een model van ERNIE 5.5 Flash volgt dat post-training heeft ondergaan.

Architectuur en trainingssysteem

De modelkaart vermeldt 43 lagen, een verborgen dimensie van 4,096 en 64 aandachtskoppen. In 37 lagen wordt sterk gecomprimeerde aandacht gebruikt: de cache bevat één item per blok van 128 tokens, plus een kort venster met recente, ongecomprimeerde tokens. Zes lagen met Multi-head Latent Attention behouden toegang tot de volledige context op tokenniveau en gebruiken een indexeerfunctie om de eerdere posities met de hoogste scores te selecteren. Volgens Baidu zorgt deze schaarse selectie ervoor dat de kosten van kernattention per query constant blijven wanneer de context groter wordt.

Alle lagen behalve de eerste gebruiken een mixture-of-expertsblok met 512 gerouteerde experts, waarvan er 10 worden geactiveerd, plus één gedeelde expert. De experts werken in een latente ruimte van 2,048 dimensies, in plaats van over de volledige breedte van de verborgen laag van het model. Volgens Baidu halveert dit ongeveer het verkeer voor het routeren en combineren van experts en het aantal FLOP-bewerkingen van experts, vergeleken met experts die de volledige breedte benutten. Het ontwerp omvat ook vier parallelle reststromen via manifold-beperkte hyperverbindingen en een MultiMax-uitvoerlaag met een aanleerbare, stuksgewijs gedefinieerde temperatuur.

Voor de pretraining werden 33,5 biljoen tokens, de Muon-optimizer en gemengde FP8-precisie gebruikt. De contextlengte tijdens de training werd geleidelijk uitgebreid tot 128K tokens; voor fine-tuning en inferentie worden 1 miljoen tokens ondersteund. Naast meertalige webgegevens bevat het corpus code en gegevens over softwareontwikkeling, zoals commits, issues, pull requests, reviews, gegenereerde tests en fixes die door CI zijn geverifieerd. Samengestelde lange documenten, reeksen met afleidende elementen die semantisch op de inhoud lijken, en synthetische gegevens voor informatie ophalen en vraagbeantwoording leveren trainingsmateriaal voor lange contexten. Met deze keuzes sluit de basisrelease aan op redeneren op repositoryniveau, agentische softwareontwikkeling en lange invoer.

De bijbehorende FlashMask-codeopslagplaats documenteert aandachtskernels voor Hopper- en Blackwell-GPU’s. Blackwell-configuraties ondersteunen kopdimensies tot 576 voor query en key, en tot 512 voor value. Baidu meldt snelheidsverbeteringen tot 175% bij de voorwaartse doorgang en 74% bij de achterwaartse doorgang ten opzichte van FlashAttention-4 MaskMod op SM100-hardware. Het gedistribueerde Muon-systeem combineert ook de synchronisatie van dense parameters en MoE-parameters in één collectieve bewerking en verdeelt de optimizerstatus gelijkmatiger over nodes, zonder de updates van de optimizer te wijzigen.

Benchmarkscores van Baidu

Baidu heeft ERNIE geëvalueerd met dezelfde testharnas, prompts en few-shotvoorbeelden als voor de openbaar uitgebrachte checkpoints DeepSeek-V4-Flash-Base, Hy3-preview-Base en MiMo-V2.5-Base. Voor open vraagbeantwoording gebruikte Baidu bovendien dezelfde LLM-beoordelaar. Geselecteerde resultaten uit de tabel laten zien op welke onderdelen het model vooroploopt en waar het achterblijft:

De vergelijking van Baidu laat geen eenduidige winnaar zien: ERNIE behaalt de beste resultaten voor MMLU en HumanEval+, terwijl Hy3 vooroploopt bij FullStackBench en DeepSeek bij InfiniteBench. De tabel toont dat ERNIE binnen de evaluatie van Baidu sterk presteert op examens en programmeertaken, maar laat deze uitzonderingen ook zien.

Implementatie en licentievoorwaarden

Downloads zijn beschikbaar in de safetensors-indelingen FP8 en BF16. De modelkaart beschrijft hoe het model voor productie kan worden aangeboden met SGLang en vLLM via de completions-API, in overeenstemming met de status van het checkpoint als basismodel. NVIDIA’s recept voor Megatron Bridge voegt een workflow voor supervised fine-tuning toe, met stappen voor gegevensvoorbereiding, training en export terug naar de Hugging Face-indeling. Het recept voor het volledige model gebruikt 16 nodes met elk vier GB300-GPU’s. NVIDIA heeft de recepten gevalideerd op Blackwell-systemen met GB200- en GB300-GPU’s. De onderdelen ondersteunen Hopper, maar zijn niet op Hopper gevalideerd.

De aangepaste licentieovereenkomst voor het ERNIE 5.5 Flash-basismodel, versie 1.0, stelt territoriale en commerciële voorwaarden. De Europese Unie, het Verenigd Koninkrijk en Zuid-Korea vallen buiten het toegestane gebied. Activiteiten buiten dat gebied, waaronder gebruik, wijziging en verspreiding, zijn niet toegestaan. Voor niet-commercieel gebruik worden geen modellicentiekosten in rekening gebracht. Bij commercieel gebruik en een jaaromzet van maximaal $50 miljoen uit gerelateerde producten of diensten is een eenmalige kennisgeving vereist, evenals een prominente vermelding van “Powered by ERNIE”. Boven die drempel is voorafgaande, afzonderlijke schriftelijke toestemming van Baidu vereist.

De overeenkomst verbiedt ook het gebruik van de gelicentieerde materialen, afgeleide modellen of hun uitvoer om een niet-gerelateerd AI- of machineleersysteem te verbeteren. Die beperking is relevant voor distillatie- en synthetische-datawerkstromen, waarop de licentie expliciet ingaat bij het definiëren van afgeleide modellen en beperkingen op het gebruik van uitvoer.

ERNIE 5.5 Flash Base biedt onderzoekers en ontwikkelaars een vast checkpoint om latere trainingsmethoden te testen zonder de pre-trainingsrun van Baidu te herhalen. Het ontwerp is gericht op het beheersen van actieve rekenkracht en de kosten van lange contexten, maar het praktische bereik van de release wordt beperkt door de hardware die nodig is voor volledige finetuning van het model en door een licentie die beperkingen oplegt aan geografisch gebruik, grootschaliger commercieel gebruik en de overdracht van mogelijkheden naar niet-gerelateerde modellen.