Baidu lancerer ERNIE 5.5 Flash Base til videre træning

Baidus ERNIE-team annoncerede ERNIE-5.5-Flash-Base den 5. november 2026 og frigav modeller med vægte, der kan downloades. Modellen er en tekstbaseret mixture-of-experts-model med i alt 280 milliarder parametre, hvoraf 14 milliarder aktiveres pr. token. Kontrolpunktet afslutter fortræningen, men omfatter ikke mellemtræning eller eftertræning, hvilket giver udviklere et fælles udgangspunkt for domænetilpasning, instruktionsjustering og forskning i forstærkningslæring.

Udgivelsen giver også et fast sammenligningsgrundlag til kontrollerede sammenligninger af træningsmetoder. Baidu oplyste, at en eftertrænet ERNIE 5.5 Flash-model vil følge efter denne basismodel.

Arkitektur og træningssystem

Modelkortet angiver 43 lag, en skjult størrelse på 4.096 og 64 attention-heads. Syvogtredive lag bruger kraftigt komprimeret attention: Deres cache indeholder én post for hver blok på 128 tokens samt et kort vindue med nylige, ukomprimerede tokens. Seks lag med multiheadet latent attention bevarer adgang til hele konteksten på tokenniveau og bruger et indekseringssystem til at vælge de tidligere positioner med de højeste scorer. Ifølge Baidu holder denne sparsomme udvælgelse kerneomkostningen ved attention pr. forespørgsel konstant, efterhånden som konteksten vokser.

Alle lag undtagen det første bruger en mixture-of-experts-blok med 512 routede eksperter, hvoraf 10 aktiveres, samt én delt ekspert. Eksperterne arbejder i et latent rum med 2.048 dimensioner i stedet for modellens fulde skjulte bredde. Ifølge Baidu halverer det omtrent trafikken ved afsendelse og kombination af eksperter samt eksperternes FLOPs sammenlignet med eksperter med fuld bredde. Designet omfatter også fire parallelle residualstrømme via manifoldbegrænsede hyperforbindelser og et MultiMax-outputhoved med en indlærbar stykkevis temperatur.

Fortræningen brugte 33,5 billioner tokens, Muon-optimeringsalgoritmen og blandet FP8-præcision. Konteksten under træningen blev gradvist udvidet til 128K tokens; finjustering og inferens understøtter 1 million tokens. Ud over flersprogede webdata omfatter korpuset kode og registreringer af softwareudvikling, såsom commits, issues, pull requests, anmeldelser, genererede tests og rettelser verificeret af CI. Kuraterede lange dokumenter, sekvenser med distraktorer, der ligner semantisk, samt syntetiske data til informationssøgning og spørgsmål og svar leverer træningsdata til lange kontekster. Disse valg gør basismodellen velegnet til ræsonnement på niveau med hele kodearkiver, agentbaseret softwareudvikling og lange input.

Det tilhørende FlashMask-lager dokumenterer attention-kerner til Hopper- og Blackwell-GPU’er, hvor Blackwell-konfigurationer understøtter head-dimensioner på op til 576 for query og key og 512 for value. Baidu rapporterer hastighedsforbedringer på op til 175 % i fremadpasset og 74 % i bagudpasset sammenlignet med FlashAttention-4 MaskMod på SM100-hardware. Det distribuerede Muon-system samler også synkroniseringen af tætte parametre og MoE-parametre i én kollektiv operation og fordeler optimeringstilstanden mere jævnt på tværs af noder uden at ændre optimeringsalgoritmens opdateringer.

Baidus benchmarkresultater

Baidu evaluerede ERNIE mod de offentligt frigivne kontrolpunkter DeepSeek-V4-Flash-Base, Hy3-preview-Base og MiMo-V2.5-Base med samme testværktøj, prompts og eksempler til few-shot-læring samt samme LLM-bedømmer til åbne spørgsmål og svar. Udvalgte resultater fra tabellen viser, hvor modellen fører, og hvor den halter efter:

Baidus sammenligning afhænger af opgaven og er ikke en entydig sejr på alle områder: ERNIE fører i de viste MMLU- og HumanEval+-resultater, mens Hy3 fører i FullStackBench, og DeepSeek fører i InfiniteBench. Tabellen viser stærke resultater i eksamens- og kodningstests i Baidus evaluering, samtidig med at disse undtagelser fremgår.

Implementering og licensvilkår

Modellen kan downloades i formaterne FP8 og BF16 safetensors. Modelkortet beskriver produktionsservering med SGLang og vLLM via completions-API’en, i overensstemmelse med kontrolpunktets status som basismodel. NVIDIAs opskrift til Megatron Bridge tilføjer en arbejdsgang for superviseret finjustering, der omfatter dataforberedelse, træning og eksport tilbage til Hugging Face-format. Opskriften til hele modellen bruger 16 noder med fire GB300-GPU’er pr. node. NVIDIA validerer opskrifterne på Blackwell GB200- og GB300-systemer; komponenterne understøtter Hopper, men Hopper er ikke valideret.

Den særlige licensaftale for ERNIE 5.5 Flash Base-model v1.0 fastsætter geografiske og kommercielle vilkår. Det geografiske område omfatter ikke Den Europæiske Union, Storbritannien eller Sydkorea, og aktiviteter uden for området, herunder brug, ændring og distribution, er ikke tilladt. Ikke-kommerciel brug er fritaget for licensafgifter. Kommerciel brug kræver, hvis den årlige omsætning fra relaterede produkter eller tjenester er på højst 50 millioner dollars, en engangsmeddelelse og en tydelig angivelse af »Drevet af ERNIE«. Overstiger omsætningen denne grænse, skal brugerne have en særskilt skriftlig forhåndsgodkendelse fra Baidu.

Aftalen forbyder også brug af de licenserede materialer, afledte modeller eller deres output til at forbedre et ikke-relateret AI- eller maskinlæringssystem. Denne begrænsning er vigtig for arbejdsgange med destillation og syntetiske data, som licensen udtrykkeligt tager højde for, når den definerer afledte modeller og begrænsningerne for brug af output.

ERNIE 5.5 Flash Base giver forskere og udviklere et fast checkpoint til at afprøve senere træningsmetoder uden at gentage Baidus prætræning. Modellen er designet til at begrænse den aktive beregning og omkostningerne ved lange kontekster, men udgivelsens praktiske rækkevidde begrænses af den hardware, der kræves til finjustering af hele modellen, og af en licens, der begrænser geografisk anvendelse, kommerciel brug i større skala og overførsel af kapacitet til ikke-relaterede modeller.