Baidu lanserer ERNIE 5.5 Flash Base for videre trening

ERNIE-teamet i Baidu kunngjorde ERNIE-5.5-Flash-Base 5. november 2026 og gjorde vekter som kan lastes ned, tilgjengelige for en tekstbasert blanding-av-eksperter-modell med totalt 280 milliarder parametere og 14 milliarder aktiverte parametere per token. Kontrollpunktet markerer slutten på forhåndstreningen, før mellomtrening eller ettertrening, og gir utviklere et felles utgangspunkt for domenetilpasning, instruksjonstilpasning og forskning på forsterkningslæring.

Utgivelsen gir også et fast referansegrunnlag for kontrollerte sammenligninger av treningsmetoder. Baidu opplyste at en ettertrent ERNIE 5.5 Flash-modell vil følge etter denne grunnversjonen.

Arkitektur og treningssystem

Modellkortet oppgir 43 lag, en skjult dimensjon på 4 096 og 64 oppmerksomhetshoder. Trettisju lag bruker kraftig komprimert oppmerksomhet: hurtigbufferen deres lagrer én oppføring for hver blokk på 128 token, i tillegg til et kort vindu med nylige, ukomprimerte token. Seks lag med flerhodet latent oppmerksomhet bevarer tilgang til hele konteksten på tokennivå og bruker en indekserer til å velge de tidligere posisjonene med høyest poengsum. Ifølge Baidu gjør dette sparsomme utvalget at kostnaden for kjerneoppmerksomhet per spørring holder seg konstant etter hvert som konteksten blir større.

Alle lag unntatt det første bruker en blanding-av-eksperter-blokk med 512 rutede eksperter, der 10 aktiveres, samt én delt ekspert. Ekspertene opererer i et latent rom med 2 048 dimensjoner i stedet for modellens fulle skjulte dimensjon. Ifølge Baidu halverer dette omtrent trafikken knyttet til distribusjon og kombinasjon av eksperter, samt ekspertenes FLOP-er, sammenlignet med eksperter med full dimensjon. Utformingen omfatter også fire parallelle residualstrømmer via hyperkoblinger begrenset til en mangfoldighet, samt et MultiMax-utgangshode med en lærbar stykkevis temperatur.

Forhåndstreningen brukte 33,5 billioner token, Muon-optimalisatoren og blandet presisjon med FP8. Konteksten som ble brukt under treningen, ble gradvis utvidet til 128K token; finjustering og inferens støtter 1 million token. I tillegg til flerspråklige nettdata omfatter korpuset kode og oppføringer fra programvareutvikling, for eksempel commits, saker, pull-forespørsler, anmeldelser, genererte tester og rettelser verifisert av kontinuerlig integrasjon (CI). Kuraterte lange dokumenter, sekvenser med distraktorer som ligner semantisk, samt syntetiske data for informasjonsinnhenting og spørsmål og svar gir trening med lang kontekst. Disse valgene gjør at grunnversjonen egner seg for resonnering på repositorienivå, agentbasert programvareutvikling og lange inndata.

Det tilhørende FlashMask-repositoriet dokumenterer oppmerksomhetskjerner for Hopper- og Blackwell-GPU-er. Blackwell-konfigurasjoner støtter dimensjoner på opptil 576 for spørring og nøkkel, og 512 for verdi. Baidu oppgir hastighetsøkninger på opptil 175 % i foroverpasseringen og 74 % i bakoverpasseringen sammenlignet med FlashAttention-4 MaskMod på SM100-maskinvare. Det distribuerte Muon-systemet slår også sammen synkronisering av tette parametere og MoE-parametere til én kollektiv operasjon og fordeler optimaliseringstilstanden jevnere mellom noder, uten å endre oppdateringene fra optimalisatoren.

Baudus referanseresultater

Baidu evaluerte ERNIE mot de offentlig tilgjengelige kontrollpunktene DeepSeek-V4-Flash-Base, Hy3-preview-Base og MiMo-V2.5-Base med samme evalueringsoppsett, ledetekster og eksempler med få skudd, samt samme LLM-dommer for åpne spørsmål og svar. Utvalgte resultater fra tabellen viser hvor modellen ligger foran, og hvor den ligger bak:

Sammenligningen fra Baidu avhenger av oppgaven og er ikke en entydig seier: ERNIE leder i resultatene for MMLU og HumanEval+ som vises, mens Hy3 leder på FullStackBench og DeepSeek på InfiniteBench. Tabellen underbygger sterke resultater innen eksamensoppgaver og koding i Baudus evaluering, samtidig som unntakene kommer tydelig fram.

Vilkår for distribusjon og lisens

Nedlastinger er tilgjengelige i safetensors-formatene FP8 og BF16. Modellkortet beskriver produksjonsdistribusjon med SGLang og vLLM via completions-API-et, i tråd med at kontrollpunktet er en grunnmodell. NVIDIAs oppskrift for Megatron Bridge legger til en arbeidsflyt for veiledet finjustering som omfatter dataforberedelse, trening og eksport tilbake til Hugging Face-format. Oppskriften for hele modellen bruker 16 noder med fire GB300-GPU-er per node. NVIDIA validerer oppskriftene på Blackwell-systemene GB200 og GB300; komponentene støtter Hopper, men er ikke validert på Hopper.

Den tilpassede lisensavtalen for ERNIE 5.5 Flash Base, versjon 1.0 stiller territorielle og kommersielle vilkår. Avtalen omfatter ikke EU, Storbritannia eller Sør-Korea, og aktiviteter som bruk, endring og distribusjon utenfor dette territoriet er ikke tillatt. Ikke-kommersiell bruk er gratis og medfører ingen lisensavgifter for modellen. Ved kommersiell bruk med årlige inntekter på høyst 50 millioner dollar fra relaterte produkter eller tjenester kreves et engangsvarsel og en tydelig attribusjon med teksten «Powered by ERNIE». Over denne terskelen må brukerne innhente en separat skriftlig forhåndsgodkjenning fra Baidu.

Avtalen forbyr også bruk av det lisensierte materialet, avledede modeller eller utdataene deres til å forbedre et ikke-relatert KI- eller maskinlæringssystem. Denne begrensningen er viktig for arbeidsflyter for destillering og syntetiske data, som lisensen uttrykkelig omtaler når den definerer avledede modeller og begrensninger på bruk av utdata.

ERNIE 5.5 Flash Base gir forskere og utviklere et fast sjekkpunkt for å teste senere treningsmetoder uten å måtte gjenta Baidus forhåndstreningsrunde. Modellen er utformet med vekt på å kontrollere aktiv beregning og kostnadene ved lange kontekster, men den praktiske rekkevidden til utgivelsen begrenses av maskinvaren som kreves for finjustering av hele modellen, og en lisens som begrenser geografisk bruk, kommersiell bruk i større skala og overføring av kapasitet til ikke-relaterte modeller.