Baidu lanserar ERNIE 5.5 Flash Base för vidareträning

Baidus ERNIE-team annonserade ERNIE-5.5-Flash-Base den 5 november 2026 och släppte nedladdningsbara vikter för en textbaserad blandning-av-experter-modell med totalt 280 miljarder parametrar, varav 14 miljarder aktiveras per token. Kontrollpunkten markerar slutet på förträningen, före mellanträning eller efterträning, och ger utvecklare en gemensam utgångspunkt för domänanpassning, instruktionsjustering och forskning om förstärkningsinlärning.

Släppet ger också en fast baslinje för kontrollerade jämförelser av träningsmetoder. Baidu uppgav att en eftertränad ERNIE 5.5 Flash-modell kommer efter denna basversion.

Arkitektur och träningssystem

Modellkortet anger 43 lager, en dold dimension på 4 096 och 64 uppmärksamhetshuvuden. Trettiosju lager använder kraftigt komprimerad uppmärksamhet: deras cache innehåller en post för varje block om 128 token samt ett kort fönster med nyligen förekommande, okomprimerade token. Sex lager med Multi-head Latent Attention bevarar åtkomst till hela kontexten på tokennivå och använder ett indexeringssystem för att välja de tidigare positioner som får högst poäng. Enligt Baidu gör detta glesa urval att kostnaden för kärnuppmärksamhet per fråga förblir konstant när kontexten växer.

Alla lager utom det första använder ett blandning-av-experter-block med 512 routade experter, varav 10 aktiveras, samt en gemensam expert. Experterna arbetar i ett latent rum med 2 048 dimensioner i stället för modellens fulla dolda dimension. Enligt Baidu halverar detta ungefär trafiken för distribution och sammanföring av experter samt experternas flyttalsoperationer jämfört med experter med full dimension. Konstruktionen omfattar även fyra parallella residualströmmar via hyperkopplingar begränsade till mångfalder och ett MultiMax-utmatningshuvud med en inlärningsbar styckvis temperatur.

Förträningen använde 33,5 biljoner token, optimeraren Muon och blandad FP8-precision. Kontexten under träningen utökades gradvis till 128K token; finjustering och inferens stöder 1 miljon token. Förutom flerspråkiga webbdata innehåller korpusen kod och dokumentation av programvaruutveckling, till exempel incheckningar, ärenden, pull-förfrågningar, granskningar, genererade tester och CI-verifierade korrigeringar. Kuraterade långa dokument, sekvenser med distraherande innehåll som liknar det semantiskt relevanta samt syntetiska data för informationshämtning och frågebehandling används för träning med långa kontexter. Dessa val gör basmodellen lämpad för resonemang på kodarkivsnivå, agentbaserad programvaruutveckling och långa indata.

Den medföljande FlashMask-kodlagringen beskriver uppmärksamhetskärnor för Hopper- och Blackwell-GPU:er. Blackwell-konfigurationer stöder huvuddimensioner på upp till 576 för fråga och nyckel samt 512 för värde. Baidu rapporterar hastighetsökningar på upp till 175 % i framåtpasset och 74 % i bakåtpasset jämfört med FlashAttention-4 MaskMod på SM100-maskinvara. Det distribuerade Muon-systemet samlar också synkroniseringen av täta parametrar och MoE-parametrar i en enda kollektiv operation och fördelar optimerarens tillstånd jämnare mellan noderna, utan att ändra optimerarens uppdateringar.

Baidus jämförelseresultat

Baidu utvärderade ERNIE mot de offentligt släppta kontrollpunkterna DeepSeek-V4-Flash-Base, Hy3-preview-Base och MiMo-V2.5-Base med samma testmiljö, promptar och exempel för few-shot-inlärning samt samma LLM-bedömare för öppna frågesvar. Utvalda resultat ur tabellen visar var modellen ligger i topp och var den hamnar efter:

Baidus jämförelse varierar med uppgiften och är ingen entydig seger: ERNIE leder i de redovisade resultaten för MMLU och HumanEval+, medan Hy3 leder i FullStackBench och DeepSeek i InfiniteBench. Tabellen visar att modellen presterar starkt på prov och kodningsuppgifter i Baidus utvärdering, samtidigt som dessa undantag framgår.

Villkor för driftsättning och licens

Nedladdningar finns i safetensors-formaten FP8 och BF16. Modellkortet beskriver produktionsdriftsättning med SGLang och vLLM via completions-API:t, i linje med att kontrollpunkten är en basmodell. NVIDIAs recept för Megatron Bridge lägger till ett arbetsflöde för övervakad finjustering som omfattar dataförberedelse, träning och export tillbaka till Hugging Face-format. Receptet för hela modellen använder 16 noder med fyra GB300-GPU:er per nod. NVIDIA validerar recepten på Blackwell GB200- och GB300-system; komponenterna stöder Hopper, men Hopper har inte validerats.

Det anpassade licensavtalet för ERNIE 5.5 Flash Base, version 1.0, innehåller geografiska begränsningar och kommersiella villkor. Avtalets territorium omfattar inte Europeiska unionen, Storbritannien eller Sydkorea, och aktiviteter som användning, ändring och distribution utanför territoriet är inte tillåtna. Icke-kommersiell användning är avgiftsfri enligt modelllicensen. Kommersiell användning när de årliga intäkterna från relaterade produkter eller tjänster uppgår till högst 50 miljoner dollar kräver en engångsanmälan och en tydligt synlig attribution med texten ”Powered by ERNIE”. Över den gränsen behöver användarna ett separat skriftligt förhandsgodkännande från Baidu.

Avtalet förbjuder också att det licensierade materialet, härledda modeller eller deras utdata används för att förbättra ett orelaterat AI- eller maskininlärningssystem. Begränsningen är relevant för arbetsflöden för kunskapsdestillering och syntetiska data, som licensen uttryckligen tar upp när den definierar härledda modeller och begränsningar för användning av utdata.

ERNIE 5.5 Flash Base ger forskare och utvecklare en fast kontrollpunkt för att testa senare träningsmetoder utan att upprepa Baidus förträning. Modellen är utformad för att begränsa aktiv beräkning och kostnaden för långa kontexter, men lanseringens praktiska räckvidd begränsas av den hårdvara som krävs för att finjustera hela modellen och av en licens som begränsar användningen geografiskt, kommersiell användning i större skala och överföring av kapacitet till orelaterade modeller.