Baidu vydává ERNIE 5.5 Flash Base pro další trénování

Tým ERNIE společnosti Baidu oznámil model ERNIE-5.5-Flash-Base 5. listopadu 2026 a zpřístupnil ke stažení jeho váhy. Jde o textový model typu směsi expertů s celkem 280 miliardami parametrů, z nichž se pro každý token aktivuje 14 miliard. Kontrolní bod zachycuje stav po předtrénování, ještě před trénováním v mezifázi či následným trénováním, a vývojářům tak poskytuje společný výchozí bod pro přizpůsobení doméně, dolaďování podle instrukcí a výzkum posilovaného učení.

Vydání zároveň poskytuje pevný výchozí bod pro kontrolované porovnávání trénovacích metod. Baidu uvedlo, že po této základní verzi bude následovat model ERNIE 5.5 Flash po následném trénování.

Architektura a trénovací systém

Karta modelu uvádí 43 vrstev, skrytou dimenzi 4 096 a 64 hlav pozornosti. Třicet sedm vrstev používá silně komprimovanou pozornost: jejich mezipaměť uchovává jednu položku pro každý blok o 128 tokenech a také krátké okno nedávných nekomprimovaných tokenů. Šest vrstev s vícehlavou latentní pozorností zachovává přístup ke všem tokenům v celém kontextu a pomocí indexeru vybírá dřívější pozice s nejvyšším skóre. Podle Baidu tento řídký výběr udržuje výpočetní náklady na základní pozornost pro každý dotaz konstantní i při prodlužování kontextu.

Všechny vrstvy kromě první používají blok typu směsi expertů s 512 směrovanými experty, z nichž se aktivuje 10, a jedním sdíleným expertem. Experti pracují v latentním prostoru o 2 048 dimenzích, nikoli v plné šířce skrytých vrstev modelu. Baidu uvádí, že ve srovnání s experty pracujícími v plné šířce tato architektura zhruba o polovinu snižuje objem komunikace při směrování a kombinování expertů i počet operací s plovoucí desetinnou čárkou (FLOP) u expertů. Návrh zahrnuje také čtyři paralelní reziduální proudy využívající hyperpropojení omezená na varietu a výstupní hlavu MultiMax s učitelnou po částech definovanou teplotou.

Při předtrénování bylo použito 33,5 bilionu tokenů, optimalizátor Muon a smíšená přesnost FP8. Kontext používaný při trénování se postupně rozšířil na 128 tisíc tokenů; dolaďování a inference podporují 1 milion tokenů. Korpus vedle vícejazyčných webových dat obsahuje také kód a záznamy o vývoji softwaru, například commity, issues, pull requesty, recenze, generované testy a opravy ověřené v CI. Pro trénování s dlouhým kontextem slouží kurátorované dlouhé dokumenty, sekvence se sémanticky podobnými rušivými prvky a syntetická data pro vyhledávání a zodpovídání otázek. Díky těmto volbám se základní verze hodí pro uvažování na úrovni repozitářů, agentní softwarové inženýrství a práci s rozsáhlými vstupy.

Doprovodný repozitář FlashMask popisuje jádra pozornosti pro GPU Hopper a Blackwell; konfigurace Blackwell podporují dimenzi hlavy až 576 pro dotaz a klíč a 512 pro hodnotu. Baidu uvádí oproti FlashAttention-4 MaskMod na hardwaru SM100 zrychlení až o 175 % při dopředném průchodu a o 74 % při zpětném průchodu. Distribuovaný systém Muon také slučuje synchronizaci hustých parametrů a parametrů MoE do jediné kolektivní operace a rovnoměrněji rozkládá stav optimalizátoru mezi uzly, aniž by měnil jeho aktualizace.

Výsledky benchmarků Baidu

Baidu vyhodnotilo ERNIE v porovnání s veřejně vydanými kontrolními body DeepSeek-V4-Flash-Base, Hy3-preview-Base a MiMo-V2.5-Base za použití stejného testovacího rámce, promptů i příkladů pro few-shot režim a stejného modelu LLM jako hodnotitele otevřených odpovědí na otázky. Vybrané výsledky z tabulky ukazují, v čem model vede a v čem zaostává:

Srovnání Baidu závisí na konkrétní úloze a nejde o jednoznačné vítězství ve všech oblastech: ERNIE vede v uvedených výsledcích MMLU a HumanEval+, zatímco Hy3 vede ve FullStackBench a DeepSeek v InfiniteBench. Tabulka dokládá silné výsledky v testech a programování v rámci vyhodnocení Baidu, zároveň však zachovává uvedené výjimky.

Podmínky nasazení a licence

Ke stažení jsou k dispozici formáty safetensors FP8 a BF16. Karta modelu popisuje provozní nasazení pomocí SGLang a vLLM přes API completions, což odpovídá tomu, že jde o základní model. Receptura Megatron Bridge od NVIDIA přidává pracovní postup supervizovaného dolaďování, který zahrnuje přípravu dat, trénování a export zpět do formátu Hugging Face. Její receptura pro celý model používá 16 uzlů, přičemž na každém jsou čtyři GPU GB300. NVIDIA ověřuje receptury na systémech Blackwell GB200 a GB300; jednotlivé komponenty podporují Hopper, ten však ověřen nebyl.

Vlastní licenční smlouva k modelu ERNIE 5.5 Flash Base, verze 1.0, stanovuje územní a obchodní podmínky. Z vymezeného území jsou vyloučeny Evropská unie, Spojené království a Jižní Korea; činnosti včetně používání, úprav a distribuce mimo toto území nejsou povoleny. Za nekomerční použití se neplatí licenční poplatky za model. Komerční použití při ročních příjmech ze souvisejících produktů nebo služeb ve výši nejvýše 50 milionů USD vyžaduje jednorázové oznámení a výrazné uvedení atribuce „Powered by ERNIE“. Při překročení této hranice je nutné získat předchozí písemné samostatné povolení od Baidu.

Smlouva rovněž zakazuje používat licencované materiály, odvozené modely nebo jejich výstupy ke zlepšování nesouvisejícího systému umělé inteligence nebo strojového učení. Toto omezení je důležité pro postupy destilace a práce se syntetickými daty, jimž se licence výslovně věnuje při vymezení odvozených modelů a omezení používání výstupů.

ERNIE 5.5 Flash Base poskytuje výzkumníkům a vývojářům pevně daný kontrolní bod pro testování dalších trénovacích metod, aniž by museli opakovat předtrénování od Baidu. Jeho návrh se zaměřuje na řízení aktivních výpočtů a nákladů na dlouhý kontext, praktické využití tohoto vydání však omezuje hardware potřebný k dolaďování celého modelu i licence, která omezuje geografickou dostupnost, rozsáhlejší komerční využití a přenos schopností na nesouvisející modely.