Baidu lansează ERNIE 5.5 Flash Base pentru antrenare suplimentară

Echipa ERNIE de la Baidu a anunțat ERNIE-5.5-Flash-Base pe 5 noiembrie 2026, punând la dispoziție ponderi descărcabile pentru un model exclusiv text, cu arhitectură cu experți multipli, care are 280 de miliarde de parametri în total și activează 14 miliarde per token. Acest punct de control încheie etapa de preantrenare, înainte de antrenarea intermediară sau postantrenare, oferindu-le dezvoltatorilor un punct de pornire comun pentru adaptarea la domenii, ajustarea fină pe instrucțiuni și cercetarea în domeniul învățării prin întărire.

Lansarea oferă și o bază de referință fixă pentru comparații controlate între metode de antrenare. Baidu a declarat că un model ERNIE 5.5 Flash postantrenat va urma acestei versiuni de bază.

Arhitectura și sistemul de antrenare

Fișa modelului indică 43 de straturi, o dimensiune a reprezentării interne de 4.096 și 64 de capete de atenție. Treizeci și șapte de straturi folosesc mecanismul de atenție puternic comprimată: memoria cache păstrează câte o intrare pentru fiecare bloc de 128 de tokeni, plus o fereastră scurtă cu tokenii recenți necomprimați. Șase straturi cu atenție latentă multi-cap păstrează accesul la nivel de token la întregul context și folosesc un indexator pentru a selecta pozițiile anterioare cu cele mai mari scoruri. Potrivit Baidu, această selecție rară menține constant costul atenției de bază per interogare pe măsură ce contextul se extinde.

Toate straturile, cu excepția primului, folosesc un bloc cu experți multipli, cu 512 experți direcționați, dintre care 10 sunt activați, plus un expert partajat. Experții operează într-un spațiu latent de 2.048 de dimensiuni, nu pe toată lățimea reprezentării interne a modelului. Potrivit Baidu, comparativ cu experții care folosesc întreaga lățime, acest lucru reduce aproximativ la jumătate traficul de direcționare și combinare a experților, precum și numărul de operații în virgulă mobilă (FLOPs) ale acestora. Arhitectura include și patru fluxuri reziduale paralele prin conexiuni hiper constrânse pe o varietate diferențiabilă, precum și un cap de ieșire MultiMax cu o funcție de temperatură liniară pe segmente, ale cărei valori pot fi învățate.

Preantrenarea a folosit 33,5 trilioane de tokeni, optimizatorul Muon și precizie mixtă FP8. Contextul folosit în timpul antrenării a fost extins treptat până la 128K de tokeni; ajustarea fină și inferența acceptă 1 milion de tokeni. Pe lângă date web multilingve, corpusul include cod și înregistrări ale dezvoltării software, precum commituri, probleme, cereri de integrare, recenzii, teste generate și remedieri verificate prin integrare continuă (CI). Documentele lungi selectate cu grijă, secvențele care conțin elemente distractoare cu semnificații similare și datele sintetice pentru regăsirea informațiilor și răspunsul la întrebări asigură antrenarea pe contexte lungi. Aceste alegeri aliniază versiunea de bază cu raționamentul la nivel de depozit de cod, ingineria software bazată pe agenți și procesarea intrărilor extinse.

Depozitul FlashMask care însoțește lansarea documentează nuclee de calcul pentru mecanismul de atenție pe GPU-uri Hopper și Blackwell; configurațiile Blackwell acceptă dimensiuni ale capetelor de până la 576 pentru interogare și cheie și de 512 pentru valoare. Baidu raportează creșteri de viteză de până la 175% la trecerea înainte și de 74% la trecerea înapoi, comparativ cu FlashAttention-4 MaskMod pe hardware SM100. Sistemul distribuit Muon combină, de asemenea, sincronizarea parametrilor denși și a celor pentru experții multipli într-o singură operație colectivă și distribuie starea optimizatorului mai uniform între noduri, fără a modifica actualizările optimizatorului.

Rezultatele Baidu la testele de performanță comparativă

Baidu a evaluat ERNIE în comparație cu punctele de control lansate public DeepSeek-V4-Flash-Base, Hy3-preview-Base și MiMo-V2.5-Base, folosind același cadru de evaluare, aceleași instrucțiuni și exemple cu puține demonstrații, precum și același model lingvistic de mari dimensiuni pentru evaluarea răspunsurilor în format liber la întrebări. Rezultatele selectate din tabelul companiei arată la ce teste modelul se clasează pe primul loc și la care rămâne în urmă:

Comparația realizată de Baidu depinde de sarcină și nu arată o victorie categorică: ERNIE obține cele mai bune rezultate prezentate la MMLU și HumanEval+, în timp ce Hy3 se clasează pe primul loc la FullStackBench, iar DeepSeek, la InfiniteBench. Tabelul indică rezultate solide la examene și la programare în cadrul evaluării Baidu, păstrând totodată în vedere aceste excepții.

Condiții de implementare și licențiere

Descărcările sunt disponibile în formatele safetensors FP8 și BF16. Fișa modelului documentează servirea în medii de producție cu SGLang și vLLM prin API-ul de completări, în concordanță cu statutul punctului de control de model de bază. Rețeta Megatron Bridge de la NVIDIA adaugă un flux de lucru pentru ajustarea fină supravegheată, care acoperă pregătirea datelor, antrenarea și exportul înapoi în formatul Hugging Face. Rețeta pentru modelul complet folosește 16 noduri, fiecare cu patru GPU-uri GB300. NVIDIA validează rețetele pe sisteme Blackwell GB200 și GB300; componentele sunt compatibile cu Hopper, însă nu au fost validate pe această platformă.

Acordul personalizat de licență ERNIE 5.5 Flash Base, versiunea 1.0, impune condiții teritoriale și comerciale. Teritoriul licenței exclude Uniunea Europeană, Regatul Unit și Coreea de Sud, iar activitățile desfășurate în afara acestui teritoriu, inclusiv utilizarea, modificarea și distribuirea, nu sunt autorizate. Utilizarea necomercială nu implică taxe de licențiere a modelului. Pentru utilizarea comercială, dacă veniturile anuale din produse sau servicii conexe sunt de cel mult 50 de milioane de dolari, este necesară o notificare unică și menționarea vizibilă a atribuirii „Susținut de ERNIE”. Peste acest prag, utilizatorii au nevoie de o autorizație scrisă prealabilă separată din partea Baidu.

Acordul interzice, de asemenea, utilizarea materialelor licențiate, a modelelor derivate sau a rezultatelor acestora pentru a îmbunătăți un sistem AI sau de învățare automată fără legătură cu acestea. Această restricție este importantă pentru fluxurile de lucru bazate pe distilare și date sintetice, pe care licența le tratează în mod explicit atunci când definește modelele derivate și limitele privind utilizarea rezultatelor.

ERNIE 5.5 Flash Base le oferă cercetătorilor și dezvoltatorilor un checkpoint fix pentru testarea unor metode ulterioare de antrenare, fără a repeta etapa de preantrenare a Baidu. Modelul este conceput pentru a controla calculul activ și costurile contextelor lungi, însă aplicabilitatea sa practică este limitată de hardware-ul necesar pentru ajustarea fină a întregului model și de o licență care restricționează utilizarea în anumite teritorii, utilizarea comercială la scară mai mare și transferul capabilităților către modele fără legătură cu acesta.