Baidu rilascia ERNIE 5.5 Flash Base per l’ulteriore addestramento

Il team ERNIE di Baidu ha annunciato ERNIE-5.5-Flash-Base il 5 novembre 2026, rendendo disponibili i pesi scaricabili di un modello di soli testi basato su una miscela di esperti, con 280 miliardi di parametri complessivi e 14 miliardi attivati per token. Il checkpoint conclude la fase di pre-addestramento, prima dell’addestramento intermedio o successivo, e offre agli sviluppatori un punto di partenza comune per l’adattamento a domini specifici, l’affinamento supervisionato delle istruzioni e la ricerca sull’apprendimento per rinforzo.

Il rilascio fornisce inoltre una base di riferimento fissa per confronti controllati tra metodi di addestramento. Baidu ha dichiarato che a questa versione base seguirà un modello ERNIE 5.5 Flash sottoposto ad addestramento successivo.

Architettura e sistema di addestramento

La scheda del modello indica 43 strati, una dimensione nascosta di 4.096 e 64 teste di attenzione. Trent７ strati utilizzano l’attenzione fortemente compressa: la relativa cache contiene una voce per ogni blocco di 128 token, oltre a una breve finestra di token recenti non compressi. Sei strati di attenzione latente multi-head mantengono l’accesso al contesto completo a livello di token e utilizzano un indicizzatore per selezionare le posizioni precedenti con il punteggio più alto. Baidu afferma che questa selezione sparsa mantiene costante il costo dell’attenzione principale per query all’aumentare del contesto.

Tutti gli strati, tranne il primo, utilizzano un blocco basato su una miscela di esperti con 512 esperti instradati, di cui 10 attivati, oltre a un esperto condiviso. Gli esperti operano in uno spazio latente di 2.048 dimensioni anziché nell’intera larghezza dello stato nascosto del modello. Baidu afferma che, rispetto agli esperti a larghezza piena, questo riduce all’incirca della metà il traffico di instradamento e combinazione degli esperti e le operazioni in virgola mobile (FLOP) degli esperti. L’architettura comprende anche quattro flussi residui paralleli tramite connessioni iperboliche vincolate alla varietà e una testa di output MultiMax con una temperatura a tratti apprendibile.

Il pre-addestramento ha utilizzato 33,5 bilioni di token, l’ottimizzatore Muon e la precisione mista FP8. Il contesto utilizzato durante l’addestramento è stato ampliato gradualmente fino a 128K token; l’affinamento e l’inferenza supportano 1 milione di token. Oltre ai dati web multilingue, il corpus comprende codice e registrazioni dello sviluppo software, come commit, segnalazioni, richieste di pull, revisioni, test generati e correzioni verificate dalla CI. Documenti lunghi selezionati, sequenze con elementi distraenti semanticamente simili e dati sintetici per il recupero delle informazioni e la risposta a domande forniscono materiale per l’addestramento su contesti lunghi. Queste scelte rendono il rilascio del modello base adatto al ragionamento a livello di repository, all’ingegneria del software agentica e all’elaborazione di input estesi.

Il repository FlashMask che accompagna il rilascio documenta kernel di attenzione per GPU Hopper e Blackwell; le configurazioni Blackwell supportano dimensioni delle teste fino a 576 per query e chiave e 512 per valore. Baidu riporta incrementi di velocità fino al 175% nel passaggio in avanti e al 74% in quello all’indietro rispetto a FlashAttention-4 MaskMod su hardware SM100. Il sistema distribuito Muon combina inoltre la sincronizzazione dei parametri densi e di quelli MoE in un’unica operazione collettiva e distribuisce lo stato dell’ottimizzatore in modo più uniforme tra i nodi, senza modificare gli aggiornamenti dell’ottimizzatore.

Risultati di Baidu nei benchmark

Baidu ha valutato ERNIE confrontandolo con i checkpoint pubblicati di DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base, utilizzando lo stesso strumento di valutazione, gli stessi prompt e gli stessi esempi few-shot, nonché lo stesso modello LLM come giudice per le risposte aperte. Alcuni risultati selezionati dalla tabella mostrano in quali casi il modello è in testa e in quali resta indietro:

Il confronto di Baidu varia a seconda dell’attività e non vede un vincitore assoluto: ERNIE è in testa nei risultati riportati per MMLU e HumanEval+, mentre Hy3 guida FullStackBench e DeepSeek è in testa a InfiniteBench. La tabella documenta le solide prestazioni negli esami e nella programmazione ottenute nell’ambito della valutazione di Baidu, senza trascurare queste eccezioni.

Condizioni di distribuzione e licenza

I download sono disponibili nei formati safetensors FP8 e BF16. La scheda del modello documenta la distribuzione in produzione con SGLang e vLLM tramite l’API completions, in linea con lo status del checkpoint come modello base. La procedura di Megatron Bridge di NVIDIA aggiunge un flusso di lavoro di affinamento supervisionato che comprende la preparazione dei dati, l’addestramento e l’esportazione nel formato Hugging Face. La procedura per il modello completo utilizza 16 nodi, ciascuno con quattro GPU GB300. NVIDIA convalida le procedure sui sistemi Blackwell GB200 e GB300; i componenti supportano Hopper, ma Hopper non è convalidato.

Il contratto di licenza del modello ERNIE 5.5 Flash Base v1.0 impone condizioni territoriali e commerciali. Il territorio esclude l’Unione europea, il Regno Unito e la Corea del Sud; le attività svolte al di fuori di tale territorio, tra cui l’uso, la modifica e la distribuzione, non sono autorizzate. L’uso non commerciale è esente da costi di licenza del modello. Per l’uso commerciale con ricavi annui pari o inferiori a 50 milioni di dollari derivanti da prodotti o servizi correlati, sono richiesti una notifica una tantum e l’attribuzione ben visibile «Powered by ERNIE». Al di sopra di tale soglia, gli utenti devono ottenere la preventiva autorizzazione scritta separata di Baidu.

L’accordo vieta inoltre di utilizzare i materiali concessi in licenza, i modelli derivati o i relativi output per migliorare sistemi di intelligenza artificiale o di apprendimento automatico non correlati. Questa restrizione è importante per i flussi di lavoro di distillazione e generazione di dati sintetici, che la licenza disciplina espressamente quando definisce i modelli derivati e i limiti all’uso degli output.

ERNIE 5.5 Flash Base fornisce a ricercatori e sviluppatori un checkpoint fisso per testare metodi di addestramento successivi senza ripetere il pre-addestramento di Baidu. La sua progettazione punta a controllare il calcolo attivo e i costi legati ai contesti lunghi, ma la portata pratica del rilascio è limitata dall’hardware necessario per il fine-tuning dell’intero modello e da una licenza che pone restrizioni geografiche, limita l’uso commerciale su più vasta scala e vieta di trasferire capacità a modelli non correlati.