Modelli e piattaforme di IA
ERNIE Evolve di Baidu automatizza la ricerca sull’IA e l’ottimizzazione dell’inferenza
Aggiungi Unite.AI alle tue fonti preferite su Google
Baidu ha presentato ERNIE Evolve il 9 novembre 2026, riferendo risultati migliori rispetto ai confronti pubblici su tre metriche di NanoChat e NanoGPT e un throughput superiore del 33,7% in un test di inferenza deterministica di ERNIE-5.5-Flash. Il sistema di ricerca automatizzata seleziona le direzioni di ricerca, modifica il codice dell’IA e conserva solo i miglioramenti che superano valutazioni e revisioni separate.
L’annuncio riguarda anche le attività in corso di ingegneria dell’inferenza per ERNIE-5.5-Flash, ancora in fase di sviluppo. Il ruolo del sistema va oltre la scrittura del codice: seleziona le linee di ricerca, esegue i test e usa sia gli insuccessi sia i successi per orientare le iterazioni successive.
Un ciclo di ricerca con verifiche indipendenti
Partendo da un repository, un obiettivo di ottimizzazione e criteri di valutazione, ERNIE Evolve modifica il codice ed esegue esperimenti in ambienti isolati. Un direttore del ciclo esterno sceglie una direzione e una versione iniziale basandosi su una Banca delle esperienze, che raccoglie gli esperimenti precedenti, e su una Base di conoscenze composta da articoli, codice open source e conoscenze del dominio. Le corsie parallele contengono alberi di versioni candidate; al loro interno, un selettore sceglie una candidata e un’ipotesi, mentre un esecutore implementa la modifica.
L’accettazione dipende da un valutatore fisso e da un revisore distinto. Il valutatore è esterno al repository, invisibile agli agenti, esclude le modifiche estranee all’ambito e richiede miglioramenti superiori a una soglia di rumore. Il revisore verifica che il lavoro rispetti la direzione di ricerca e scarta i tentativi di sfruttare le lacune della valutazione. Le candidate che si discostano dalla direzione prevista non possono diventare la versione migliore.
Risultati dei benchmark pubblici e codice rilasciato
Baidu riferisce i seguenti risultati rispetto ai confronti pubblici utilizzati nella valutazione:
| Attività e condizioni | Metrica | ERNIE Evolve | Confronto pubblico |
|---|---|---|---|
| NanoChat AutoResearch, addestramento di cinque minuti su un B200 | Bit di convalida per byte; un valore più basso è migliore | 0.8763 | media di 0.887791 su 10 semi |
| NanoGPT Speedrun Track 1, otto GPU H100 | Secondi per raggiungere una perdita di convalida di 3.28 su FineWeb; un valore più basso è migliore | 38.92 secondi in 18 esecuzioni | 39.9 secondi |
| NanoGPT Speedrun Track 3, dati, dimensione del batch e architettura fissi | Passaggi per raggiungere una perdita di convalida di 3.28 su FineWeb; un valore più basso è migliore | 2,590 in otto esecuzioni | 2,690 in otto esecuzioni |
| SOL-ExecBench, 235 problemi di kernel | Punteggio medio di velocità rispetto a un limite teorico analitico (roofline) per B200; un valore più alto è migliore | 0.819 | Punteggio più alto: 0.827 |
Su NanoChat, ERNIE Evolve ha affiancato alla rete neurale due rami di previsione: uno usa le statistiche degli n-grammi del corpus di addestramento, mentre l’altro recupera documenti pertinenti e formula previsioni a partire dalle loro continuazioni. Un gate appreso regola la combinazione in base alle prestazioni di ciascun ramo nelle posizioni precedenti dei token.
Il repository dei risultati pubblica il codice finale e i registri delle misurazioni, con il codice eseguito incorporato in ciascun registro oppure identificato dal relativo SHA-256. Elenca sette artefatti di kernel di SOL-ExecBench, con punteggi compresi tra 0.6669 e 0.9920; le definizioni delle attività e i dati dei carichi di lavoro di NVIDIA non vengono ridistribuiti.
La riga relativa a SOL-ExecBench qualifica i risultati complessivi: ERNIE Evolve non è in testa in tutte le metriche elencate, anche se il confronto di Baidu lo colloca davanti a Recursive e Hyra-1.0 in questa attività.
Ottimizzazione dell’inferenza per ERNIE-5.5-Flash
Baidu ha applicato ERNIE Evolve all’inferenza a bassa latenza su Kunlunxin P800, al throughput dell’inferenza deterministica su GPU e alla velocità di decodifica per singola richiesta. La maggior parte dei valori di riferimento era già stata ottimizzata dagli ingegneri e le modifiche dovevano superare gli stessi test di carico e verifiche di correttezza previsti per il lavoro presentato dagli ingegneri.
Su Kunlunxin P800, Baidu riferisce che quattro cicli di ricerca hanno portato la velocità di generazione al 623,6% del valore di riferimento, superando le verifiche di correttezza e mantenendo invariati il modello e la configurazione di distribuzione. Nei primi cicli sono state abilitate le hyper-connection vincolate alla varietà e fuse e la decodifica speculativa; successivamente sono stati ridotti i costi generali di pianificazione e sincronizzazione sul lato host. Una correzione alla distribuzione introdotta nel quarto ciclo ha abilitato il percorso a bassa latenza di DeepEP.
Per l’addestramento con apprendimento per rinforzo, l’attività deterministica richiedeva che i token generati e le probabilità logaritmiche fossero identici bit per bit indipendentemente dalla composizione del batch e corrispondessero al ricalcolo dell’intera sequenza. La modalità deterministica di SGLang soddisfa questi requisiti fissando l’ordine delle riduzioni, ma ciò limita l’utilizzo della GPU. Dopo circa tre giorni, riferisce Baidu, il lavoro ha ridotto anche del 26% il tempo medio per token generato e del 12% il tempo al primo token, mantenendo il determinismo. Il maggiore miglioramento singolo è derivato dalla sostituzione del campionamento deterministico, che assorbiva circa il 14% del tempo della GPU per passaggio, con un kernel Triton che elabora in parallelo blocchi del vocabolario.
Per la decodifica GPU con richieste singole, Baidu segnala un aumento della velocità del 14,9% rispetto a un servizio già ottimizzato dagli ingegneri, senza variazioni nell’accuratezza. Tre delle sette direzioni di ricerca hanno prodotto miglioramenti. Tra queste figurano l’uso di istruzioni native FP16 per moltiplicazioni di matrici FP8 con meno di otto righe di input e la sostituzione delle scansioni sequenziali degli esperti con uno scheduler a due livelli per la miscela di esperti.
Questi test hanno inoltre evidenziato vincoli più stringenti relativi ai moduli e al determinismo, un rumore di misurazione paragonabile ai singoli miglioramenti e ambienti che comprendono motori di inferenza, librerie di kernel, plug-in hardware e script di avvio dei servizi. Alcune modifiche utili erano di entità inferiore al rumore; perciò, i candidati dovevano dimostrare il proprio valore nei test di carico end-to-end, anziché in misurazioni isolate dei kernel.
Baidu prevede di applicare questo ciclo all’ottimizzazione dei sistemi di addestramento e, successivamente, di usare metriche sulle capacità dei modelli per guidare la generazione automatica di ipotesi, la progettazione degli esperimenti e la convalida. L’obiettivo a lungo termine è che l’IA individui le lacune nelle capacità e generi e perfezioni attività di valutazione.
L’azienda afferma che l’auto-miglioramento ricorsivo deve restare sotto il controllo umano e poter essere interrotto, entro limiti espliciti relativi a obiettivi, autorizzazioni e risorse, con una valutazione continua della sicurezza e la supervisione umana. Il passaggio da metriche ingegneristiche fisse alle capacità dei modelli e alla progettazione dei benchmark rende questi controlli di valutazione e supervisione centrali nel determinare fin dove possa estendersi il ciclo di ricerca.
