Baidus ERNIE Evolve automatiserer KI-forskning og inferensoptimalisering

Baidu lanserte ERNIE Evolve 9. november 2026 og rapporterte bedre resultater enn offentlige sammenligningsresultater på tre måltall for NanoChat og NanoGPT, samt 33,7 % høyere gjennomstrømning i én deterministisk inferenstest med ERNIE-5.5-Flash. Det automatiserte forskningssystemet velger forskningsretninger, redigerer KI-kode og beholder bare forbedringer som består separate evaluerings- og kontrollrunder.

Kunngjøringen omfatter også aktivt arbeid med inferensteknikk for ERNIE-5.5-Flash, som er under utvikling. Systemets rolle er mer omfattende enn å skrive kode: Det velger forskningsspor, kjører tester og bruker både feil og suksesser til å styre senere iterasjoner.

En forskningssløyfe med uavhengige kontroller

Når systemet får et kodelager, et optimaliseringsmål og evalueringskriterier, endrer ERNIE Evolve kode og kjører eksperimenter i isolerte miljøer. En overordnet styrer velger retning og startversjon ved hjelp av en erfaringsbank med tidligere eksperimenter og en kunnskapsbase med artikler, åpen kildekode og domenekunnskap. Parallelle spor inneholder trær av kandidatversjoner. I hvert spor velger en velger en kandidat og en hypotese, og en utfører gjennomfører endringen.

Godkjenningen avhenger av en fast evalueringsmodul og en separat kontrollør. Evalueringsmodulen ligger utenfor kodelageret, er usynlig for agentene, utelukker endringer utenfor omfanget og krever forbedringer som overstiger en støyterskel. Kontrolløren sjekker at arbeidet følger forskningsretningen, og forkaster forsøk på å utnytte smutthull i evalueringen. Kandidater som avviker fra retningen, kan ikke bli den beste versjonen.

Resultater fra offentlige referansetester og offentliggjort kode

Baidu rapporterer følgende resultater sammenlignet med de offentlige sammenligningsresultatene som ble brukt i evalueringen:

På NanoChat la ERNIE Evolve til to prediksjonsgrener ved siden av det nevrale nettverket: Den ene bruker n-gram-statistikk fra treningskorpuset, og den andre henter relevante dokumenter og predikerer ut fra fortsettelsene deres. En lært port justerer blandingsforholdet basert på hver grens ytelse ved tidligere tokenposisjoner.

Resultatlageret offentliggjør den endelige koden og måleloggene. Koden som ble kjørt, er enten inkludert i hver logg eller identifisert med sin SHA-256. Lageret viser sju SOL-ExecBench-kjerneresultater med poengsummer fra 0,6669 til 0,9920. NVIDIA deler ikke oppgavebeskrivelsene og arbeidslastdataene videre.

Raden for SOL-ExecBench setter de bredere resultatene i perspektiv: ERNIE Evolve ledet ikke på alle måltallene som er oppført, selv om Baidus sammenligning viser at systemet ligger foran Recursive og Hyra-1.0 på denne oppgaven.

Inferensoptimalisering for ERNIE-5.5-Flash

Baidu brukte ERNIE Evolve til inferens med lav latenstid på Kunlunxin P800, deterministisk inferensgjennomstrømning på GPU-er og dekodingshastighet for enkeltforespørsler. De fleste referansesystemene var allerede optimalisert av ingeniører, og endringene måtte bestå de samme belastningstestene og korrekthetskontrollene som arbeid utført av ingeniører.

På Kunlunxin P800 økte fire forskningsrunder genereringshastigheten til 623,6 % av utgangspunktet, ifølge Baidu, samtidig som korrekthetskontrollene ble bestått og modellen og distribusjonsoppsettet forble uendret. De første rundene la til sammenslåtte, manifoldbegrensede hyperkoblinger og spekulativ dekoding, før de reduserte belastningen fra planlegging og synkronisering på vertssiden. En retting av utsendingsmekanismen i den fjerde runden aktiverte DeepEPs bane med lav latenstid.

For trening med forsterkningslæring krevde den deterministiske oppgaven at genererte tokener og log-sannsynligheter skulle være bit-for-bit identiske uavhengig av batchsammensetningen, og at de skulle samsvare med en ny beregning av hele sekvensen. SGLangs deterministiske modus oppfyller disse kravene ved å fastsette rekkefølgen på reduksjonene, men det begrenser GPU-utnyttelsen. Etter omtrent tre dager reduserte arbeidet også gjennomsnittlig tid per utgangstoken med 26 % og tiden til første token med 12 %, ifølge Baidu, samtidig som determinismen ble opprettholdt. Den største enkeltstående forbedringen kom av å erstatte deterministisk sampling, som hadde stått for omtrent 14 % av GPU-tiden per trinn, med en Triton-kjerne som behandler vokabularbiter parallelt.

For GPU-dekoding av enkeltforespørsler rapporterer Baidu en hastighetsøkning på 14,9 % sammenlignet med en tjeneste som allerede var finjustert av ingeniører, uten at nøyaktigheten ble endret. Tre av sju forskningsretninger ga forbedringer. Blant dem var bruk av innebygde FP16-instruksjoner for FP8-matriseproduktberegninger med færre enn åtte inndatarader, og erstatning av sekvensielle ekspertskanninger med en totrinnsplanlegger for blanding av eksperter.

Disse testene avdekket også strengere krav til moduler og determinisme, måleusikkerhet på nivå med enkeltforbedringene og miljøer som omfattet inferensmotorer, kjernebiblioteker, maskinvaretillegg og oppstartsskript for tjenester. Noen nyttige endringer ga mindre utslag enn måleusikkerheten, så kandidatene måtte bevise verdien sin i ende-til-ende-belastningstester, ikke bare i isolerte målinger av kjerner.

Baidu planlegger å bruke denne arbeidsflyten til å optimalisere treningssystemer og deretter bruke måltall for modellegenskaper til å styre automatisk generering av hypoteser, eksperimentdesign og validering. På lengre sikt er målet at KI skal identifisere mangler i modellens egenskaper og generere og videreutvikle evalueringsoppgaver.

Selskapet sier at rekursiv selvforbedring må forbli under menneskelig kontroll og kunne avbrytes, innenfor tydelige grenser for mål, tillatelser og ressurser, med kontinuerlig sikkerhetsevaluering og menneskelig tilsyn. Overgangen fra faste tekniske måltall til modellegenskaper og utforming av referansetester gjør disse kontrollene for evaluering og tilsyn avgjørende for hvor langt forskningsprosessen kan utvides.