Baidus ERNIE Evolve automatiserer AI-forskning og optimering af inferens

Baidu introducerede ERNIE Evolve den 9. november 2026 og rapporterede bedre resultater end de offentlige sammenligningsresultater på tre NanoChat- og NanoGPT-målepunkter samt 33,7 % højere gennemløb i én test af deterministisk inferens med ERNIE-5.5-Flash. Det automatiserede forskningssystem udvælger forskningsretninger, redigerer AI-kode og beholder kun forbedringer, der består en separat evaluering og gennemgang.

Meddelelsen omfatter også igangværende arbejde med inferensoptimering af ERNIE-5.5-Flash, som stadig er under udvikling. Systemets rolle rækker videre end at skrive kode: Det udvælger forskningsspor, gennemfører test og bruger både fejl og succeser til at styre de efterfølgende iterationer.

En forskningsproces med uafhængige kontroller

Med et kodelager, et optimeringsmål og evalueringskriterier som udgangspunkt ændrer ERNIE Evolve kode og kører eksperimenter i isolerede miljøer. En overordnet direktør vælger en retning og en startversion ved hjælp af en erfaringsbank med tidligere eksperimenter og en vidensbase med artikler, open source-kode og domæneviden. Parallelle spor rummer træer af kandidatversioner; i hvert spor vælger en udvælger en kandidat og en hypotese, hvorefter en udfører gennemfører ændringen.

Godkendelsen afhænger af en fast evaluator og en separat kontrollant. Evaluatoren befinder sig uden for kodelageret, er usynlig for agenterne, udelukker ændringer uden for projektets omfang og kræver forbedringer, der overstiger en støjgrænse. Kontrollanten undersøger, om forskningsretningen er fulgt, og forkaster forsøg på at udnytte smuthuller i evalueringen. Kandidater, der afviger fra retningen, kan ikke blive den bedste version.

Resultater fra offentlige benchmarks og offentliggjort kode

Baidu rapporterer følgende resultater sammenlignet med de offentlige sammenligningsresultater, der blev brugt i evalueringen:

På NanoChat tilføjede ERNIE Evolve to forudsigelsesgrene ud over det neurale netværk: Den ene bruger n-gram-statistik fra træningskorpusset, mens den anden henter matchende dokumenter og laver forudsigelser ud fra deres fortsættelser. En indlært gate justerer blandingsforholdet ud fra hver grens præstation ved tidligere tokenpositioner.

Resultatlageret offentliggør den endelige kode og målelogfiler, hvor den afviklede kode enten er indlejret i hver logfil eller identificeret med sin SHA-256. Det indeholder syv SOL-ExecBench-artefakter for kerner med scorer fra 0,6669 til 0,9920; NVIDIAs opgavedefinitioner og arbejdsbelastningsdata distribueres ikke igen.

Resultatet for SOL-ExecBench sætter de bredere resultater i perspektiv: ERNIE Evolve førte ikke på alle de anførte målepunkter, selv om Baidus sammenligning placerer systemet foran Recursive og Hyra-1.0 på denne opgave.

Optimering af inferens for ERNIE-5.5-Flash

Baidu anvendte ERNIE Evolve på inferens med lav latenstid på Kunlunxin P800, gennemløb for deterministisk inferens på GPU’er og afkodningshastighed for enkeltforespørgsler. De fleste baselines var allerede blevet optimeret af ingeniører, og ændringerne skulle bestå de samme belastningstests og korrekthedskontroller som arbejde indsendt af ingeniører.

På Kunlunxin P800 rapporterer Baidu, at fire forskningsrunder øgede genereringshastigheden til 623,6 % af baseline, samtidig med at korrekthedskontrollerne blev bestået, og modellen og implementeringsopsætningen forblev uændret. De første runder muliggjorde fusionerede manifoldbegrænsede hyperforbindelser og spekulativ afkodning og reducerede derefter belastningen fra planlægning og synkronisering på værtsprocessoren. En rettelse af dispatch i fjerde runde muliggjorde DeepEPs lavlatenssti.

Til træning med reinforcement learning krævede den deterministiske opgave, at genererede tokens og log-sandsynligheder var bit for bit identiske uanset batchsammensætningen og svarede til en genberegning af hele sekvensen. SGLangs deterministiske tilstand understøtter disse krav ved at fastlægge rækkefølgen af reduktioner, men det begrænser udnyttelsen af GPU’en. Efter omkring tre dage rapporterer Baidu, at arbejdet også reducerede den gennemsnitlige tid pr. outputtoken med 26 % og tiden til det første token med 12 %, samtidig med at determinismen blev bevaret. Den største enkeltstående forbedring kom af at erstatte deterministisk sampling, som havde brugt omkring 14 % af GPU-tiden pr. trin, med en Triton-kerne, der behandler ordforrådssegmenter parallelt.

Ved GPU-afkodning af enkeltforespørgsler rapporterer Baidu en hastighedsforøgelse på 14,9 % i forhold til en tjeneste, der allerede var optimeret af ingeniører, uden ændringer i nøjagtigheden. Tre af syv forskningsretninger gav forbedringer. Det omfattede brug af native FP16-instruktioner til FP8-matrixmultiplikationer med færre end otte inputrækker samt udskiftning af sekventielle scanninger af eksperter med en planlægger til blanding af eksperter i to niveauer.

Disse tests afslørede også strengere krav til moduler og determinisme, måleusikkerhed på niveau med de enkelte forbedringer samt miljøer, der spændte over inferensmotorer, kernebiblioteker, hardwareplugins og scripts til opstart af tjenester. Nogle nyttige ændringer var mindre end støjen, så kandidaterne skulle bevise deres værdi i belastningstests fra ende til anden frem for i isolerede målinger af kerner.

Baidu planlægger at anvende denne proces til optimering af træningssystemer og derefter bruge målinger af modellernes evner til at styre automatisk generering af hypoteser, forsøgsdesign og validering. Virksomhedens langsigtede mål er, at AI skal identificere mangler i modellernes evner samt generere og forfine evalueringsopgaver.

Virksomheden siger, at rekursiv selvforbedring skal forblive under menneskelig kontrol og kunne afbrydes inden for eksplicitte grænser for mål, tilladelser og ressourcer, med løbende sikkerhedsevaluering og menneskeligt tilsyn. Når man går fra faste tekniske målinger til modellernes evner og udformning af benchmarks, bliver disse evaluerings- og tilsynsmekanismer afgørende for, hvor langt forskningsprocessen kan udvides.