ERNIE Evolve van Baidu automatiseert AI-onderzoek en optimalisatie van inferentie

Baidu introduceerde ERNIE Evolve op 9 november 2026. Volgens het bedrijf presteerde het systeem beter dan de openbare vergelijkingsresultaten op drie NanoChat- en NanoGPT-metrics en behaalde het 33,7% meer doorvoer in één deterministische inferentietest met ERNIE-5.5-Flash. Het geautomatiseerde onderzoekssysteem selecteert onderzoekrichtingen, past AI-code aan en behoudt alleen verbeteringen die afzonderlijke evaluatie en beoordeling doorstaan.

De aankondiging gaat ook over lopend werk aan inferentie-engineering voor ERNIE-5.5-Flash, dat nog in ontwikkeling is. De rol van het systeem gaat verder dan code schrijven: het selecteert onderzoekslijnen, voert tests uit en gebruikt zowel mislukkingen als successen om latere iteraties richting te geven.

Een onderzoeksproces met onafhankelijke controles

Op basis van een repository, een optimalisatiedoel en evaluatiecriteria past ERNIE Evolve code aan en voert het experimenten uit in geïsoleerde omgevingen. Een directeur in de buitenste lus kiest een richting en een startversie aan de hand van een ervaringsbank met eerdere experimenten en een kennisbank met artikelen, open-sourcecode en domeinkennis. Parallelle trajecten bevatten bomen met kandidaatversies; binnen elk traject kiest een selector een kandidaat en een hypothese, waarna een uitvoerder de wijziging doorvoert.

Acceptatie hangt af van een vaste evaluator en een afzonderlijke beoordelaar. De evaluator staat buiten de repository, is onzichtbaar voor de agents, sluit wijzigingen buiten de scope uit en vereist verbeteringen die boven een ruisdrempel uitkomen. De beoordelaar controleert of de onderzoeksrichting wordt gevolgd en verwerpt pogingen om mazen in de evaluatie te benutten. Kandidaten die van de onderzoeksrichting afwijken, kunnen niet de beste versie worden.

Resultaten op openbare benchmarks en vrijgegeven code

Baidu rapporteert de volgende resultaten ten opzichte van de openbare vergelijkingsresultaten die bij de evaluatie zijn gebruikt:

Voor NanoChat voegde ERNIE Evolve naast het neurale netwerk twee voorspellingstakken toe: de ene gebruikt n-gramstatistieken uit het trainingscorpus, terwijl de andere overeenkomende documenten ophaalt en voorspellingen doet op basis van het vervolg daarvan. Een aangeleerde poort past de mengverhouding aan op basis van de prestaties van elke tak op eerdere tokenposities.

De resultatenrepository publiceert de uiteindelijke code en meetlogboeken. De uitgevoerde code is in elk logboek opgenomen of wordt aangeduid met de bijbehorende SHA-256. De repository vermeldt zeven kernelartefacten voor SOL-ExecBench met scores van 0.6669–0.9920; de taakdefinities en workloadgegevens van NVIDIA worden niet opnieuw verspreid.

De rij voor SOL-ExecBench plaatst de bredere resultaten in perspectief: ERNIE Evolve voerde niet op elke vermelde maatstaf de ranglijst aan, hoewel Baidu het bij deze taak hoger plaatst dan Recursive en Hyra-1.0.

Inferentieoptimalisatie voor ERNIE-5.5-Flash

Baidu zette ERNIE Evolve in voor inferentie met lage latentie op Kunlunxin P800, de doorvoer van deterministische inferentie op GPU’s en de decodeersnelheid bij afzonderlijke verzoeken. De meeste baselines waren al door engineers geoptimaliseerd en wijzigingen moesten dezelfde belastingtests en correctheidscontroles doorstaan als werk dat door engineers was ingediend.

Op Kunlunxin P800 verhoogden vier onderzoeksrondes volgens Baidu de generatiesnelheid tot 623,6% van de baseline, terwijl de correctheidscontroles werden doorstaan en het model en de implementatieconfiguratie ongewijzigd bleven. In de eerste rondes werden gefuseerde manifold-beperkte hyperverbindingen en speculatief decoderen mogelijk gemaakt. Daarna werden de overhead voor planning en synchronisatie aan de hostzijde verminderd. Een oplossing voor de dispatch in de vierde ronde maakte het pad met lage latentie van DeepEP mogelijk.

Voor training met reinforcement learning vereiste de deterministische taak dat de gegenereerde tokens en logkansen bit voor bit identiek waren, ongeacht de samenstelling van de batch, en overeenkwamen met herberekening van de volledige reeks. De deterministische modus van SGLang voldoet aan die vereisten door de volgorde van reducties vast te leggen, maar dat beperkt de GPU-benutting. Na ongeveer drie dagen werk rapporteert Baidu ook een daling van 26% in de gemiddelde tijd per outputtoken en van 12% in de tijd tot het eerste token, met behoud van determinisme. De grootste afzonderlijke verbetering kwam van het vervangen van deterministische sampling, dat ongeveer 14% van de GPU-tijd per stap had verbruikt, door een Triton-kernel die woordenschatblokken parallel verwerkt.

Voor GPU-decodering van afzonderlijke verzoeken meldt Baidu een snelheidsverbetering van 14,9% ten opzichte van een dienst die al door technici was geoptimaliseerd, zonder dat de nauwkeurigheid veranderde. Drie van de zeven onderzoeksrichtingen leverden verbeteringen op. Daaronder vielen het gebruik van native FP16-instructies voor FP8-matrixvermenigvuldigingen met minder dan acht invoerrijen en het vervangen van opeenvolgende expertscans door een scheduler met twee niveaus voor mixture-of-experts.

Deze tests brachten ook strengere beperkingen op het gebied van modules en determinisme aan het licht, meetruis die vergelijkbaar was met de afzonderlijke verbeteringen, en uiteenlopende omgevingen met inferentie-engines, kernelbibliotheken, hardwareplug-ins en scripts voor het opstarten van services. Sommige nuttige wijzigingen waren kleiner dan de meetruis. Daarom moesten kandidaten hun waarde aantonen in end-to-end-belastingtests, en niet met geïsoleerde kernelmetingen.

Baidu is van plan deze aanpak toe te passen op de optimalisatie van trainingssystemen en vervolgens met behulp van maatstaven voor modelcapaciteiten geautomatiseerde hypothesevorming, experimenteel ontwerp en validatie aan te sturen. Op de langere termijn wil het bedrijf dat AI lacunes in capaciteiten identificeert en evaluatietaken genereert en verfijnt.

Volgens het bedrijf moet recursieve zelfverbetering onder menselijke controle blijven en onderbroken kunnen worden, binnen expliciete grenzen voor doelen, bevoegdheden en middelen, met voortdurende veiligheidsevaluatie en menselijk toezicht. De verschuiving van vaste technische meetwaarden naar modelcapaciteiten en het ontwerp van benchmarks maakt deze evaluatie- en toezichtsmaatregelen bepalend voor de mate waarin de onderzoekslus kan worden uitgebreid.