Baidus ERNIE Evolve automatiserar AI-forskning och inferensoptimering

Baidu presenterade ERNIE Evolve den 9 november 2026 och uppgav att systemet gav bättre resultat än offentliga jämförelser på tre NanoChat- och NanoGPT-mått samt 33,7 % högre genomströmning i ett deterministiskt inferenstest med ERNIE-5.5-Flash. Det automatiserade forskningssystemet väljer forskningsinriktningar, redigerar AI-kod och behåller endast förbättringar som klarar separat utvärdering och granskning.

Tillkännagivandet omfattar också pågående arbete med inferensteknik för ERNIE-5.5-Flash, som är under utveckling. Systemets uppgift är mer omfattande än att skriva kod: det väljer forskningsspår, kör tester och använder både misslyckanden och framgångar för att styra senare iterationer.

En forskningsloop med oberoende kontroller

Med ett kodförråd, ett optimeringsmål och utvärderingskriterier som utgångspunkt ändrar ERNIE Evolve koden och kör experiment i isolerade miljöer. En direktör i den överordnade loopen väljer inriktning och startversion med hjälp av en erfarenhetsbank med tidigare experiment och en kunskapsbas med forskningsartiklar, öppen källkod och domänkunskap. Parallella spår innehåller träd av kandidatversioner. I varje spår väljer en väljare en kandidat och en hypotes, och en utförare genomför ändringen.

Godkännandet bygger på en fast utvärderare och en separat granskare. Utvärderaren finns utanför kodförrådet, är osynlig för agenterna, utesluter ändringar utanför uppdragets omfattning och kräver förbättringar som överstiger en brusnivåtröskel. Granskaren kontrollerar att arbetet följer forskningsinriktningen och underkänner försök att utnyttja kryphål i utvärderingen. Kandidater som avviker från inriktningen kan inte bli den bästa versionen.

Resultat från offentliga riktmärken och publicerad kod

Baidu rapporterar följande resultat jämfört med de offentliga jämförelseresultat som användes i utvärderingen:

På NanoChat lade ERNIE Evolve till två förutsägelsegrenar vid sidan av det neurala nätverket: den ena använder n-gramstatistik från träningskorpusen, och den andra hämtar matchande dokument och gör förutsägelser utifrån fortsättningarna på dem. En inlärd grind justerar blandningen utifrån hur varje gren presterat vid tidigare tokenpositioner.

Resultatkodbiblioteket publicerar slutlig kod och mätloggar, där den körda koden antingen är inbäddad i varje logg eller identifieras med sin SHA-256. Där listas sju kärnartefakter från SOL-ExecBench med resultat mellan 0.6669 och 0.9920; NVIDIAs uppgiftsdefinitioner och arbetslastdata distribueras inte på nytt.

Raden för SOL-ExecBench nyanserar de övergripande resultaten: ERNIE Evolve ledde inte på alla redovisade mått, även om Baidus jämförelse visar att systemet presterade bättre än Recursive och Hyra-1.0 på den uppgiften.

Inferensoptimering för ERNIE-5.5-Flash

Baidu använde ERNIE Evolve för inferens med låg latens på Kunlunxin P800, genomströmning vid deterministisk inferens på GPU:er och avkodningshastighet för enskilda förfrågningar. De flesta baslinjerna hade redan optimerats av ingenjörer, och ändringarna behövde klara samma belastningstester och korrekthetskontroller som arbete inlämnat av ingenjörer.

På Kunlunxin P800 uppger Baidu att fyra forskningsomgångar ökade genereringshastigheten till 623.6 % av baslinjen samtidigt som korrekthetskontrollerna klarades, utan att modellen eller driftsättningen ändrades. I de första omgångarna infördes fusionerade manifoldbegränsade hyperkopplingar och spekulativ avkodning, varefter belastningen från schemaläggning och synkronisering på värdsidan minskades. En åtgärd för dispatch i den fjärde omgången möjliggjorde DeepEP:s låg-latensläge.

För träning med förstärkningsinlärning krävde den deterministiska uppgiften att genererade token och log-sannolikheter skulle vara bitmässigt identiska oavsett batchens sammansättning och stämma överens med omberäkning av hela sekvensen. SGLangs deterministiska läge uppfyller dessa krav genom att låsa reduktionsordningen, men det begränsar GPU-utnyttjandet. Efter ungefär tre dagar uppger Baidu att arbetet också minskade den genomsnittliga tiden per utmatad token med 26 % och tiden till den första tokenen med 12 %, samtidigt som determinismen bevarades. Den största enskilda förbättringen kom av att deterministisk sampling, som hade förbrukat omkring 14 % av GPU-tiden per steg, ersattes med en Triton-kärna som behandlar vokabulärblock parallellt.

För GPU-avkodning av enskilda förfrågningar rapporterar Baidu en hastighetsökning på 14,9 % jämfört med en tjänst som redan finjusterats av ingenjörer, utan att träffsäkerheten förändrades. Tre av sju forskningsspår gav förbättringar. Bland annat användes inbyggda FP16-instruktioner för FP8-matrismultiplikationer med färre än åtta indatarader, och sekventiella expertsökningar ersattes med en tvånivåschemaläggare för blandade experter.

Dessa tester blottlade också strängare krav på moduler och determinism, mätbrus i nivå med enskilda förbättringar och miljöer som omfattade inferensmotorer, kärnbibliotek, hårdvarutillägg och skript för tjänsteuppstart. Vissa användbara ändringar gav mindre effekt än mätbruset, så kandidaterna måste bevisa sitt värde i belastningstester från början till slut i stället för genom isolerade mätningar av kärnor.

Baidu planerar att tillämpa återkopplingsslingan på optimering av träningssystem och därefter använda mått på modellernas förmågor för att styra automatisk hypotesgenerering, experimentutformning och validering. På längre sikt är målet att AI ska identifiera förmågeluckor samt skapa och förfina utvärderingsuppgifter.

Företaget säger att rekursiv självförbättring måste förbli människostyrd och möjlig att avbryta, inom uttryckliga gränser för mål, behörigheter och resurser, med kontinuerlig säkerhetsutvärdering och mänsklig tillsyn. Övergången från fasta tekniska mått till modellförmågor och utformning av riktmärken gör dessa kontroller för utvärdering och tillsyn centrala för hur långt forskningsslingan kan utvidgas.