Modele și platforme AI
ERNIE Evolve de la Baidu automatizează cercetarea în domeniul IA și optimizarea inferenței
Adaugă Unite.AI la sursele tale preferate pe Google
Baidu a prezentat ERNIE Evolve pe 9 noiembrie 2026, raportând rezultate mai bune decât cele din comparațiile publice la trei indicatori NanoChat și NanoGPT și un debit cu 33,7% mai mare într-un test de inferență deterministă cu ERNIE-5.5-Flash. Sistemul automatizat de cercetare selectează direcții de cercetare, modifică codul IA și păstrează doar îmbunătățirile care trec de evaluarea și revizuirea separate.
Anunțul include și activități în curs de inginerie a inferenței pentru ERNIE-5.5-Flash, aflat în dezvoltare. Rolul sistemului depășește scrierea codului: acesta selectează direcții de investigare, execută teste și folosește atât eșecurile, cât și reușitele pentru a ghida iterațiile ulterioare.
Un ciclu de cercetare cu verificări independente
Pornind de la un depozit de cod, un obiectiv de optimizare și criterii de evaluare, ERNIE Evolve modifică codul și rulează experimente în medii izolate. Un Director din bucla externă alege o direcție și o versiune inițială, folosind o Bancă de experiențe cu experimente anterioare și o Bază de cunoștințe cu lucrări de cercetare, cod open-source și cunoștințe de domeniu. Mai multe piste paralele conțin arbori de versiuni candidate; în fiecare dintre ele, un Selector alege o versiune candidată și o ipoteză, iar un Executor implementează modificarea.
Acceptarea depinde de un Evaluator fix și de un Revizor separat. Evaluatorul se află în afara depozitului de cod, este invizibil pentru agenți, exclude modificările care nu intră în domeniul de aplicare și impune ca îmbunătățirile să depășească un prag de zgomot. Revizorul verifică respectarea direcției de cercetare și respinge încercările de a exploata lacunele din evaluare. Versiunile candidate care deviază de la direcție nu pot deveni cea mai bună versiune.
Rezultatele evaluărilor comparative publice și codul publicat
Baidu raportează următoarele rezultate în comparație cu rezultatele publice de referință folosite în evaluare:
| Sarcina și condițiile | Indicator | ERNIE Evolve | Comparație publică |
|---|---|---|---|
| NanoChat AutoResearch, antrenare de cinci minute pe un B200 | Biți de validare per octet; o valoare mai mică este mai bună | 0.8763 | media pentru 10 seed-uri: 0.887791 |
| Etapa 1 a cursei de viteză NanoGPT, opt GPU-uri H100 | Secunde până la o pierdere de validare FineWeb de 3.28; o valoare mai mică este mai bună | 38.92 de secunde pentru 18 rulări | 39.9 secunde |
| Etapa 3 a cursei de viteză NanoGPT, cu date, dimensiunea lotului și arhitectura fixe | Numărul de pași până la o pierdere de validare FineWeb de 3.28; o valoare mai mică este mai bună | 2,590 pentru opt rulări | 2,690 pentru opt rulări |
| SOL-ExecBench, 235 de probleme de kernel | Scor mediu de viteză raportat la plafonul teoretic al unui B200, calculat analitic; o valoare mai mare este mai bună | 0.819 | Scorul principal: 0.827 |
Pentru NanoChat, ERNIE Evolve a adăugat două ramuri de predicție pe lângă rețeaua neuronală: una folosește statistici n-grame din corpusul de antrenare, iar cealaltă găsește documente similare și face predicții pe baza continuărilor acestora. O poartă antrenată ajustează combinația în funcție de performanța fiecărei ramuri la pozițiile anterioare ale tokenurilor.
Depozitul cu rezultate publică codul final și jurnalele de măsurare; fiecare jurnal include codul executat sau identificatorul SHA-256 al acestuia. Sunt enumerate șapte artefacte de kernel SOL-ExecBench, cu scoruri între 0.6669 și 0.9920; definițiile sarcinilor și datele privind volumul de lucru de la NVIDIA nu sunt redistribuite.
Rândul SOL-ExecBench nuanțează rezultatele generale: ERNIE Evolve nu s-a clasat pe primul loc la fiecare indicator din listă, deși, în comparația Baidu, a devansat Recursive și Hyra-1.0 la această sarcină.
Optimizarea inferenței pentru ERNIE-5.5-Flash
Baidu a aplicat ERNIE Evolve inferenței cu latență redusă pe Kunlunxin P800, debitului inferenței deterministe pe GPU-uri și vitezei de decodare pentru o singură solicitare. Majoritatea valorilor de referință fuseseră deja optimizate de ingineri, iar modificările trebuiau să treacă aceleași teste de încărcare și verificări de corectitudine ca lucrările trimise de ingineri.
Pe Kunlunxin P800, Baidu raportează că patru runde de cercetare au crescut viteza de generare până la 623.6% din valoarea de referință, trecând totodată verificările de corectitudine, fără modificări ale modelului sau ale configurației de implementare. Primele runde au activat hiperconexiunile fuzionate cu constrângeri de varietate și decodarea speculativă, apoi au redus costurile suplimentare de planificare și sincronizare pe partea gazdă. O remediere a dispecerizării în runda a patra a activat calea cu latență redusă DeepEP.
Pentru antrenarea prin învățare prin consolidare, sarcina deterministă impunea ca tokenurile generate și log-probabilitățile să fie identice la nivel de biți, indiferent de compoziția lotului, și să corespundă recalculării secvenței complete. Modul determinist din SGLang îndeplinește aceste cerințe prin fixarea ordinii operațiilor de reducere, dar aceasta limitează gradul de utilizare a GPU-ului. După aproximativ trei zile, Baidu raportează că activitatea a redus și timpul mediu per token generat cu 26% și timpul până la primul token cu 12%, păstrând determinismul. Cel mai mare câștig individual a venit din înlocuirea eșantionării deterministe, care consumase aproximativ 14% din timpul GPU-ului pentru fiecare pas, cu un kernel Triton care procesează în paralel porțiuni din vocabular.
Pentru decodarea pe GPU a unei singure solicitări, Baidu raportează o creștere a vitezei de 14,9% față de un serviciu deja optimizat de ingineri, fără modificarea preciziei. Trei dintre cele șapte direcții de cercetare au adus îmbunătățiri. Printre acestea s-au numărat folosirea instrucțiunilor FP16 native pentru înmulțiri de matrici FP8 cu mai puțin de opt rânduri de intrare și înlocuirea scanărilor secvențiale ale experților cu un planificator de tip mixture-of-experts cu două niveluri.
Aceste teste au scos la iveală și constrângeri mai stricte privind modulele și determinismul, zgomot de măsurare comparabil cu îmbunătățirile individuale și medii care cuprind motoare de inferență, biblioteci de nuclee, pluginuri hardware și scripturi de pornire a serviciilor. Unele modificări utile au avut efecte mai mici decât nivelul de zgomot, așa că a fost necesar ca soluțiile candidate să-și demonstreze valoarea în teste de încărcare de la un capăt la altul, nu prin măsurători izolate ale nucleelor.
Baidu intenționează să aplice acest ciclu optimizării sistemelor de antrenare, apoi să folosească indicatori ai capabilităților modelelor pentru a ghida generarea automată de ipoteze, proiectarea experimentelor și validarea. Pe termen mai lung, compania urmărește ca IA să identifice lacunele de capabilitate și să genereze și să rafineze sarcini de evaluare.
Compania afirmă că autoîmbunătățirea recursivă trebuie să rămână sub controlul oamenilor și să poată fi întreruptă, în limite explicite privind obiectivele, permisiunile și resursele, cu evaluarea continuă a siguranței și supraveghere umană. Trecerea de la indicatori inginerești ficși la capabilitățile modelelor și proiectarea benchmarkurilor face ca aceste mecanisme de evaluare și supraveghere să fie esențiale pentru a stabili cât de departe se poate extinde ciclul de cercetare.
