KI-Modelle und Plattformen
Baidus ERNIE Evolve automatisiert KI-Forschung und Inferenzoptimierung
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Baidu stellte am 9. November 2026 ERNIE Evolve vor und berichtete von besseren Ergebnissen als bei öffentlichen Vergleichswerten in drei NanoChat- und NanoGPT-Metriken sowie einem um 33,7 % höheren Durchsatz bei einem deterministischen Inferenztest mit ERNIE-5.5-Flash. Das automatisierte Forschungssystem wählt Forschungsrichtungen aus, bearbeitet KI-Code und behält nur Verbesserungen bei, die eine separate Bewertung und Prüfung bestehen.
Die Ankündigung umfasst auch laufende Arbeiten an der Inferenztechnik für das noch in Entwicklung befindliche ERNIE-5.5-Flash. Die Aufgabe des Systems geht über das Schreiben von Code hinaus: Es wählt Untersuchungsansätze aus, führt Tests durch und nutzt sowohl Fehlschläge als auch Erfolge, um spätere Iterationen zu steuern.
Ein Forschungszyklus mit unabhängigen Prüfungen
Auf Grundlage eines Repositorys, eines Optimierungsziels und von Bewertungskriterien verändert ERNIE Evolve Code und führt Experimente in isolierten Umgebungen durch. Eine übergeordnete Steuerung wählt mithilfe einer Erfahrungsdatenbank mit früheren Experimenten und einer Wissensdatenbank mit Fachartikeln, Open-Source-Code und Fachwissen eine Richtung und eine Ausgangsversion aus. In parallelen Abläufen werden Bäume mit Kandidatenversionen geführt. In jedem davon wählt eine Auswahlkomponente einen Kandidaten und eine Hypothese aus, und eine Ausführungskomponente setzt die Änderung um.
Ob eine Änderung akzeptiert wird, hängt von einer festgelegten Bewertungsinstanz und einer separaten Prüfinstanz ab. Die Bewertungsinstanz befindet sich außerhalb des Repositorys, ist für die Agenten unsichtbar, schließt Änderungen außerhalb des vorgegebenen Umfangs aus und verlangt Verbesserungen, die über einem Schwellenwert für Messrauschen liegen. Die Prüfinstanz kontrolliert, ob die Forschungsrichtung eingehalten wurde, und verwirft Versuche, Schlupflöcher bei der Bewertung auszunutzen. Kandidaten, die von der vorgegebenen Richtung abweichen, können nicht zur besten Version werden.
Ergebnisse bei öffentlichen Benchmarks und veröffentlichter Code
Baidu berichtet folgende Ergebnisse im Vergleich zu den öffentlichen Vergleichswerten, die bei der Bewertung herangezogen wurden:
| Aufgabe und Bedingungen | Metrik | ERNIE Evolve | Öffentlicher Vergleichswert |
|---|---|---|---|
| Automatisierte Recherche für NanoChat, fünfminütiges Training auf einer B200 | Validierungsbits pro Byte; niedriger ist besser | 0.8763 | Durchschnitt von 0.887791 über 10 Seeds |
| NanoGPT-Speedrun-Strecke 1, acht H100-GPUs | Sekunden bis zu einem FineWeb-Validierungsverlust von 3.28; niedriger ist besser | 38,92 Sekunden über 18 Durchläufe | 39,9 Sekunden |
| NanoGPT-Speedrun-Strecke 3, feste Daten, Batchgröße und Architektur | Schritte bis zu einem FineWeb-Validierungsverlust von 3.28; niedriger ist besser | 2.590 über acht Durchläufe | 2.690 über acht Durchläufe |
| SOL-ExecBench, 235 Kernel-Aufgaben | Mittlerer Wert für die Annäherung an die theoretische B200-Spitzenleistung im Vergleich zu einer analytischen Roofline; höher ist besser | 0.819 | Führender Wert: 0.827 |
Bei NanoChat ergänzte ERNIE Evolve das neuronale Netz um zwei Vorhersagezweige: Der eine nutzt N-Gramm-Statistiken aus dem Trainingskorpus, der andere ruft passende Dokumente ab und erstellt Vorhersagen anhand ihrer Fortsetzungen. Ein trainiertes Gate passt die Gewichtung der Zweige anhand ihrer Leistung an früheren Tokenpositionen an.
Das Repository mit den Ergebnissen veröffentlicht den endgültigen Code und Messprotokolle; der ausgeführte Code ist entweder in jedem Protokoll eingebettet oder durch seinen SHA-256-Wert gekennzeichnet. Aufgeführt sind sieben SOL-ExecBench-Kernel-Artefakte mit Werten von 0.6669–0.9920. Die Aufgabendefinitionen und Workloaddaten von NVIDIA werden nicht weitergegeben.
Die Zeile zu SOL-ExecBench schränkt die Gesamtergebnisse ein: ERNIE Evolve lag nicht bei jeder aufgeführten Metrik vorn, auch wenn es im Vergleich von Baidu bei dieser Aufgabe vor Recursive und Hyra-1.0 liegt.
Inferenzoptimierung für ERNIE-5.5-Flash
Baidu setzte ERNIE Evolve für Inferenz mit geringer Latenz auf Kunlunxin P800, deterministischen Inferenzdurchsatz auf GPUs und die Dekodierungsgeschwindigkeit bei Einzelanfragen ein. Die meisten Basisversionen waren bereits von Ingenieuren optimiert worden, und alle Änderungen mussten dieselben Lasttests und Korrektheitsprüfungen bestehen wie von Ingenieuren eingereichte Arbeiten.
Auf Kunlunxin P800 steigerten vier Forschungsrunden laut Baidu die Generierungsgeschwindigkeit auf 623,6 % des Ausgangswerts; dabei wurden die Korrektheitsprüfungen bestanden, während Modell und Bereitstellungskonfiguration unverändert blieben. In frühen Runden wurden fusionierte, mannigfaltigkeitsbeschränkte Hyperverbindungen und spekulatives Dekodieren ermöglicht. Anschließend wurden der Aufwand für die Planung auf der Host-Seite und der Synchronisierungsaufwand verringert. Eine Dispatch-Korrektur in der vierten Runde ermöglichte den latenzarmen Pfad von DeepEP.
Für das Training mit bestärkendem Lernen verlangte die deterministische Aufgabe, dass die generierten Tokens und Log-Wahrscheinlichkeiten unabhängig von der Zusammensetzung des Batches bitgenau identisch sind und mit einer Neuberechnung der vollständigen Sequenz übereinstimmen. Der deterministische Modus von SGLang erfüllt diese Anforderungen, indem er die Reihenfolge der Reduktionsoperationen festlegt; dadurch wird jedoch die GPU-Auslastung begrenzt. Nach etwa drei Tagen Arbeit verkürzte sich laut Baidu außerdem die durchschnittliche Zeit pro ausgegebenem Token um 26 % und die Zeit bis zum ersten Token um 12 %, wobei der deterministische Betrieb erhalten blieb. Der größte Einzelgewinn entstand durch den Ersatz des deterministischen Samplings, das etwa 14 % der GPU-Zeit pro Schritt beansprucht hatte, durch einen Triton-Kernel, der Vokabularabschnitte parallel verarbeitet.
Bei der GPU-Dekodierung einzelner Anfragen meldet Baidu eine um 14,9 % höhere Geschwindigkeit als bei einem bereits von Ingenieuren optimierten Dienst, bei unveränderter Genauigkeit. Drei von sieben Forschungsrichtungen brachten Verbesserungen. Dazu gehörten der Einsatz nativer FP16-Instruktionen für FP8-Matrixmultiplikationen mit weniger als acht Eingabezeilen sowie der Ersatz sequenzieller Expertenscans durch einen zweistufigen Mixture-of-Experts-Scheduler.
Diese Tests offenbarten zudem strengere Anforderungen an Module und Determinismus, Messrauschen in einer Größenordnung, die mit einzelnen Verbesserungen vergleichbar war, sowie Umgebungen, die Inferenz-Engines, Kernel-Bibliotheken, Hardware-Plugins und Skripte zum Starten von Diensten umfassten. Einige nützliche Änderungen waren kleiner als das Rauschen. Daher mussten Kandidaten ihren Nutzen in durchgängigen Lasttests nachweisen und konnten sich nicht auf isolierte Kernel-Messungen stützen.
Baidu plant, den Kreislauf auf die Optimierung von Trainingssystemen anzuwenden und anschließend Metriken zu Modellfähigkeiten zu nutzen, um die automatisierte Hypothesengenerierung, das Experimentdesign und die Validierung zu steuern. Langfristig soll KI Fähigkeitslücken erkennen sowie Evaluierungsaufgaben erstellen und verfeinern.
Nach Angaben des Unternehmens muss rekursive Selbstverbesserung unter menschlicher Kontrolle bleiben und unterbrochen werden können. Dabei sind für Ziele, Berechtigungen und Ressourcen klare Grenzen festzulegen, und die Sicherheit muss kontinuierlich bewertet und von Menschen überwacht werden. Der Übergang von festen technischen Metriken hin zu Modellfähigkeiten und Benchmark-Design macht diese Kontroll- und Aufsichtsmechanismen entscheidend dafür, wie weit der Forschungskreislauf ausgebaut werden kann.
