Modele i platformy AI
ERNIE Evolve firmy Baidu automatyzuje badania nad sztuczną inteligencją i optymalizację wnioskowania
Dodaj Unite.AI do preferowanych źródeł w Google
Baidu zaprezentowało ERNIE Evolve 9 listopada 2026 r., informując o wynikach lepszych niż w publicznych porównaniach w trzech metrykach NanoChat i NanoGPT oraz o przepustowości wyższej o 33,7% w jednym teście deterministycznego wnioskowania ERNIE-5.5-Flash. Zautomatyzowany system badawczy wybiera kierunki badań, modyfikuje kod AI i zachowuje wyłącznie ulepszenia, które przejdą odrębną ocenę i recenzję.
Ogłoszenie obejmuje również trwające prace nad inżynierią wnioskowania dla rozwijanego modelu ERNIE-5.5-Flash. Rola systemu wykracza poza pisanie kodu: wybiera on kierunki badań, przeprowadza testy oraz wykorzystuje zarówno niepowodzenia, jak i sukcesy do kierowania kolejnymi iteracjami.
Pętla badawcza z niezależnymi kontrolami
Po otrzymaniu repozytorium, celu optymalizacji i kryteriów oceny ERNIE Evolve modyfikuje kod i przeprowadza eksperymenty w odizolowanych środowiskach. Dyrektor zewnętrznej pętli wybiera kierunek i wersję początkową, korzystając z Banku Doświadczeń zawierającego wyniki wcześniejszych eksperymentów oraz Bazy Wiedzy obejmującej artykuły naukowe, kod open source i wiedzę dziedzinową. Równoległe ścieżki zawierają drzewa wersji kandydujących; w każdej z nich Selektor wybiera kandydata i hipotezę, a Wykonawca wprowadza zmianę.
Akceptacja zależy od niezmiennego modułu oceniającego oraz odrębnego recenzenta. Moduł oceniający działa poza repozytorium, jest niewidoczny dla agentów, wyklucza zmiany wykraczające poza zakres i wymaga, by zyski przekraczały próg szumu. Recenzent sprawdza zgodność z kierunkiem badań i odrzuca próby wykorzystania luk w ocenie. Kandydaci odbiegający od przyjętego kierunku nie mogą zostać najlepszą wersją.
Wyniki publicznych testów porównawczych i udostępniony kod
Baidu podaje następujące wyniki w porównaniu z publicznie dostępnymi wynikami wykorzystanymi w swojej ocenie:
| Zadanie i warunki | Metryka | ERNIE Evolve | Publiczne porównanie |
|---|---|---|---|
| NanoChat AutoResearch, pięciominutowe trenowanie na jednym układzie B200 | Liczba bitów walidacyjnych na bajt; im mniej, tym lepiej | 0.8763 | Średnia 0,887791 z 10 ziaren |
| NanoGPT Speedrun Track 1, osiem układów GPU H100 | Liczba sekund do osiągnięcia straty walidacyjnej 3,28 w FineWeb; im mniej, tym lepiej | 38,92 sekundy w 18 przebiegach | 39,9 sekundy |
| NanoGPT Speedrun Track 3, stały zbiór danych, rozmiar partii i architektura | Liczba kroków do osiągnięcia straty walidacyjnej 3,28 w FineWeb; im mniej, tym lepiej | 2590 w ośmiu przebiegach | 2690 w ośmiu przebiegach |
| SOL-ExecBench, 235 zadań dotyczących jąder obliczeniowych | Średni wynik względem analitycznie wyznaczonej granicy wydajności B200; im więcej, tym lepiej | 0.819 | Najlepszy wynik: 0,827 |
W NanoChat ERNIE Evolve dodało obok sieci neuronowej dwie gałęzie predykcji: jedna wykorzystuje statystyki n-gramów z korpusu treningowego, a druga wyszukuje pasujące dokumenty i przewiduje na podstawie ich dalszego ciągu. Wyuczona bramka dostosowuje proporcje mieszanki na podstawie skuteczności każdej gałęzi na wcześniejszych pozycjach tokenów.
Repozytorium wyników udostępnia końcowy kod i dzienniki pomiarów; kod wykorzystany w każdym pomiarze jest osadzony w dzienniku lub wskazany za pomocą sumy SHA-256. W repozytorium wymieniono siedem artefaktów jąder SOL-ExecBench, które uzyskały wyniki od 0,6669 do 0,9920; definicje zadań i dane obciążeniowe NVIDIA nie są redystrybuowane.
Wynik SOL-ExecBench stanowi zastrzeżenie do szerszego zestawu rezultatów: ERNIE Evolve nie prowadziło we wszystkich wymienionych metrykach, choć porównanie Baidu plasuje je przed Recursive i Hyra-1.0 w tym zadaniu.
Optymalizacja wnioskowania dla ERNIE-5.5-Flash
Baidu zastosowało ERNIE Evolve do wnioskowania o niskim opóźnieniu na Kunlunxin P800, przepustowości deterministycznego wnioskowania na układach GPU oraz szybkości dekodowania pojedynczego żądania. Większość rozwiązań bazowych była już zoptymalizowana przez inżynierów, a zmiany musiały przejść te same testy obciążeniowe i kontrole poprawności co prace zgłaszane przez inżynierów.
Baidu informuje, że na Kunlunxin P800 cztery rundy badań zwiększyły szybkość generowania do 623,6% poziomu bazowego, przy zachowaniu poprawności wyników oraz bez zmian w modelu i konfiguracji wdrożenia. We wczesnych rundach wprowadzono scalone hiperpołączenia ograniczone rozmaitością i dekodowanie spekulacyjne, a następnie ograniczono narzut związany z planowaniem i synchronizacją po stronie hosta. Poprawka rozsyłania z czwartej rundy umożliwiła korzystanie ze ścieżki DeepEP o niskim opóźnieniu.
W przypadku trenowania z wykorzystaniem uczenia ze wzmocnieniem zadanie deterministyczne wymagało, aby generowane tokeny i logarytmy prawdopodobieństw były identyczne bit po bicie niezależnie od składu partii oraz zgodne z wynikami ponownego obliczenia całej sekwencji. Deterministyczny tryb SGLang spełnia te wymagania, ustalając kolejność redukcji, ale ogranicza to wykorzystanie układów GPU. Baidu informuje, że po około trzech dniach prac udało się również skrócić średni czas na token wyjściowy o 26%, a czas do pierwszego tokena o 12%, przy zachowaniu determinizmu. Największy pojedynczy zysk przyniosło zastąpienie próbkowania deterministycznego, które pochłaniało około 14% czasu pracy GPU w każdym kroku, jądrem Triton przetwarzającym równolegle fragmenty słownika.
W przypadku dekodowania na GPU dla pojedynczego żądania Baidu odnotowuje wzrost szybkości o 14,9% względem usługi już zoptymalizowanej przez inżynierów, przy niezmienionej dokładności. Korzyści przyniosły trzy z siedmiu kierunków badań. Obejmowały one wykorzystanie natywnych instrukcji FP16 do mnożenia macierzy FP8 przy mniej niż ośmiu wierszach wejściowych oraz zastąpienie sekwencyjnego przeszukiwania ekspertów dwupoziomowym harmonogramem mieszanki ekspertów.
Testy te ujawniły również bardziej rygorystyczne ograniczenia dotyczące modułów i determinizmu, szum pomiarowy porównywalny z poszczególnymi uzyskanymi korzyściami oraz środowiska obejmujące silniki wnioskowania, biblioteki jąder, wtyczki sprzętowe i skrypty uruchamiające usługi. Niektóre przydatne zmiany przynosiły korzyści mniejsze niż poziom szumu, dlatego ich wartość trzeba było potwierdzić w kompleksowych testach obciążeniowych, a nie w pomiarach pojedynczych jąder.
Baidu planuje zastosować tę pętlę do optymalizacji systemów treningowych, a następnie wykorzystać wskaźniki zdolności modeli do kierowania automatycznym generowaniem hipotez, projektowaniem eksperymentów i walidacją. Długoterminowym celem firmy jest umożliwienie AI identyfikowania luk w zdolnościach, a także generowania i udoskonalania zadań ewaluacyjnych.
Firma twierdzi, że rekurencyjne samodoskonalenie musi pozostawać pod kontrolą człowieka i umożliwiać przerwanie, w jasno określonych granicach dotyczących celów, uprawnień i zasobów, przy ciągłej ocenie bezpieczeństwa i nadzorze człowieka. Przejście od stałych wskaźników inżynieryjnych w stronę zdolności modeli i projektowania testów porównawczych sprawia, że mechanizmy ewaluacji i nadzoru mają kluczowe znaczenie dla określenia, jak daleko można rozbudować tę pętlę badawczą.
