ERNIE Evolve dari Baidu Mengotomatiskan Riset AI dan Optimalisasi Inferensi

Baidu memperkenalkan ERNIE Evolve pada 9 November 2026, dengan melaporkan hasil yang lebih baik daripada hasil pembanding publik pada tiga metrik NanoChat dan NanoGPT, serta throughput 33.7% lebih tinggi dalam satu pengujian inferensi deterministik ERNIE-5.5-Flash. Sistem riset otomatis ini memilih arah penelitian, menyunting kode AI, dan hanya mempertahankan peningkatan yang lolos evaluasi dan peninjauan terpisah.

Pengumuman tersebut juga mencakup pekerjaan rekayasa inferensi yang sedang berlangsung untuk ERNIE-5.5-Flash yang masih dalam pengembangan. Peran sistem ini lebih luas daripada sekadar menulis kode: sistem memilih jalur penyelidikan, menjalankan pengujian, serta memanfaatkan kegagalan dan keberhasilan untuk mengarahkan iterasi berikutnya.

Siklus Riset dengan Pemeriksaan Independen

Dengan masukan berupa repositori, sasaran optimasi, dan kriteria evaluasi, ERNIE Evolve mengubah kode dan menjalankan eksperimen di lingkungan terisolasi. Direktur dalam siklus luar memilih arah dan versi awal dengan memanfaatkan Bank Pengalaman yang berisi eksperimen sebelumnya serta Basis Pengetahuan yang mencakup makalah, kode sumber terbuka, dan pengetahuan bidang terkait. Jalur-jalur paralel menampung pohon versi kandidat; di setiap jalur, Pemilih menentukan kandidat dan hipotesis, lalu Pelaksana menerapkan perubahan tersebut.

Penerimaan bergantung pada Evaluator yang tetap dan Peninjau yang terpisah. Evaluator berada di luar repositori, tidak terlihat oleh agen, mengecualikan perubahan di luar cakupan, dan mensyaratkan peningkatan yang melampaui ambang derau. Peninjau memeriksa kesesuaian dengan arah penelitian dan menyingkirkan upaya mengeksploitasi celah evaluasi. Kandidat yang menyimpang dari arah penelitian tidak dapat menjadi versi terbaik.

Hasil Tolok Ukur Publik dan Kode yang Dirilis

Baidu melaporkan hasil berikut dibandingkan dengan hasil pembanding publik yang digunakan dalam evaluasinya:

Pada NanoChat, ERNIE Evolve menambahkan dua cabang prediksi di samping jaringan neural: cabang pertama menggunakan statistik n-gram dari korpus pelatihan, sedangkan cabang kedua mengambil dokumen yang cocok lalu membuat prediksi berdasarkan kelanjutannya. Gerbang terlatih menyesuaikan perpaduan kedua cabang berdasarkan kinerja masing-masing pada posisi token sebelumnya.

Repositori hasil menyediakan kode final dan log pengukuran, dengan kode yang dijalankan disematkan dalam setiap log atau diidentifikasi menggunakan SHA-256-nya. Repositori itu mencantumkan tujuh artefak kernel SOL-ExecBench dengan skor 0.6669–0.9920; definisi tugas dan data beban kerja NVIDIA tidak didistribusikan ulang.

Baris SOL-ExecBench memberi konteks pada hasil yang lebih luas: ERNIE Evolve tidak unggul pada setiap metrik yang dicantumkan, meskipun perbandingan Baidu menempatkannya di atas Recursive dan Hyra-1.0 untuk tugas tersebut.

Optimalisasi Inferensi untuk ERNIE-5.5-Flash

Baidu menerapkan ERNIE Evolve pada inferensi latensi rendah di Kunlunxin P800, throughput inferensi deterministik pada GPU, dan kecepatan decoding untuk satu permintaan. Sebagian besar tolok ukur awal telah dioptimalkan oleh para insinyur, dan setiap perubahan harus lolos uji beban serta pemeriksaan kebenaran yang sama dengan pekerjaan yang diajukan para insinyur.

Pada Kunlunxin P800, Baidu melaporkan bahwa empat putaran riset meningkatkan kecepatan generasi hingga 623.6% dari nilai dasar, sekaligus lolos pemeriksaan kebenaran, tanpa mengubah model maupun konfigurasi penerapan. Putaran awal mengaktifkan hyper-connection dengan kendala manifold yang terfusi dan decoding spekulatif, lalu mengurangi beban penjadwalan serta sinkronisasi di sisi host. Perbaikan dispatch pada putaran keempat mengaktifkan jalur latensi rendah DeepEP.

Untuk pelatihan pembelajaran penguatan, tugas deterministik ini mengharuskan token yang dihasilkan dan probabilitas log identik bit demi bit, apa pun komposisi batch-nya, serta cocok dengan hasil penghitungan ulang seluruh urutan. Mode deterministik SGLang memenuhi persyaratan tersebut dengan menetapkan urutan reduksi, tetapi hal itu membatasi pemanfaatan GPU. Setelah sekitar tiga hari, Baidu melaporkan bahwa pekerjaan ini juga memangkas waktu rata-rata per token keluaran sebesar 26% dan waktu hingga token pertama sebesar 12%, dengan determinisme tetap terjaga. Peningkatan terbesar dari satu perubahan berasal dari penggantian sampling deterministik, yang sebelumnya menghabiskan sekitar 14% waktu GPU per langkah, dengan kernel Triton yang memproses potongan kosakata secara paralel.

Untuk dekode GPU dengan satu permintaan, Baidu melaporkan peningkatan kecepatan sebesar 14,9% dibandingkan layanan yang telah dioptimalkan oleh para insinyur, tanpa perubahan akurasi. Tiga dari tujuh arah penelitian menghasilkan peningkatan. Di antaranya adalah penggunaan instruksi FP16 bawaan untuk perkalian matriks FP8 dengan kurang dari delapan baris masukan, serta penggantian pemindaian pakar secara berurutan dengan penjadwal campuran pakar dua tingkat.

Pengujian ini juga mengungkap batasan modul dan determinisme yang lebih ketat, derau pengukuran yang sebanding dengan peningkatan masing-masing, serta lingkungan yang mencakup mesin inferensi, pustaka kernel, plugin perangkat keras, dan skrip startup layanan. Beberapa perubahan yang berguna menghasilkan peningkatan lebih kecil daripada derau tersebut, sehingga kandidat harus membuktikan manfaatnya melalui pengujian beban menyeluruh, bukan pengukuran kernel secara terpisah.

Baidu berencana menerapkan siklus ini untuk mengoptimalkan sistem pelatihan, lalu menggunakan metrik kemampuan model untuk memandu pembuatan hipotesis, perancangan eksperimen, dan validasi secara otomatis. Dalam jangka panjang, perusahaan ingin AI mengidentifikasi kesenjangan kemampuan serta membuat dan menyempurnakan tugas evaluasi.

Perusahaan menyatakan bahwa peningkatan diri rekursif harus tetap dikendalikan manusia dan dapat dihentikan, dengan batasan yang jelas untuk tujuan, izin, dan sumber daya, serta evaluasi keselamatan berkelanjutan dan pengawasan manusia. Peralihan dari metrik rekayasa yang tetap menuju kemampuan model dan perancangan tolok ukur menjadikan kendali evaluasi dan pengawasan tersebut faktor utama yang menentukan sejauh mana siklus penelitian ini dapat dikembangkan.