Baidu Merilis ERNIE 5.5 Flash Base untuk Pelatihan Lanjutan

Tim ERNIE Baidu mengumumkan ERNIE-5.5-Flash-Base pada 5 November 2026, dengan merilis bobot yang dapat diunduh untuk model campuran pakar khusus teks yang memiliki total 280 miliar parameter, dengan 14 miliar parameter diaktifkan untuk setiap token. Checkpoint ini mengakhiri tahap prapelatihan, sebelum pelatihan menengah atau pascapelatihan, sehingga memberi pengembang titik awal yang sama untuk adaptasi domain, penyetelan instruksi, dan penelitian pembelajaran penguatan.

Rilis ini juga menyediakan tolok ukur tetap untuk perbandingan metode pelatihan yang terkendali. Baidu menyatakan bahwa model ERNIE 5.5 Flash yang telah melalui pascapelatihan akan menyusul versi dasar ini.

Arsitektur dan Sistem Pelatihan

Kartu model mencantumkan 43 lapisan, ukuran tersembunyi 4.096, dan 64 kepala atensi. Tiga puluh tujuh lapisan menggunakan Heavily Compressed Attention: cache-nya menyimpan satu entri untuk setiap blok 128 token, ditambah jendela pendek berisi token terbaru yang tidak dikompresi. Enam lapisan Multi-head Latent Attention mempertahankan akses tingkat token ke seluruh konteks dan menggunakan pengindeks untuk memilih posisi sebelumnya dengan skor tertinggi. Menurut Baidu, pemilihan jarang ini menjaga biaya atensi inti per kueri tetap konstan seiring bertambahnya konteks.

Semua lapisan kecuali lapisan pertama menggunakan blok campuran pakar dengan 512 pakar yang dirutekan, 10 di antaranya diaktifkan, serta satu pakar bersama. Para pakar beroperasi dalam ruang laten berdimensi 2.048, bukan selebar dimensi tersembunyi penuh model. Menurut Baidu, hal ini mengurangi kira-kira setengah lalu lintas pengiriman dan penggabungan pakar serta FLOP pakar dibandingkan pakar dengan lebar penuh. Rancangan ini juga mencakup empat aliran residual paralel melalui koneksi hiper yang dibatasi manifold serta kepala keluaran MultiMax dengan suhu fungsi sepotong-sepotong yang dapat dipelajari.

Prapelatihan menggunakan 33,5 triliun token, pengoptimal Muon, dan presisi campuran FP8. Panjang konteks yang digunakan selama pelatihan diperluas secara bertahap hingga 128 ribu token; penyetelan halus dan inferensi mendukung 1 juta token. Selain data web multibahasa, korpusnya mencakup kode dan catatan pengembangan perangkat lunak, seperti commit, isu, permintaan tarik, tinjauan, pengujian yang dihasilkan, serta perbaikan yang diverifikasi CI. Dokumen panjang pilihan, urutan yang memuat pengalih perhatian dengan kemiripan semantik, serta data sintetis untuk pengambilan informasi dan tanya jawab menyediakan materi pelatihan konteks panjang. Pilihan tersebut menyelaraskan rilis model dasar ini dengan penalaran tingkat repositori, rekayasa perangkat lunak berbasis agen, dan masukan yang panjang.

Repositori FlashMask yang menyertai rilis ini mendokumentasikan kernel atensi untuk GPU Hopper dan Blackwell. Konfigurasi Blackwell mendukung dimensi kepala hingga 576 untuk kueri dan kunci, serta 512 untuk nilai. Baidu melaporkan peningkatan kecepatan hingga 175% pada proses maju dan 74% pada proses mundur dibandingkan FlashAttention-4 MaskMod pada perangkat keras SM100. Sistem Muon terdistribusi juga menggabungkan sinkronisasi parameter padat dan MoE ke dalam satu operasi kolektif serta menyebarkan status pengoptimal dengan lebih merata ke seluruh node, tanpa mengubah pembaruan pengoptimal.

Hasil Tolok Ukur Baidu

Baidu mengevaluasi ERNIE terhadap checkpoint DeepSeek-V4-Flash-Base, Hy3-preview-Base, dan MiMo-V2.5-Base yang dirilis secara publik, menggunakan perangkat evaluasi, prompt, dan contoh few-shot yang sama, serta penilai LLM yang sama untuk tanya jawab berbentuk bebas. Hasil pilihan dari tabelnya menunjukkan aspek yang mengunggulkan model ini dan aspek yang masih tertinggal:

Perbandingan Baidu bergantung pada tugas dan bukan kemenangan mutlak: ERNIE unggul dalam hasil MMLU dan HumanEval+ yang ditampilkan, sementara Hy3 unggul di FullStackBench dan DeepSeek unggul di InfiniteBench. Tabel tersebut menunjukkan performa kuat dalam ujian dan pemrograman pada evaluasi Baidu, sekaligus tetap memperlihatkan pengecualian tersebut.

Ketentuan Penerapan dan Lisensi

Unduhan tersedia dalam format safetensors FP8 dan BF16. Kartu model mendokumentasikan penyajian untuk produksi menggunakan SGLang dan vLLM melalui API penyelesaian, sesuai dengan status checkpoint sebagai model dasar. Resep Megatron Bridge dari NVIDIA menambahkan alur kerja penyetelan halus terawasi yang mencakup persiapan data, pelatihan, dan ekspor kembali ke format Hugging Face. Resep model lengkapnya menggunakan 16 node dengan empat GPU GB300 per node. NVIDIA memvalidasi resep tersebut pada sistem Blackwell GB200 dan GB300; komponennya mendukung Hopper, tetapi Hopper belum divalidasi.

Perjanjian Lisensi Model ERNIE 5.5 Flash Base v1.0 yang khusus ini menetapkan ketentuan teritorial dan komersial. Wilayah yang dicakup tidak termasuk Uni Eropa, Inggris Raya, dan Korea Selatan, serta kegiatan seperti penggunaan, modifikasi, dan distribusi di luar wilayah tersebut tidak diizinkan. Penggunaan nonkomersial bebas dari biaya lisensi model. Penggunaan komersial dengan pendapatan tahunan dari produk atau layanan terkait sebesar $50 juta atau kurang mensyaratkan pemberitahuan satu kali dan atribusi “Didukung oleh ERNIE” yang ditampilkan secara mencolok. Jika melampaui ambang tersebut, pengguna memerlukan izin tertulis terpisah dari Baidu yang diperoleh sebelumnya.

Perjanjian tersebut juga melarang penggunaan materi berlisensi, model turunan, atau keluarannya untuk meningkatkan sistem AI atau pembelajaran mesin yang tidak terkait. Pembatasan ini penting bagi alur kerja distilasi dan data sintetis, yang secara tegas dibahas dalam lisensi saat mendefinisikan model turunan dan membatasi penggunaan keluaran.

ERNIE 5.5 Flash Base menyediakan checkpoint tetap bagi peneliti dan pengembang untuk menguji metode pelatihan lanjutan tanpa mengulangi proses prapelatihan Baidu. Desainnya berfokus pada pengendalian komputasi aktif dan biaya penggunaan konteks panjang, tetapi jangkauan praktis rilis ini dibatasi oleh kebutuhan perangkat keras untuk menyetel halus seluruh model serta lisensi yang membatasi wilayah geografis, penggunaan komersial berskala lebih besar, dan pengalihan kapabilitas ke model yang tidak terkait.