Baidu, İleri Eğitim İçin ERNIE 5.5 Flash Base’i Yayımladı

Baidu’nun ERNIE Ekibi, 5 Kasım 2026’da ERNIE-5.5-Flash-Base’i duyurdu ve toplam 280 milyar parametreye, token başına etkinleştirilen 14 milyar parametreye sahip, yalnızca metinle çalışan bir uzman karışımı modelinin indirilebilir ağırlıklarını yayımladı. Bu kontrol noktası, ara eğitim veya eğitim sonrası işlemler uygulanmadan önceki ön eğitimin sonunu temsil ediyor; böylece geliştiricilere alana uyarlama, yönerge ince ayarı ve pekiştirmeli öğrenme araştırmaları için ortak bir başlangıç noktası sunuyor.

Yayımlanan sürüm, eğitim yöntemlerini kontrollü biçimde karşılaştırmak için sabit bir başlangıç noktası da sağlıyor. Baidu, bu temel sürümün ardından eğitim sonrası işlemlerden geçirilmiş bir ERNIE 5.5 Flash modelinin yayımlanacağını belirtti.

Mimari ve Eğitim Sistemi

Model kartında 43 katman, 4.096 gizli boyut ve 64 dikkat başlığı listeleniyor. Otuz yedi katmanda Yoğun Sıkıştırılmış Dikkat kullanılıyor: bu katmanların önbelleğinde her 128 tokenlık blok için bir kayıt ve yakın zamandaki sıkıştırılmamış tokenlardan oluşan kısa bir pencere tutuluyor. Altı Çok Başlıklı Gizil Dikkat katmanı, tam bağlamın tamamına token düzeyinde erişimi koruyor ve puanı en yüksek önceki konumları seçmek için bir indeksleyici kullanıyor. Baidu’ya göre bu seyrek seçim, bağlam büyüdükçe sorgu başına temel dikkat maliyetini sabit tutuyor.

İlk katman dışındaki tüm katmanlarda, 512 yönlendirilmiş uzmandan 10’unun etkinleştirildiği bir uzman karışımı bloğunun yanı sıra bir ortak uzman kullanılıyor. Uzmanlar, modelin tam gizli boyutu yerine 2.048 boyutlu bir gizil uzayda çalışıyor. Baidu, bunun uzman genişliğinin tam olduğu tasarımlara kıyasla uzman yönlendirme ve birleştirme trafiğini ve uzman FLOP’larını yaklaşık yarıya indirdiğini belirtiyor. Tasarımda ayrıca manifold kısıtlı hiperbağlantılar üzerinden ilerleyen dört paralel artık akış ve öğrenilebilir, parçalı bir sıcaklık kullanan MultiMax çıkış başlığı bulunuyor.

Ön eğitimde 33,5 trilyon token, Muon eniyileyicisi ve FP8 karma hassasiyeti kullanıldı. Eğitim sırasında kullanılan bağlam uzunluğu aşamalı olarak 128K tokena çıkarıldı; ince ayar ve çıkarım ise 1 milyon tokenı destekliyor. Çok dilli web verilerinin yanı sıra derlemde kod ve yazılım geliştirme kayıtları da yer alıyor; bunlara commit’ler, sorun kayıtları, çekme istekleri, incelemeler, oluşturulan testler ve CI ile doğrulanmış düzeltmeler dâhil. Özenle seçilmiş uzun belgeler, anlamsal açıdan benzer dikkat dağıtıcılar içeren diziler ve sentetik erişim ile soru yanıtlama verileri, uzun bağlamlı eğitimi destekliyor. Bu tercihler, temel sürümü depo düzeyinde akıl yürütme, ajan destekli yazılım mühendisliği ve uzun girdiler için uygun hâle getiriyor.

Birlikte sunulan FlashMask deposunda Hopper ve Blackwell GPU’ları için dikkat çekirdekleri belgeleniyor. Blackwell yapılandırmaları, sorgu ve anahtar için 576’ya, değer için 512’ye kadar başlık boyutlarını destekliyor. Baidu, SM100 donanımında FlashAttention-4 MaskMod’a kıyasla ileri geçişte %175’e, geri geçişte ise %74’e varan hız artışı bildirdi. Dağıtık Muon sistemi ayrıca yoğun ve MoE parametrelerinin eşzamanlanmasını tek bir toplu işlemde birleştiriyor ve eniyileyici güncellemelerini değiştirmeden eniyileyici durumunu düğümlere daha dengeli biçimde dağıtıyor.

Baidu’nun Kıyaslama Sonuçları

Baidu, ERNIE’yi kamuya açık olarak yayımlanan DeepSeek-V4-Flash-Base, Hy3-preview-Base ve MiMo-V2.5-Base kontrol noktalarıyla; aynı test düzeneğini, istemleri ve az sayıda örneği, ayrıca serbest yanıtlı soru yanıtlama için aynı LLM değerlendiricisini kullanarak karşılaştırdı. Baidu’nun tablosundan seçilen sonuçlar, modelin öne çıktığı ve geride kaldığı alanları gösteriyor:

Baidu’nun karşılaştırmasında sonuçlar göreve göre değişiyor; ERNIE, gösterilen MMLU ve HumanEval+ sonuçlarında öne çıkarken FullStackBench’te Hy3, InfiniteBench’te ise DeepSeek lider. Tablo, bu istisnaları da ortaya koyarak Baidu’nun değerlendirmesinde sınav ve kodlama alanlarındaki güçlü sonuçları destekliyor.

Dağıtım ve Lisans Koşulları

İndirmeler FP8 ve BF16 safetensors biçimlerinde sunuluyor. Model kartında, kontrol noktasının temel model statüsüyle uyumlu olarak, tamamlamalar API’si üzerinden SGLang ve vLLM ile üretim ortamında sunum belgeleniyor. NVIDIA’nın Megatron Bridge tarifinde veri hazırlama, eğitim ve Hugging Face biçimine geri aktarma aşamalarını kapsayan bir denetimli ince ayar iş akışı yer alıyor. Tam model tarifi, düğüm başına dört GB300 GPU içeren 16 düğüm kullanıyor. NVIDIA tarifleri Blackwell GB200 ve GB300 sistemlerinde doğruluyor; bileşenler Hopper’ı desteklese de Hopper’da doğrulanmış değiller.

Özel ERNIE 5.5 Flash Base Model Lisans Sözleşmesi v1.0, bölgesel ve ticari koşullar getiriyor. Lisans bölgesine Avrupa Birliği, Birleşik Krallık ve Güney Kore dâhil değil; bu bölge dışında kullanım, değiştirme ve dağıtım gibi faaliyetlere izin verilmiyor. Ticari olmayan kullanımda model lisans ücreti alınmıyor. İlgili ürün veya hizmetlerden elde edilen yıllık geliri 50 milyon dolar veya altında olan ticari kullanımlar için tek seferlik bildirimde bulunulması ve belirgin biçimde “Powered by ERNIE” ibaresine yer verilmesi gerekiyor. Bu eşiğin üzerindeki kullanımlar için Baidu’dan ayrıca önceden yazılı izin alınması gerekiyor.

Sözleşme ayrıca lisanslı materyallerin, türev modellerin veya bunların çıktılarının ilgisiz bir yapay zekâ ya da makine öğrenimi sistemini geliştirmek için kullanılmasını da yasaklıyor. Lisans, türev modelleri tanımlarken ve çıktıların kullanımına ilişkin sınırları belirlerken damıtma ve sentetik veri iş akışlarını açıkça ele aldığından, bu kısıtlama önem taşıyor.

ERNIE 5.5 Flash Base, araştırmacılara ve geliştiricilere, Baidu’nun ön eğitim sürecini tekrarlamadan sonraki eğitim yöntemlerini test edebilecekleri sabit bir kontrol noktası sunuyor. Tasarımında etkin hesaplamayı ve uzun bağlam maliyetini kontrol etmeye odaklanılıyor; ancak sürümün pratik kullanım alanı, tam model ince ayarı için gereken donanımın yanı sıra coğrafi kapsamı, büyük ölçekli ticari kullanımı ve yeteneklerin ilgisiz modellere aktarılmasını kısıtlayan lisansla sınırlı.