Baidu’nun ERNIE Evolve ile Yapay Zekâ Araştırmasını ve Çıkarım Optimizasyonunu Otomatikleştirmesi

Baidu, ERNIE Evolve‘u 9 Kasım 2026’da tanıttı. Şirket, üç NanoChat ve NanoGPT metriğinde kamuya açık karşılaştırma sonuçlarından daha iyi sonuçlar elde edildiğini ve deterministik bir ERNIE-5.5-Flash çıkarım testinde iş hacminin %33,7 arttığını bildirdi. Otomatik araştırma sistemi araştırma yönlerini seçiyor, yapay zekâ kodunu düzenliyor ve yalnızca ayrı değerlendirme ve inceleme aşamalarını geçen iyileştirmeleri koruyor.

Duyuruda ayrıca geliştirilme aşamasındaki ERNIE-5.5-Flash için yürütülen çıkarım mühendisliği çalışmalarına da yer veriliyor. Sistemin rolü kod yazmanın ötesine geçiyor: araştırma konularını seçiyor, testleri yürütüyor ve sonraki yinelemelere yön vermek için hem başarısızlıklardan hem de başarılardan yararlanıyor.

Bağımsız Kontrollerle Yürütülen Bir Araştırma Döngüsü

Bir kod deposu, optimizasyon hedefi ve değerlendirme ölçütleri verildiğinde ERNIE Evolve kodu değiştiriyor ve yalıtılmış ortamlarda deneyler yürütüyor. Dış döngü yöneticisi, önceki deneyimlerden oluşan Deneyim Havuzu’ndan ve makaleler, açık kaynak kodlar ile alan bilgisini içeren Bilgi Tabanı’ndan yararlanarak araştırma yönünü ve başlangıç sürümünü seçiyor. Paralel kanallarda aday sürüm ağaçları tutuluyor; her kanalda bir Seçici aday sürümü ve hipotezi belirliyor, bir Yürütücü ise değişikliği uyguluyor.

Bir değişikliğin kabul edilmesi, sabit bir Değerlendiriciye ve ayrı bir İnceleyiciye bağlı. Değerlendirici kod deposunun dışında çalışıyor, ajanlar tarafından görülemiyor, kapsam dışı değişiklikleri eliyor ve kazanımların gürültü eşiğini aşmasını şart koşuyor. İnceleyici, araştırma yönüne uyulup uyulmadığını denetliyor ve değerlendirmedeki açıkları kullanmaya yönelik girişimleri eliyor. Araştırma yönüyle uyuşmayan aday sürümler en iyi sürüm olamıyor.

Kamuya Açık Kıyaslama Sonuçları ve Yayımlanan Kod

Baidu, değerlendirmesinde kullanılan kamuya açık karşılaştırma sonuçlarına göre şu sonuçları bildiriyor:

NanoChat’te ERNIE Evolve, sinir ağına ek olarak iki tahmin dalı oluşturdu: biri eğitim derlemindeki n-gram istatistiklerini kullanıyor, diğeri eşleşen belgeleri getirip bu belgelerin devamına göre tahminde bulunuyor. Öğrenilmiş bir geçit, her dalın önceki belirteç konumlarındaki performansını kullanarak iki dalın ağırlığını ayarlıyor.

Sonuç deposunda nihai kod ve ölçüm günlükleri yayımlanıyor; yürütülen kod her günlüğe ekleniyor ya da SHA-256 özetiyle tanımlanıyor. Depoda 0,6669–0,9920 arasında skor alan yedi SOL-ExecBench kernel çıktısı listeleniyor; NVIDIA’nın görev tanımları ve iş yükü verileri yeniden dağıtılmıyor.

SOL-ExecBench satırı, genel sonuçların kapsamını açıklığa kavuşturuyor: ERNIE Evolve listelenen metriklerin hepsinde lider değil; ancak Baidu’nun karşılaştırmasına göre bu görevde Recursive ve Hyra-1.0’ın önünde yer alıyor.

ERNIE-5.5-Flash için Çıkarım Optimizasyonu

Baidu, ERNIE Evolve’u Kunlunxin P800’de düşük gecikmeli çıkarım, GPU’larda deterministik çıkarım iş hacmi ve tek istekli kod çözme hızı için kullandı. Temel performans değerlerinin çoğu mühendisler tarafından zaten optimize edilmişti ve yapılan değişikliklerin, mühendislerin sunduğu çalışmalarla aynı yük testlerinden ve doğruluk kontrollerinden geçmesi gerekiyordu.

Baidu, Kunlunxin P800’de dört araştırma turunun üretim hızını başlangıç düzeyinin %623,6’sına çıkardığını ve model ile dağıtım yapılandırması değişmeden doğruluk kontrollerini geçtiğini bildiriyor. İlk turlarda manifold kısıtlı hiper bağlantıların birleştirilmesi ve spekülatif kod çözme etkinleştirildi; ardından ana bilgisayar tarafındaki zamanlama ve eşitleme yükü azaltıldı. Dördüncü turda yapılan bir gönderim düzeltmesi DeepEP’nin düşük gecikmeli yolunu etkinleştirdi.

Takviyeli öğrenme eğitimi için deterministik görev, üretilen belirteçlerin ve log olasılıklarının toplu işin bileşiminden bağımsız olarak bit düzeyinde aynı olmasını ve tam dizi yeniden hesaplamasıyla eşleşmesini gerektiriyordu. SGLang’in deterministik modu, indirgeme sırasını sabitleyerek bu gereksinimleri karşılıyor; ancak bu, GPU kullanımını sınırlıyor. Baidu, yaklaşık üç günün ardından çalışmanın determinizmi korurken belirteç başına ortalama çıktı süresini %26, ilk belirtece kadar geçen süreyi ise %12 azalttığını da bildirdi. En büyük tekil kazanım, her adımda GPU süresinin yaklaşık %14’ünü tüketen deterministik örneklemenin yerine, belirteç sözlüğü parçalarını paralel işleyen bir Triton kernel’i kullanılmasıyla elde edildi.

Baidu, tek istekli GPU kod çözümlemesinde, mühendisler tarafından zaten optimize edilmiş bir hizmete kıyasla doğruluk değişmeden hızın %14,9 arttığını bildiriyor. Yedi araştırma yönünden üçü iyileşme sağladı. Bunlar arasında, sekizden az giriş satırı içeren FP8 matris çarpımları için yerel FP16 komutlarını kullanmak ve uzmanları sırayla taramak yerine iki seviyeli bir uzman karışımı zamanlayıcısı kullanmak vardı.

Bu testler ayrıca modül ve determinizm kısıtlarının daha sıkı olduğunu, ölçüm gürültüsünün tek tek kazanımlarla karşılaştırılabilir düzeyde bulunduğunu ve ortamların çıkarım motorlarını, çekirdek kitaplıklarını, donanım eklentilerini ve hizmet başlatma betiklerini kapsadığını ortaya çıkardı. Bazı yararlı değişikliklerin etkisi gürültüden daha küçüktü; bu nedenle adayların değerlerini yalıtılmış çekirdek ölçümlerinde değil, uçtan uca yük testlerinde kanıtlaması gerekiyordu.

Baidu, bu döngüyü eğitim sistemi optimizasyonuna uygulamayı, ardından otomatik hipotez üretimini, deney tasarımını ve doğrulamayı yönlendirmek için model yeteneklerine ilişkin ölçütlerden yararlanmayı planlıyor. Şirketin uzun vadeli hedefi, yapay zekânın yetenek açıklarını belirlemesi ve değerlendirme görevleri üretip geliştirmesi.

Şirkete göre yinelemeli öz geliştirme; hedefler, izinler ve kaynaklar için açık sınırlar içinde, sürekli güvenlik değerlendirmesi ve insan gözetimiyle, insan kontrolünde ve kesintiye açık kalmalı. Sabit mühendislik ölçütlerinden model yeteneklerine ve kıyaslama tasarımına geçiş, araştırma döngüsünün ne ölçüde genişleyebileceğini belirlemede bu değerlendirme ve gözetim kontrollerini merkezi hâle getiriyor.