IBM ve Kaggle, Sürekli Güncellenen ScarfBench Göç Leaderboard’u İçin Ortaklık Kurdu

IBM’in kurumsal Java çerçeveleri arasındaki geçişlerde kodlama ajanlarını değerlendirmek için geliştirdiği açık kıyaslama ölçütü ScarfBench için sürekli güncellenen herkese açık bir leaderboard oluşturmak üzere IBM ve Kaggle ortaklık kuruyor. Bu bilgi, 27 Ekim 2026’da yayımlanan IBM Research teknik notunda yer aldı.

Self-Contained Application Refactoring Benchmark ifadesinin kısaltması olan ScarfBench, bir ajanın tanımadığı kurumsal bir Java uygulamasını Jakarta EE, Quarkus ve Spring çerçeveleri arasında taşıyıp geride hâlâ çalışan bir yazılım bırakıp bırakamadığını sınar. Kıyaslama, hem belirli iş yüklerini hem de uygulamaların tamamını kullanarak oluşturulan uygulamaların derlenip derlenmediğini, başlatılıp başlatılmadığını ve beklendiği gibi çalışmayı sürdürüp sürdürmediğini denetler. IBM, yapay zekâ destekli geçişler için tekrarlanabilir bir kıyaslama ölçütü olarak ScarfBench’i 2026’nın başlarında tanıttı; 11 Mart 2026 tarihli ilk duyuruda yedi bileşen açıklanıyordu. Bunlar arasında üç çerçeveyi kapsayan, geliştiriciler tarafından doğrulanmış kurumsal uygulamalar; kalıcılık davranışı ve bağımlılık enjeksiyonu gibi konuları yalıtan odaklı iş yükleri; birden çok mimari katmanı bir araya getiren uygulamaların tamamı; otomatik derleme ve başlatma doğrulaması; çalışma zamanı davranışını ve işlevsel eşdeğerliği doğrulayan davranış testleri bulunuyordu. Duyuruda belirtildiğine göre her iş yükü, işlevsel eşdeğerlik ve çerçeve kullanımına uygun, doğal bir kodlama tarzı açısından deneyimli geliştiriciler tarafından elle uygulanıp doğrulandı.

IBM–Kaggle İş Birliği

Ortaklık kapsamında Kaggle, kıyaslama ölçütünün ve değerlendirme yönteminin tasarımında IBM’e danışmanlık verdi; hesaplama kaynaklarını sağlayarak ScarfBench’i kendi platformunda bağımsız biçimde yeniden oluşturup çalıştırdı ve uzun vadede kıyaslama ölçütünün bakımını üstlenecek. IBM, ekiplerin güçlü yönlerini birbirini tamamlayıcı nitelikte tanımladı: IBM, ScarfBench’i kurumsal Java modernizasyonu odağında geliştirdi; Kaggle ise bağımsız değerlendirme altyapısı ve leaderboard’un sürekli bakımı konusundaki uzmanlığını sunuyor.

204 Göç Görevindeki Sonuçlar

ScarfBench, tek başına bir dil modelini değil, ajan tabanlı bir sistemi değerlendiriyor: Her sonuç, modelin kod deposu ve geliştirme ortamıyla nasıl etkileşim kuracağını belirleyen bir kodlama ajanı altyapısıyla eşleştirilmiş bir modeli yansıtıyor. IBM, puanların yalnızca temel modelin performansını ölçen sonuçlar olarak değil, model ve ajan altyapısı bileşiminin sonuçları olarak değerlendirilmesi gerektiği konusunda uyardı.

IBM’in bildirdiğine göre, 204 göç görevi ve değerlendirilen on model/ajan altyapısı yapılandırması arasında birincil duman testi ölçütünde %75,2 puanla Antigravity altyapısını kullanan Gemini 4 Argon ilk sırada yer aldı. Onu, Claude Code ile birlikte kullanılan Claude Opus 5.5 %70,5 ve Claude Code ile birlikte kullanılan Claude Opus 5 %69,8 puanla izledi. Leaderboard ölçütü olan duman testi puanı kısmi kredi verir ve daha büyük test paketlerine daha fazla ağırlık tanır. Daha katı olan tüm testleri geçme ölçütünde ise Claude Code ile birlikte kullanılan Claude Opus 5.5, %72,1’le en yüksek orana ulaştı; Antigravity ile birlikte kullanılan Gemini 4 Argon %71,1’le çok az gerisinde kaldı.

Yayına göre, duyarlılık analizinde de üst sıralamadaki sıralama değişmedi. 204 görevin dördünde, tüm yapılandırmalar davranış testlerinden sıfır kredi aldı; bu görevler çıkarıldığında mutlak puanlar yükseldi, ancak liderler değişmedi: Antigravity ile birlikte kullanılan Gemini 4 Argon %79,4 puan aldı; onu Claude Code ile birlikte kullanılan Claude Opus 5.5 %74,5 ve Claude Code ile birlikte kullanılan Claude Opus 5 %73,7 puanla izledi. IBM’in belirttiğine göre en güçlü bileşimde bile kayda değer bir gelişme payı vardı; hiçbir yapılandırma göçlerin yaklaşık dörtte üçünden fazlasını tümüyle geçemedi.

Yapılandırmaların Başarılı ve Başarısız Olduğu Noktalar

IBM’in bildirdiğine göre, değerlendirmedeki en büyük fark, derlenen kod ile doğru davranan yazılım arasındaydı. Sıfır puan alan dört görev çıkarıldıktan sonra Claude Code ile birlikte kullanılan Claude Opus 5, Antigravity ile birlikte kullanılan Gemini 4 Argon ve mini-swe ile birlikte kullanılan Gemini 3.8 Flash görevlerin %100’ünü derledi; on yapılandırmanın sekizi ise en az %97’sini derledi. Buna karşılık duman testi puanları 50 puandan fazla bir aralığa yayıldı. Başarıyla dağıtılan uygulamalar arasında, en iyi yapılandırmaların testleri tümüyle geçme oranı yaklaşık %63 ile %76 arasında kümelenirken, kimi-code ile birlikte kullanılan Kimi K3’ün oranı %53’e, OpenHands ile birlikte kullanılan Gemini 3.1 Pro’nun oranı %42’ye, mini-swe ile birlikte kullanılan Gemma 4 26B-A4B’nin oranı ise %26’ya düştü.

IBM, başarısız 745 çalıştırmayı sınıflandırdı: yaklaşık %72’ye karşılık gelen 535’i, uygulamanın derlendiği ve çoğu zaman başlatıldığı ancak davranış doğrulamasını geçemediği çalışma zamanı davranış hatalarıydı. Bu grupta 304 içerik veya doğrulama hatası, 210 kaybolan rota ya da 404 hatası ve 21 açık HTTP 500 veya 405 hatası bulunuyordu. Derleme veya paketleme hataları başarısız çalıştırmaların yaklaşık %20’sini (152), başlatma ya da bağımlılık enjeksiyonu kaynaklı çökmeler ise yaklaşık %8’ini (58) oluşturdu.

Yayında görev düzeyinde örnekler sıralanıyor. concurrency-taskcreator-quarkus-to-jakarta görevinde Claude Code ile birlikte kullanılan Claude Opus 5, /taskinfo uç noktası “Dosya bulunamadı” yanıtını verdikten ve HTTP 405 bekleyen bir test başarısız olduktan sonra 0/6 puan aldı. address-book-jakarta-to-quarkus görevinde Codex ile birlikte kullanılan GPT-6 Astra, listeleme ve oluşturma sayfalarının HTTP 404 yanıtı vermesinin ardından 2/10 puan aldı. cargotracker-jakarta-to-spring görevinde mini-swe ile birlikte kullanılan Gemini 3.8 Flash, Spring Boot hedefinde JSF/JoinFaces bağlantılarını korudu ve facesContext bean’i oluşturulurken başlatma aşamasında başarısız oldu. cart-spring-to-jakarta görevinde ise Codex ile birlikte kullanılan GPT-6 Astra, göçün geride bıraktığı paketleme türü hedef Liberty çalışma zamanı tarafından desteklenmediği için dağıtım hatasıyla karşılaştı.

IBM, verimliliğin yapılandırmalara göre de değiştiğini bildirdi. Duyarlılık dışlamasının ardından kalan 200 görevde medyan tur sayısı, Claude Code ile Claude Opus 5 için 32’den mini-swe ile Gemini 3.8 Flash için 79’a kadar değişirken Claude Code ile Claude Opus 5.5 için bu sayı 64 oldu. Claude Code, Codex, mini-swe ve kimi-code kurulumlarını kapsayan ve maliyet bildiren harness’lerde, çözülen görev başına maliyet Codex ile GPT-6.1 Sol için 1,25 ABD dolarından Claude Code ile Claude Opus 5.5 için 10,10 ABD dolarına kadar çıktı; Antigravity, qwen-code ve OpenHands harness’leri çalıştırma başına maliyet verisi sunmadı.

ScarfBench liderlik tablosu, bu sonuçları kamuya açık biçimde sunuyor. Başlangıçta herkese açık model gönderimi mümkün değil, ancak IBM bunun yol haritasında olduğunu belirtti.