IBM dan Kaggle Bermitra untuk Membuat Papan Peringkat Migrasi ScarfBench yang Terus Diperbarui

Menurut catatan teknis IBM Research yang diterbitkan pada 27 Oktober 2026, IBM dan Kaggle menjalin kemitraan untuk membuat papan peringkat publik ScarfBench yang terus diperbarui. ScarfBench adalah tolok ukur terbuka IBM untuk mengevaluasi agen pengodean dalam migrasi kerangka kerja Java tingkat perusahaan.

ScarfBench, singkatan dari Self-Contained Application Refactoring Benchmark, menguji kemampuan agen mengambil aplikasi Java tingkat perusahaan yang belum dikenal, memigrasikannya antar-kerangka kerja Jakarta EE, Quarkus, dan Spring, serta memastikan perangkat lunak hasilnya tetap berfungsi. Tolok ukur ini memeriksa apakah aplikasi yang dihasilkan dapat dibangun, dijalankan, dan terus berperilaku sebagaimana mestinya, baik dengan beban kerja terarah maupun aplikasi secara keseluruhan. IBM memperkenalkan ScarfBench pada awal 2026 sebagai tolok ukur yang dapat direproduksi untuk migrasi berbasis AI; pengumuman awal bertanggal 11 Maret 2026 itu menjelaskan tujuh komponennya, termasuk aplikasi tingkat perusahaan yang diverifikasi pengembang pada ketiga kerangka kerja, beban kerja terarah yang mengisolasi aspek seperti perilaku persistensi dan injeksi dependensi, aplikasi utuh yang menggabungkan beberapa lapisan arsitektur, validasi otomatis untuk proses build dan startup, serta pengujian perilaku yang memverifikasi perilaku saat runtime dan kesetaraan fungsional. Menurut pengumuman tersebut, setiap beban kerja dibuat secara manual dan divalidasi oleh pengembang berpengalaman untuk memastikan kesetaraan fungsional dan penggunaan kerangka kerja yang sesuai dengan praktik lazim.

Kolaborasi IBM–Kaggle

Dalam kemitraan ini, Kaggle berkonsultasi dengan IBM mengenai rancangan tolok ukur dan evaluasi, secara independen mereproduksi dan menjalankan ScarfBench di platformnya sendiri sekaligus menanggung biaya komputasi, serta akan memelihara tolok ukur tersebut dalam jangka panjang. IBM menyebut keunggulan kedua tim saling melengkapi: IBM mengembangkan ScarfBench dengan berfokus pada modernisasi Java tingkat perusahaan, sedangkan Kaggle menghadirkan infrastruktur evaluasi independen dan pemeliharaan papan peringkat berkelanjutan.

Hasil dari 204 Tugas Migrasi

ScarfBench mengevaluasi sistem berbasis agen, bukan model bahasa secara terpisah: setiap hasil mencerminkan model yang dipasangkan dengan harness agen pengodean, yang menentukan cara model berinteraksi dengan repositori dan lingkungan pengembangan. IBM mengingatkan bahwa skor tersebut sebaiknya dipahami sebagai hasil model/harness, bukan sebagai pengukuran model yang mendasarinya saja.

Dalam 204 tugas migrasi dan sepuluh konfigurasi model/harness yang dievaluasi, Gemini 4 Argon dengan harness Antigravity menempati peringkat pertama pada metrik smoke test utama dengan skor 75,2%, menurut IBM. Berikutnya adalah Claude Opus 5.5 dengan Claude Code, dengan skor 70,5%, dan Claude Opus 5 dengan Claude Code, dengan skor 69,8%. Skor smoke test, yang menjadi metrik papan peringkat, memberikan kredit parsial dan memberi bobot lebih besar pada rangkaian pengujian yang lebih besar. Pada ukuran yang lebih ketat, yaitu lulus semua pengujian, Claude Opus 5.5 dengan Claude Code mencatat tingkat tertinggi sebesar 72,1%, sedikit mengungguli Gemini 4 Argon dengan Antigravity yang meraih 71,1%.

Menurut unggahan tersebut, urutan teratas tetap sama dalam analisis sensitivitas. Empat dari 204 tugas tidak memperoleh kredit pengujian perilaku sama sekali dari konfigurasi mana pun; setelah tugas-tugas itu dikeluarkan, skor absolut meningkat tanpa mengubah para pemimpin: Gemini 4 Argon dengan Antigravity meraih 79,4%, disusul Claude Opus 5.5 dengan Claude Code dengan skor 74,5% dan Claude Opus 5 dengan Claude Code dengan skor 73,7%. IBM mencatat bahwa bahkan kombinasi terkuat pun masih menyisakan banyak ruang untuk peningkatan, karena tidak ada konfigurasi yang berhasil sepenuhnya pada lebih dari sekitar tiga perempat tugas migrasi.

Keberhasilan dan Kegagalan Tiap Konfigurasi

Menurut IBM, kesenjangan terbesar dalam evaluasi terlihat antara kode yang berhasil dibangun dan perangkat lunak yang berperilaku benar. Setelah empat tugas dengan skor nol dikeluarkan, Claude Opus 5 dengan Claude Code, Gemini 4 Argon dengan Antigravity, dan Gemini 3.8 Flash dengan mini-swe masing-masing berhasil mengompilasi 100% tugas, sementara delapan dari sepuluh konfigurasi berhasil mengompilasi setidaknya 97%. Sebaliknya, skor smoke test terpaut lebih dari 50 poin. Di antara aplikasi yang berhasil diterapkan, konfigurasi teratas mencatat kisaran sekitar 63% hingga 76% untuk kelulusan semua pengujian, sementara Kimi K3 dengan kimi-code hanya meraih 53%, Gemini 3.1 Pro dengan OpenHands 42%, dan Gemma 4 26B-A4B dengan mini-swe 26%.

IBM mengelompokkan 745 proses yang gagal: 535 di antaranya, atau sekitar 72%, merupakan kegagalan perilaku saat runtime, yaitu ketika aplikasi berhasil dibangun dan sering kali dijalankan, tetapi gagal dalam validasi perilaku. Kelompok ini mencakup 304 ketidakcocokan konten atau asersi, 210 kegagalan akibat rute yang hilang atau respons 404, serta 21 kesalahan HTTP 500 atau 405 yang dinyatakan secara eksplisit. Kegagalan kompilasi atau pengemasan mencakup sekitar 20% dari seluruh proses yang gagal, yakni 152, sedangkan kerusakan saat boot atau akibat injeksi dependensi mencakup sekitar 8%, yakni 58.

Unggahan tersebut memuat contoh pada tingkat tugas. Dalam concurrency-taskcreator-quarkus-to-jakarta, Claude Opus 5 dengan Claude Code meraih skor 0/6 setelah titik akhir /taskinfo menampilkan “File not found” dan pengujian yang mengharapkan HTTP 405 gagal. Dalam address-book-jakarta-to-quarkus, GPT-6 Astra dengan Codex meraih skor 2/10 setelah halaman daftar dan pembuatan data menghasilkan HTTP 404. Dalam cargotracker-jakarta-to-spring, Gemini 3.8 Flash dengan mini-swe masih menggunakan konfigurasi JSF/JoinFaces pada target Spring Boot dan gagal saat startup ketika membuat bean facesContext. Dalam cart-spring-to-jakarta, GPT-6 Astra dengan Codex mengalami kegagalan penerapan karena jenis pengemasan yang tersisa setelah migrasi tidak didukung oleh runtime Liberty tujuan.

IBM melaporkan bahwa efisiensi juga bervariasi antar konfigurasi. Dari 200 tugas yang tersisa setelah pengecualian dalam analisis sensitivitas, median jumlah giliran berkisar antara 32 untuk Claude Opus 5 dengan Claude Code dan 79 untuk Gemini 3.8 Flash dengan mini-swe, sementara Claude Opus 5.5 dengan Claude Code mencatat 64 giliran. Untuk konfigurasi Claude Code, Codex, mini-swe, dan kimi-code yang melaporkan biaya, biaya per tugas yang berhasil diselesaikan berkisar antara $1.25 untuk GPT-6.1 Sol dengan Codex dan $10.10 untuk Claude Opus 5.5 dengan Claude Code; harness Antigravity, qwen-code, dan OpenHands tidak mengeluarkan angka biaya per eksekusi.

Papan peringkat ScarfBench menyajikan hasil ini kepada publik. Pengiriman model oleh publik belum tersedia saat peluncuran, tetapi IBM mengatakan fitur tersebut masuk dalam peta jalan.