IBM och Kaggle samarbetar kring en löpande uppdaterad topplista för ScarfBench-migreringar

IBM och Kaggle samarbetar kring en offentligt tillgänglig topplista för ScarfBench som uppdateras löpande. ScarfBench är IBMs öppna benchmark för utvärdering av kodningsagenter vid migrering mellan Java-ramverk för företag, enligt en teknisk not från IBM Research som publicerades den 27 oktober 2026.

ScarfBench, en förkortning av Self-Contained Application Refactoring Benchmark, testar om en agent kan ta en obekant Java-applikation för företag, migrera den mellan ramverken Jakarta EE, Quarkus och Spring och lämna efter sig programvara som fortfarande fungerar. Benchmarken kontrollerar att genererade applikationer går att bygga och starta och fortsätter att fungera som förväntat, både med avgränsade arbetsbelastningar och hela applikationer. IBM introducerade ScarfBench tidigare under 2026 som en reproducerbar benchmark för AI-driven migrering. I det ursprungliga tillkännagivandet, daterat den 11 mars 2026, beskrevs sju komponenter: företagsapplikationer på de tre ramverken som verifierats av utvecklare, avgränsade arbetsbelastningar som isolerar aspekter som beständighet och beroendeinjektion, hela applikationer som kombinerar flera arkitekturlager, automatiserad validering av bygge och uppstart samt beteendetester som verifierar körningsbeteende och funktionell likvärdighet. Enligt tillkännagivandet implementerades och validerades varje arbetsbelastning manuellt av erfarna utvecklare för att säkerställa funktionell likvärdighet och idiomatisk användning av ramverken.

Samarbetet mellan IBM och Kaggle

Inom ramen för partnerskapet rådfrågade Kaggle IBM om utformningen av benchmarken och utvärderingen, återskapade och körde ScarfBench självständigt på sin egen plattform och stod för beräkningsresurserna. Kaggle kommer också att förvalta benchmarken på lång sikt. IBM beskrev teamens styrkor som kompletterande: IBM utvecklade ScarfBench med inriktning på modernisering av Java-system för företag, medan Kaggle bidrar med en oberoende infrastruktur för utvärdering och löpande förvaltning av topplistan.

Resultat för 204 migreringsuppgifter

ScarfBench utvärderar ett agentbaserat system, inte en språkmodell isolerad från resten: varje resultat speglar en modell i kombination med en kodagentmiljö som avgör hur modellen samverkar med kodförrådet och utvecklingsmiljön. IBM betonade att poängen bör ses som resultat för en modell i kombination med en agentmiljö, inte som mätvärden för enbart den underliggande modellen.

Av de 204 migreringsuppgifterna och tio utvärderade konfigurationerna av modeller och agentmiljöer hamnade Gemini 4 Argon med agentmiljön Antigravity på första plats enligt det primära smoketestmåttet, med 75,2 procent, rapporterade IBM. Därefter följde Claude Opus 5.5 med Claude Code på 70,5 procent och Claude Opus 5 med Claude Code på 69,8 procent. Smoketestpoängen, som används som mått på topplistan, ger delpoäng och viktar större testsviter tyngre. Enligt det striktare måttet där alla tester måste godkännas hade Claude Opus 5.5 med Claude Code den högsta andelen, 72,1 procent, knappt före Gemini 4 Argon med Antigravity på 71,1 procent.

Enligt inlägget förblev rangordningen i toppen densamma vid en känslighetsanalys. Fyra av de 204 uppgifterna gav ingen konfiguration några poäng för beteendetesterna. När de uteslöts steg de absoluta poängen, men topplaceringarna ändrades inte: Gemini 4 Argon med Antigravity fick 79,4 procent, följd av Claude Opus 5.5 med Claude Code på 74,5 procent och Claude Opus 5 med Claude Code på 73,7 procent. IBM noterade att även den starkaste kombinationen lämnade ett betydande utrymme för förbättring: ingen konfiguration klarade helt mer än ungefär tre fjärdedelar av migreringarna.

Var konfigurationerna lyckas och misslyckas

Enligt IBM fanns den största klyftan i utvärderingen mellan kod som går att bygga och programvara som fungerar korrekt. När de fyra uppgifterna som inte gav några poäng hade uteslutits kompilerade Claude Opus 5 med Claude Code, Gemini 4 Argon med Antigravity och Gemini 3.8 Flash med mini-swe samtliga 100 procent av uppgifterna, och åtta av de tio konfigurationerna kompilerade minst 97 procent. Smoketestpoängen spände däremot över mer än 50 procentenheter. Bland applikationer som driftsattes framgångsrikt låg de ledande konfigurationerna samlade på ungefär 63 till 76 procent godkända tester, medan Kimi K3 med kimi-code hamnade på 53 procent, Gemini 3.1 Pro med OpenHands på 42 procent och Gemma 4 26B-A4B med mini-swe på 26 procent.

IBM klassificerade 745 misslyckade körningar: 535 av dem, ungefär 72 procent, var beteendefel vid körning där applikationen hade byggts och ofta startats, men inte klarade beteendevalideringen. Den gruppen omfattade 304 avvikelser i innehåll eller assertioner, 210 fall med förlorade rutter eller 404-fel samt 21 uttryckliga HTTP 500- eller 405-fel. Kompilerings- eller paketeringsfel stod för ungefär 20 procent av de misslyckade körningarna, 152 stycken, och krascher vid uppstart eller beroendeinjektion för ungefär 8 procent, 58 stycken.

Inlägget räknar upp exempel på uppgiftsnivå. I concurrency-taskcreator-quarkus-to-jakarta fick Claude Opus 5 med Claude Code 0/6 efter att /taskinfo-slutpunkten returnerat ”Filen hittades inte” och ett test som förväntade sig HTTP 405 misslyckats. I address-book-jakarta-to-quarkus fick GPT-6 Astra med Codex 2/10 efter att list- och skapandesidor returnerat HTTP 404. I cargotracker-jakarta-to-spring behöll Gemini 3.8 Flash med mini-swe JSF/JoinFaces-kopplingen i Spring Boot-målet och misslyckades under uppstarten när en facesContext-bean skulle skapas. I cart-spring-to-jakarta ledde migreringen till ett driftsättningsfel eftersom paketeringstypen som migreringen lämnade efter sig inte stöddes av Liberty-körmiljön som var målet.

IBM uppgav också att effektiviteten varierade mellan konfigurationerna. Bland de 200 uppgifter som återstod efter exkluderingen i känslighetsanalysen varierade det medianmässiga antalet turer från 32 för Claude Opus 5 med Claude Code till 79 för Gemini 3.8 Flash med mini-swe, medan Claude Opus 5.5 med Claude Code låg på 64. För de konfigurationer med Claude Code, Codex, mini-swe och kimi-code där körmiljöerna redovisade kostnader varierade kostnaden per löst uppgift från $1,25 för GPT-6.1 Sol med Codex till $10,10 för Claude Opus 5.5 med Claude Code. Körmiljöerna Antigravity, qwen-code och OpenHands redovisade inga kostnader per körning.

ScarfBench-resultattavlan ger en offentlig översikt över resultaten. Det går inte att skicka in modeller offentligt vid lanseringen, men IBM uppgav att funktionen finns med i färdplanen.