IBM og Kaggle inngår samarbeid om en kontinuerlig oppdatert resultatoversikt for ScarfBench-migreringer

IBM og Kaggle samarbeider om en offentlig resultatoversikt for ScarfBench som oppdateres fortløpende. ScarfBench er IBMs åpne referanse for evaluering av kodeagenter ved migrering mellom Java-rammeverk for bedriftsprogramvare, ifølge et teknisk notat fra IBM Research publisert 27. oktober 2026.

ScarfBench, en forkortelse for Self-Contained Application Refactoring Benchmark, tester om en agent kan ta en ukjent Java-applikasjon for bedriftsbruk, migrere den mellom Jakarta EE-, Quarkus- og Spring-rammeverkene og sørge for at programvaren fortsatt fungerer. Referansen kontrollerer at de genererte applikasjonene kan bygges og startes, og at de fortsetter å oppføre seg som forventet. Den bruker både målrettede arbeidsoppgaver og hele applikasjoner. IBM introduserte ScarfBench tidligere i 2026 som en reproduserbar referanse for AI-drevne migreringer. Den opprinnelige kunngjøringen, datert 11. mars 2026, beskrev sju komponenter: utviklerverifiserte bedriftsapplikasjoner på tvers av de tre rammeverkene, målrettede arbeidsoppgaver som isolerer forhold som persistensatferd og avhengighetsinjeksjon, hele applikasjoner som kombinerer flere arkitekturlag, automatisert validering av bygging og oppstart samt atferdstester som verifiserer kjøretidsatferd og funksjonell ekvivalens. Ifølge kunngjøringen ble hver arbeidsoppgave implementert manuelt og validert av erfarne utviklere for å sikre funksjonell ekvivalens og idiomatisk bruk av rammeverkene.

Samarbeidet mellom IBM og Kaggle

Som del av partnerskapet ga Kaggle IBM råd om utformingen av referansen og evalueringen, reproduserte og kjørte ScarfBench uavhengig på sin egen plattform og sponset beregningsressursene. Kaggle skal også vedlikeholde referansen på lang sikt. IBM beskrev teamenes styrker som utfyllende: IBM utviklet ScarfBench med utgangspunkt i modernisering av Java for bedriftsbruk, mens Kaggle bidrar med uavhengig infrastruktur for evaluering og løpende vedlikehold av resultatoversikten.

Resultater for 204 migreringsoppgaver

ScarfBench evaluerer et agentbasert system, ikke en språkmodell isolert: Hvert resultat gjenspeiler en modell sammen med et kodeagentoppsett som avgjør hvordan modellen samhandler med kodearkivet og utviklingsmiljøet. IBM understreket at resultatene bør leses som resultater for modell og oppsett, ikke som målinger av den underliggende modellen alene.

Blant 204 migreringsoppgaver og ti evaluerte kombinasjoner av modell og oppsett kom Gemini 4 Argon med Antigravity-oppsettet på førsteplass på det primære røyketestmålet med 75,2 %, opplyste IBM. Deretter fulgte Claude Opus 5.5 med Claude Code på 70,5 % og Claude Opus 5 med Claude Code på 69,8 %. Røyketesten, som brukes som måltall for resultatoversikten, gir delvis uttelling og vekter større testserier tyngre. På det strengere målet for bestått i alle tester oppnådde Claude Opus 5.5 med Claude Code den høyeste andelen, 72,1 %, så vidt foran Gemini 4 Argon med Antigravity på 71,1 %.

Ifølge innlegget holdt topplasseringene seg også i en sensitivitetsanalyse. Fire av de 204 oppgavene fikk ingen uttelling på atferdstestene med noen av oppsettene. Da disse ble utelatt, økte de absolutte resultatene uten at lederne endret seg: Gemini 4 Argon med Antigravity fikk 79,4 %, fulgt av Claude Opus 5.5 med Claude Code på 74,5 % og Claude Opus 5 med Claude Code på 73,7 %. IBM påpekte at selv den sterkeste kombinasjonen fortsatt hadde betydelig forbedringspotensial, ettersom ingen av oppsettene besto mer enn omtrent tre firedeler av migreringene fullt ut.

Her lykkes og feiler oppsettene

IBM opplyste at det største gapet i evalueringen var mellom kode som lar seg bygge, og programvare som oppfører seg riktig. Etter at de fire oppgavene med null uttelling var utelatt, kompilerte Claude Opus 5 med Claude Code, Gemini 4 Argon med Antigravity og Gemini 3.8 Flash med mini-swe alle oppgavene, og åtte av de ti oppsettene kompilerte minst 97 %. Til sammenligning varierte røyketestresultatene med mer enn 50 poeng. Blant applikasjonene som ble distribuert uten problemer, lå de beste oppsettene på omtrent 63–76 % for tester som var bestått fullt ut. Kimi K3 med kimi-code fikk 53 %, Gemini 3.1 Pro med OpenHands 42 % og Gemma 4 26B-A4B med mini-swe 26 %.

IBM klassifiserte 745 mislykkede kjøringer: 535, omtrent 72 %, var atferdsfeil under kjøring der applikasjonen ble bygget og ofte startet, men ikke besto atferdsvalideringen. Denne gruppen omfattet 304 avvik i innhold eller påstander, 210 feil med tapte ruter eller 404-feil og 21 eksplisitte HTTP 500- eller 405-feil. Kompilerings- eller pakkefeil utgjorde omtrent 20 % av de mislykkede kjøringene, med 152 tilfeller, mens krasj under oppstart eller ved avhengighetsinjeksjon utgjorde omtrent 8 %, med 58 tilfeller.

Innlegget viser eksempler på enkeltnivå. I concurrency-taskcreator-quarkus-to-jakarta fikk Claude Opus 5 med Claude Code 0/6 etter at endepunktet /taskinfo svarte «File not found», og en test som forventet HTTP 405, mislyktes. I address-book-jakarta-to-quarkus fikk GPT-6 Astra med Codex 2/10 etter at liste- og opprettingssidene svarte med HTTP 404. I cargotracker-jakarta-to-spring beholdt Gemini 3.8 Flash med mini-swe JSF/JoinFaces-koblingen i Spring Boot-målet og mislyktes under oppstart da en facesContext-bønne skulle opprettes. I cart-spring-to-jakarta førte GPT-6 Astra med Codex til en distribueringsfeil fordi pakktypen migreringen hadde etterlatt, ikke støttes av Liberty-kjøretidsmiljøet som var målet.

IBM rapporterte også at effektiviteten varierte mellom konfigurasjonene. Blant de 200 oppgavene som gjensto etter sensitivitetsutelukkelsen, varierte medianen for antall turer fra 32 med Claude Opus 5 og Claude Code til 79 med Gemini 3.8 Flash og mini-swe, mens Claude Opus 5.5 med Claude Code hadde 64. For oppsettene med Claude Code, Codex, mini-swe og kimi-code, der testverktøyene rapporterte kostnader, varierte kostnaden per løst oppgave fra $1.25 med GPT-6.1 Sol og Codex til $10.10 med Claude Opus 5.5 og Claude Code. Testverktøyene Antigravity, qwen-code og OpenHands oppga ikke kostnader per kjøring.

ScarfBench-resultattavlen gir offentlig tilgang til disse resultatene. Det er ikke mulig å sende inn modeller offentlig ved lansering, men IBM sa at dette står på veikartet.