IBM og Kaggle indgår partnerskab om en løbende opdateret ScarfBench-rangliste over migreringer

IBM og Kaggle samarbejder om en løbende opdateret, offentlig rangliste for ScarfBench, IBMs åbne benchmark til evaluering af kodeagenter ved migrering mellem Java-frameworks til virksomhedssystemer, ifølge et teknisk notat fra IBM Research, der blev offentliggjort den 27. oktober 2026.

ScarfBench er en forkortelse for et benchmark til refaktorering af selvstændige applikationer og tester, om en agent kan tage en ukendt Java-applikation til virksomhedssystemer, migrere den mellem Jakarta EE-, Quarkus- og Spring-frameworks og efterlade software, der stadig fungerer. Benchmarket kontrollerer, at de genererede applikationer kan bygges og startes og fortsat fungerer som forventet, både ved hjælp af målrettede arbejdsbelastninger og hele applikationer. IBM introducerede ScarfBench tidligere i 2026 som et reproducerbart benchmark for AI-drevne migreringer; den oprindelige annoncering, dateret 11. marts 2026, beskrev syv komponenter, herunder virksomhedsapplikationer på de tre frameworks, som udviklere havde verificeret, målrettede arbejdsbelastninger, der isolerer forhold som persistensadfærd og afhængighedsinjektion, hele applikationer, der kombinerer flere arkitekturlag, automatisk validering af bygning og opstart samt adfærdstests, der kontrollerer kørselsadfærd og funktionel ækvivalens. Ifølge annonceringen blev hver arbejdsbelastning implementeret manuelt og valideret af erfarne udviklere med hensyn til funktionel ækvivalens og idiomatisk brug af frameworket.

Samarbejdet mellem IBM og Kaggle

Som led i partnerskabet rådgav Kaggle IBM om udformningen af benchmarket og evalueringen, reproducerede og kørte ScarfBench uafhængigt på sin egen platform og finansierede computerressourcerne. Kaggle skal desuden vedligeholde benchmarket på lang sigt. IBM beskrev holdenes styrker som komplementære: IBM udviklede ScarfBench med fokus på modernisering af Java-systemer til virksomheder, mens Kaggle bidrager med en uafhængig evalueringsinfrastruktur og løbende vedligeholdelse af ranglisten.

Resultater på tværs af 204 migreringsopgaver

ScarfBench evaluerer et agentbaseret system snarere end en sprogmodel isoleret set: hvert resultat afspejler en model kombineret med en kodeagentramme, der bestemmer, hvordan modellen interagerer med kodelageret og udviklingsmiljøet. IBM understregede, at resultaterne skal forstås som resultater for en model og dens agentramme, ikke som målinger af den underliggende model alene.

På tværs af 204 migreringsopgaver og ti evaluerede model- og agentrammekonfigurationer kom Gemini 4 Argon med agentrammen Antigravity på førstepladsen efter det primære smoke-testmål med 75,2 %, oplyste IBM. Derefter fulgte Claude Opus 5.5 med Claude Code på 70,5 % og Claude Opus 5 med Claude Code på 69,8 %. Smoke-testresultatet, der bruges som mål for ranglisten, giver delvis point og vægter større testsuiter højere. Målt efter det strengere kriterium, hvor alle tests skal bestås, opnåede Claude Opus 5.5 med Claude Code den højeste andel med 72,1 %, lige foran Gemini 4 Argon med Antigravity på 71,1 %.

Den overordnede rangorden holdt ved en følsomhedsanalyse, ifølge opslaget. Fire af de 204 opgaver fik ingen point for adfærdstests med nogen af konfigurationerne; når de blev udeladt, steg de samlede resultater, uden at det ændrede på de førende placeringer: Gemini 4 Argon med Antigravity opnåede 79,4 %, efterfulgt af Claude Opus 5.5 med Claude Code på 74,5 % og Claude Opus 5 med Claude Code på 73,7 %. Selv den stærkeste kombination havde stadig betydelig plads til forbedring, bemærkede IBM: Ingen konfiguration bestod fuldt ud mere end omkring tre fjerdedele af migreringerne.

Her lykkes og fejler konfigurationerne

Den største forskel i evalueringen var mellem kode, der kan bygges, og software, der fungerer korrekt, oplyste IBM. Efter at de fire opgaver, der gav nul point for alle konfigurationer, var udeladt, kompilerede Claude Opus 5 med Claude Code, Gemini 4 Argon med Antigravity og Gemini 3.8 Flash med mini-swe hver især 100 % af opgaverne, og otte af de ti konfigurationer kompilerede mindst 97 %. Smoke-testresultaterne spændte derimod over mere end 50 procentpoint. Blandt de applikationer, der blev implementeret korrekt, lå de førende konfigurationer samlet på omkring 63-76 % beståede tests, mens Kimi K3 med kimi-code nåede ned på 53 %, Gemini 3.1 Pro med OpenHands på 42 % og Gemma 4 26B-A4B med mini-swe på 26 %.

IBM klassificerede 745 fejlslagne kørsler: 535, cirka 72 %, var kørselsfejl i adfærdstests, hvor applikationen blev bygget og ofte startet, men ikke bestod valideringen af dens adfærd. Denne gruppe omfattede 304 uoverensstemmelser i indhold eller påstande, 210 fejl med mistede ruter eller 404-fejl samt 21 eksplicitte HTTP 500- eller 405-fejl. Fejl ved kompilering eller pakning udgjorde cirka 20 % af de fejlslagne kørsler, svarende til 152, mens nedbrud ved opstart eller afhængighedsinjektion udgjorde cirka 8 %, svarende til 58.

Opslaget indeholder eksempler på opgaveniveau. I concurrency-taskcreator-quarkus-to-jakarta fik Claude Opus 5 med Claude Code 0/6, efter at endpointet /taskinfo returnerede “File not found”, og en test, der forventede HTTP 405, fejlede. I address-book-jakarta-to-quarkus fik GPT-6 Astra med Codex 2/10, efter at liste- og oprettelsessider returnerede HTTP 404. I cargotracker-jakarta-to-spring beholdt Gemini 3.8 Flash med mini-swe JSF/JoinFaces-konfigurationen i Spring Boot-målet og fejlede under opstarten, da en facesContext-bean skulle oprettes. I cart-spring-to-jakarta mislykkedes implementeringen med GPT-6 Astra og Codex, fordi den pakketypen, som migreringen efterlod, ikke blev understøttet af målmiljøets Liberty-runtime.

Effektiviteten varierede også mellem konfigurationerne, oplyste IBM. Blandt de 200 opgaver, der var tilbage efter sensitivitetsudelukkelsen, spændte medianen for antal ture fra 32 med Claude Opus 5 og Claude Code til 79 med Gemini 3.8 Flash og mini-swe; Claude Opus 5.5 med Claude Code lå på 64. For de opsætninger, hvor testmiljøerne oplyste omkostninger – Claude Code, Codex, mini-swe og kimi-code – lå omkostningen pr. løst opgave mellem 1,25 $ med GPT-6.1 Sol og Codex og 10,10 $ med Claude Opus 5.5 og Claude Code. Testmiljøerne Antigravity, qwen-code og OpenHands oplyste ikke omkostninger pr. kørslen.

ScarfBench-resultattavlen giver offentlig adgang til disse resultater. Det er ikke muligt at indsende modeller offentligt ved lanceringen, men IBM oplyste, at funktionen er på køreplanen.