Partnerschappen
IBM en Kaggle werken samen aan een doorlopend bijgewerkt ScarfBench-klassement voor migraties
Voeg Unite.AI toe aan je voorkeursbronnen op Google
IBM en Kaggle werken samen aan een openbaar klassement dat voortdurend wordt bijgewerkt voor ScarfBench, de open benchmark van IBM voor het beoordelen van codeeragents bij migraties tussen Java-frameworks voor ondernemingen, volgens een technische notitie van IBM Research die op 27 oktober 2026 is gepubliceerd.
ScarfBench, een afkorting van Self-Contained Application Refactoring Benchmark, toetst of een agent een onbekende Java-applicatie voor ondernemingen kan migreren tussen de frameworks Jakarta EE, Quarkus en Spring, en software kan opleveren die blijft werken. De benchmark controleert of de gegenereerde applicaties kunnen worden gebouwd en gestart en zich blijven gedragen zoals verwacht. Daarbij worden zowel gerichte workloads als volledige applicaties gebruikt. IBM introduceerde ScarfBench eerder in 2026 als een reproduceerbare benchmark voor migraties met behulp van AI; de oorspronkelijke aankondiging, gedateerd op 11 maart 2026, beschreef zeven onderdelen, waaronder door ontwikkelaars geverifieerde bedrijfsapplicaties voor de drie frameworks, gerichte workloads die aspecten zoals persistentiegedrag en dependency-injectie afzonderlijk testen, volledige applicaties waarin meerdere architectuurlagen samenkomen, geautomatiseerde validatie van het bouwen en starten, en gedragstests die het runtimegedrag en de functionele gelijkwaardigheid controleren. Volgens die aankondiging is elke workload handmatig geïmplementeerd en gevalideerd door ervaren ontwikkelaars, met het oog op functionele gelijkwaardigheid en idiomatisch gebruik van de frameworks.
De samenwerking tussen IBM en Kaggle
In het kader van de samenwerking adviseerde Kaggle IBM over het ontwerp van de benchmark en de evaluatie, reproduceerde en draaide het ScarfBench onafhankelijk op het eigen platform en financierde het de benodigde rekenkracht. Kaggle zal de benchmark ook op de lange termijn onderhouden. IBM omschreef de sterke punten van de teams als complementair: IBM ontwikkelde ScarfBench met het oog op de modernisering van Java voor ondernemingen, terwijl Kaggle onafhankelijke evaluatie-infrastructuur en doorlopend onderhoud van het klassement levert.
Resultaten voor 204 migratietaken
ScarfBench beoordeelt een agentisch systeem en niet alleen een taalmodel: elk resultaat weerspiegelt een model in combinatie met een codeeragent-harnas, dat bepaalt hoe het model met de repository en de ontwikkelomgeving omgaat. IBM waarschuwde dat de scores moeten worden gelezen als resultaten van een combinatie van model en harnas, en niet als metingen van alleen het onderliggende model.
Van de 204 migratietaken en tien geëvalueerde combinaties van model en harnas eindigde Gemini 4 Argon met het Antigravity-harnas bovenaan op de primaire smoke-testmaatstaf, met 75,2%, meldde IBM. Daarna volgden Claude Opus 5.5 met Claude Code op 70,5% en Claude Opus 5 met Claude Code op 69,8%. De smoke-testscore, die als maatstaf voor het klassement dient, kent gedeeltelijke punten toe en laat grotere testreeksen zwaarder meewegen. Bij de strengere maatstaf waarbij alle tests moeten slagen, behaalde Claude Opus 5.5 met Claude Code het hoogste percentage: 72,1%, net vóór Gemini 4 Argon met Antigravity op 71,1%.
Volgens het bericht bleef de rangorde bovenaan bij een gevoeligheidsanalyse overeind. Vier van de 204 taken kregen van geen enkele configuratie punten voor gedragstests; als deze taken buiten beschouwing werden gelaten, stegen de absolute scores zonder dat de koplopers veranderden: Gemini 4 Argon met Antigravity scoorde 79,4%, gevolgd door Claude Opus 5.5 met Claude Code op 74,5% en Claude Opus 5 met Claude Code op 73,7%. Zelfs de sterkste combinatie liet nog veel ruimte voor verbetering, merkte IBM op: geen enkele configuratie slaagde volledig voor meer dan ongeveer driekwart van de migraties.
Waar configuraties slagen en falen
Volgens IBM zat de grootste kloof in de evaluatie tussen code die kan worden gebouwd en software die zich correct gedraagt. Nadat de vier taken met uitsluitend nulscores buiten beschouwing waren gelaten, compileerden Claude Opus 5 met Claude Code, Gemini 4 Argon met Antigravity en Gemini 3.8 Flash met mini-swe elk 100% van de taken; acht van de tien configuraties compileerden ten minste 97%. De smoke-testscores liepen daarentegen meer dan 50 punten uiteen. Bij applicaties die met succes waren geïmplementeerd, lag het aandeel tests dat de best presterende configuraties volledig doorstond rond de 63% tot 76%. Kimi K3 met kimi-code bleef steken op 53%, Gemini 3.1 Pro met OpenHands op 42% en Gemma 4 26B-A4B met mini-swe op 26%.
IBM classificeerde 745 mislukte runs: 535 daarvan, ongeveer 72%, waren runtimefouten in het gedrag. Daarbij werd de applicatie wel gebouwd en vaak ook gestart, maar slaagde die niet voor de gedragsvalidatie. Tot die groep behoorden 304 afwijkingen in inhoud of beweringen, 210 fouten door verloren routes of een 404-status en 21 expliciete HTTP-fouten met status 500 of 405. Fouten bij het compileren of verpakken vormden ongeveer 20% van de mislukte runs, oftewel 152 gevallen; crashes bij het starten of door dependency-injectie waren goed voor ongeveer 8%, oftewel 58 gevallen.
Het bericht geeft voorbeelden op taakniveau. Bij concurrency-taskcreator-quarkus-to-jakarta scoorde Claude Opus 5 met Claude Code 0/6, nadat het endpoint /taskinfo de melding “File not found” had teruggegeven en een test die HTTP 405 verwachtte was mislukt. Bij address-book-jakarta-to-quarkus scoorde GPT-6 Astra met Codex 2/10, nadat de lijst- en aanmaakpagina’s HTTP 404 hadden teruggegeven. Bij cargotracker-jakarta-to-spring behield Gemini 3.8 Flash met mini-swe de JSF/JoinFaces-configuratie in de Spring Boot-doelapplicatie en mislukte het systeem tijdens het starten bij het aanmaken van een facesContext-bean. Bij cart-spring-to-jakarta leidde GPT-6 Astra met Codex tot een implementatiefout, omdat het door de migratie achtergelaten verpakkingstype niet werd ondersteund door de Liberty-runtime van de doelomgeving.
Ook de efficiëntie verschilde per configuratie, meldde IBM. Bij de 200 taken die na uitsluiting wegens gevoeligheid overbleven, liep het mediane aantal beurten uiteen van 32 voor Claude Opus 5 met Claude Code tot 79 voor Gemini 3.8 Flash met mini-swe; Claude Opus 5.5 met Claude Code kwam uit op 64. Waar de testharnassen kosten rapporteerden, voor de configuraties met Claude Code, Codex, mini-swe en kimi-code, varieerden de kosten per opgeloste taak van $1,25 voor GPT-6.1 Sol met Codex tot $10,10 voor Claude Opus 5.5 met Claude Code. De testharnassen Antigravity, qwen-code en OpenHands rapporteerden geen kosten per uitvoering.
Het ScarfBench-klassement biedt een openbaar overzicht van deze resultaten. Bij de lancering is het nog niet mogelijk om modellen openbaar in te dienen, maar IBM zegt dat deze mogelijkheid op de routekaart staat.
