IBM a Kaggle spolupracují na průběžně aktualizovaném žebříčku migrací ScarfBench

IBM a Kaggle podle technické zprávy IBM Research zveřejněné 27. října 2026 spolupracují na průběžně aktualizovaném veřejném žebříčku ScarfBench, otevřeného benchmarku IBM určeného k hodnocení programovacích agentů při migraci podnikových aplikací v Javě mezi frameworky.

ScarfBench, zkratka pro Self-Contained Application Refactoring Benchmark, ověřuje, zda agent dokáže převzít neznámou podnikovou aplikaci v Javě, migrovat ji mezi frameworky Jakarta EE, Quarkus a Spring a zajistit, aby výsledný software nadále fungoval. Benchmark kontroluje, zda se vygenerované aplikace sestaví, spustí a nadále se chovají podle očekávání; používá k tomu jak cílené úlohy, tak celé aplikace. IBM představila ScarfBench na začátku roku 2026 jako reprodukovatelný benchmark migrací řízených umělou inteligencí; původní oznámení z 11. března 2026 popisovalo sedm součástí, mezi něž patřily podnikové aplikace využívající všechny tři frameworky, jejichž funkčnost ověřili vývojáři, cílené úlohy zaměřené na konkrétní oblasti, jako je chování při práci s daty a vkládání závislostí, celé aplikace kombinující několik architektonických vrstev, automatizované ověřování sestavení a spuštění a testy chování ověřující chování za běhu a funkční ekvivalenci. Podle uvedeného oznámení každou úlohu zkušení vývojáři implementovali ručně a ověřili z hlediska funkční ekvivalence a idiomatického používání frameworků.

Spolupráce IBM a Kaggle

V rámci partnerství Kaggle konzultovala s IBM návrh benchmarku a hodnocení, nezávisle reprodukovala ScarfBench a spustila jej na vlastní platformě, přičemž poskytla výpočetní kapacitu, a bude benchmark dlouhodobě udržovat. IBM popsala silné stránky obou týmů jako vzájemně se doplňující: IBM vyvinula ScarfBench se zaměřením na modernizaci podnikových aplikací v Javě, zatímco Kaggle přináší nezávislou infrastrukturu pro hodnocení a průběžnou údržbu žebříčku.

Výsledky z 204 migračních úloh

ScarfBench hodnotí agentní systém, nikoli samotný jazykový model: každý výsledek odráží model spárovaný s prostředím programovacího agenta, které určuje, jak model pracuje s repozitářem a vývojovým prostředím. IBM upozornila, že výsledky je třeba chápat jako výsledky kombinace modelu a prostředí, nikoli jako měření samotného podkladového modelu.

Z 204 migračních úloh a deseti hodnocených konfigurací modelů a prostředí se na prvním místě v hlavní metrice smoke testů umístil Gemini 4 Argon s prostředím Antigravity, který dosáhl skóre 75,2 %, uvedla IBM. Následoval Claude Opus 5.5 s Claude Code se 70,5 % a Claude Opus 5 s Claude Code se 69,8 %. Skóre smoke testů, které slouží jako metrika žebříčku, přiděluje částečné body a více zohledňuje větší sady testů. V přísnějším měřítku, které započítává pouze případy, kdy projdou všechny testy, dosáhl nejvyššího výsledku Claude Opus 5.5 s Claude Code, a to 72,1 %. Těsně za ním skončil Gemini 4 Argon s Antigravity se 71,1 %.

Podle příspěvku se pořadí předních konfigurací nezměnilo ani při analýze citlivosti. Čtyři z 204 úloh nezískaly od žádné konfigurace žádné body za testy chování; jejich vyřazení zvýšilo absolutní skóre, ale pořadí nejlepších konfigurací zůstalo stejné: Gemini 4 Argon s Antigravity dosáhl 79,4 %, následoval Claude Opus 5.5 s Claude Code se 74,5 % a Claude Opus 5 s Claude Code se 73,7 %. Jak poznamenala IBM, i nejsilnější kombinace měla stále značný prostor ke zlepšení: žádná konfigurace plně nezvládla více než přibližně tři čtvrtiny migrací.

V čem se konfiguracím daří a v čem selhávají

Největší rozdíl v hodnocení podle IBM spočíval v tom, zda se kód pouze sestaví, nebo zda se software také správně chová. Po vyřazení čtyř úloh, které všechny konfigurace ohodnotily nulou, Claude Opus 5 s Claude Code, Gemini 4 Argon s Antigravity a Gemini 3.8 Flash s mini-swe úspěšně sestavily 100 % úloh a osm z deseti konfigurací jich sestavilo alespoň 97 %. Skóre smoke testů se naproti tomu lišilo o více než 50 bodů. U aplikací, které se úspěšně nasadily, se přední konfigurace pohybovaly přibližně mezi 63 a 76 % plně úspěšných testů, zatímco Kimi K3 s kimi-code dosáhl 53 %, Gemini 3.1 Pro s OpenHands 42 % a Gemma 4 26B-A4B s mini-swe 26 %.

IBM klasifikovala 745 neúspěšných běhů: 535 z nich, přibližně 72 %, představovalo selhání chování za běhu, při nichž se aplikace sestavila a často i spustila, ale neprošla ověřením chování. Do této skupiny patřilo 304 nesouladů v obsahu nebo tvrzeních, 210 případů ztracených tras nebo chyb 404 a 21 výslovných chyb HTTP 500 nebo 405. Selhání při kompilaci nebo balení tvořila přibližně 20 % neúspěšných běhů, tedy 152 případů, a pády při spuštění nebo při vkládání závislostí přibližně 8 %, tedy 58 případů.

Příspěvek uvádí příklady jednotlivých úloh. V úloze concurrency-taskcreator-quarkus-to-jakarta dosáhl Claude Opus 5 s Claude Code skóre 0/6 poté, co koncový bod /taskinfo vrátil „Soubor nebyl nalezen“ a selhal test, který očekával HTTP 405. V úloze address-book-jakarta-to-quarkus získal GPT-6 Astra s Codex skóre 2/10 poté, co stránky se seznamem a formulářem pro vytvoření záznamu vrátily HTTP 404. V úloze cargotracker-jakarta-to-spring zachoval Gemini 3.8 Flash s mini-swe v cílové aplikaci Spring Boot zapojení JSF/JoinFaces a při spouštění selhal při vytváření beanu facesContext. V úloze cart-spring-to-jakarta došlo u GPT-6 Astra s Codex k selhání nasazení, protože typ balení ponechaný po migraci cílové prostředí Liberty nepodporovalo.

IBM uvedla, že efektivita se také lišila podle jednotlivých konfigurací. U 200 úloh, které zůstaly po vyloučení úloh v rámci analýzy citlivosti, se medián počtu tahů pohyboval od 32 u Claude Opus 5 s Claude Code po 79 u Gemini 3.8 Flash s mini-swe; u Claude Opus 5.5 s Claude Code činil 64. U konfigurací Claude Code, Codex, mini-swe a kimi-code, které uváděly náklady, se náklady na vyřešenou úlohu pohybovaly od 1,25 USD u GPT-6.1 Sol s Codex po 10,10 USD u Claude Opus 5.5 s Claude Code; nástroje Antigravity, qwen-code a OpenHands náklady na jednotlivé běhy neuváděly.

Žebříček ScarfBench nabízí veřejný přehled těchto výsledků. Při spuštění nebude možné veřejně přihlašovat modely, IBM však uvedla, že tuto možnost plánuje.