IBM ja Kaggle tekevät yhteistyötä jatkuvasti päivitettävän ScarfBench-siirtymävertailun parissa

IBM ja Kaggle tekevät yhteistyötä ScarfBenchin jatkuvasti päivitettävän julkisen tulostaulukon parissa. ScarfBench on IBM:n avoin vertailutesti koodausagenttien arviointiin yrityskäytössä olevien Java-sovellusten siirroissa kehysjärjestelmästä toiseen, kertoo 27. lokakuuta 2026 julkaistu IBM Researchin tekninen muistio.

ScarfBench eli Self-Contained Application Refactoring Benchmark testaa, pystyykö agentti ottamaan haltuun ennestään tuntemattoman yrityskäyttöön tarkoitetun Java-sovelluksen, siirtämään sen Jakarta EE-, Quarkus- ja Spring-kehysjärjestelmien välillä ja jättämään jälkeensä edelleen toimivan ohjelmiston. Vertailutestissä tarkistetaan, että tuotetut sovellukset kääntyvät, käynnistyvät ja toimivat jatkossakin odotetulla tavalla. Testauksessa käytetään sekä rajattuja työkuormia että kokonaisia sovelluksia. IBM esitteli ScarfBenchin aiemmin vuonna 2026 toistettavana vertailutestinä tekoälyavusteisille siirroille. Alkuperäisessä tiedotteessa, joka julkaistiin 11. maaliskuuta 2026, kuvattiin seitsemän osaa: kokeneiden kehittäjien tarkistamia yrityskäyttöön tarkoitettuja sovelluksia kolmessa kehysjärjestelmässä, rajattuja työkuormia, joilla eristetään esimerkiksi pysyvän tallennuksen toimintaa ja riippuvuuksien injektointia, useita arkkitehtuurikerroksia yhdistäviä kokonaisia sovelluksia, automaattinen käännöksen ja käynnistyksen validointi sekä toimintatestit, joilla tarkistetaan ajonaikainen toiminta ja toiminnallinen vastaavuus. Tiedotteen mukaan kokeneet kehittäjät toteuttivat ja validoivat jokaisen työkuorman manuaalisesti varmistaakseen toiminnallisen vastaavuuden ja kehysjärjestelmän idiomien mukaisen käytön.

IBM:n ja Kaggle-yhteistyö

Yhteistyön puitteissa Kaggle konsultoi IBM:ää vertailutestin ja arvioinnin suunnittelussa, toisti ja suoritti ScarfBenchin itsenäisesti omalla alustallaan rahoittaen samalla laskentatehon, ja ylläpitää vertailutestiä pitkällä aikavälillä. IBM kuvaili tiimien vahvuuksia toisiaan täydentäviksi: IBM kehitti ScarfBenchin yrityskäyttöön tarkoitettujen Java-sovellusten uudistamisen tarpeisiin, kun taas Kaggle tuo mukaan riippumattoman arviointi-infrastruktuurin ja tulostaulukon jatkuvan ylläpidon.

Tulokset 204 siirtotehtävästä

ScarfBench arvioi agenttijärjestelmää, ei yksittäistä kielimallia erillään muusta järjestelmästä: jokainen tulos kuvaa mallia yhdistettynä koodausagentin kehykseen, joka määrittää, miten malli toimii vuorovaikutuksessa koodivaraston ja kehitysympäristön kanssa. IBM korosti, että tuloksia tulee tulkita mallin ja agenttikehyksen yhdistelmän tuloksina, ei pelkästään taustalla olevan mallin mittauksina.

IBM:n mukaan Gemini 4 Argon Antigravity-agenttikehyksellä sijoittui ensimmäiseksi ensisijaisella savutestimittarilla 75,2 prosentin tuloksella 204 siirtotehtävässä ja kymmenessä arvioidussa malli- ja agenttikehyskokoonpanossa. Seuraavina tulivat Claude Opus 5.5 Claude Coden kanssa tuloksella 70,5 % ja Claude Opus 5 Claude Coden kanssa tuloksella 69,8 %. Tulostaulukon mittarina käytettävä savutestipistemäärä antaa osittaisia pisteitä ja painottaa laajempia testikokonaisuuksia enemmän. Tiukemmalla mittarilla, jossa kaikkien testien on läpäistävä, Claude Opus 5.5 Claude Coden kanssa saavutti korkeimman tuloksen, 72,1 %, niukasti ennen Gemini 4 Argonia Antigravityllä, jonka tulos oli 71,1 %.

Julkaisun mukaan kokoonpanojen kärkijärjestys säilyi herkkyysanalyysissä. Neljä 204 tehtävästä sai kaikilta kokoonpanoilta nolla pistettä toimintatesteissä. Kun nämä tehtävät jätettiin pois, absoluuttiset pistemäärät nousivat, mutta kärkisijat eivät muuttuneet: Gemini 4 Argon Antigravityllä sai 79,4 %, Claude Opus 5.5 Claude Coden kanssa 74,5 % ja Claude Opus 5 Claude Coden kanssa 73,7 %. IBM huomautti, että vahvimmallakin yhdistelmällä oli vielä selvästi parantamisen varaa: yksikään kokoonpano ei läpäissyt kaikkia testejä yli noin kolmessa neljäsosassa siirroista.

Missä kokoonpanot onnistuvat ja epäonnistuvat

IBM:n mukaan arvioinnin suurin ero oli siinä, että koodi kääntyy, mutta ohjelmisto ei toimi oikein. Kun neljä tehtävää, joista kaikki kokoonpanot saivat nolla pistettä, oli jätetty pois, Claude Opus 5 Claude Coden kanssa, Gemini 4 Argon Antigravityllä ja Gemini 3.8 Flash mini-swe-kehyksellä käänsivät jokaisen tehtävän. Kymmenestä kokoonpanosta kahdeksan käänsi vähintään 97 % tehtävistä. Savutestituloksissa oli sitä vastoin yli 50 pisteen ero. Onnistuneesti käyttöönotetuista sovelluksista parhaat kokoonpanot läpäisivät kaikki testit noin 63–76 prosentissa tapauksista. Kimi K3 kimi-code-kehyksellä sai 53 %, Gemini 3.1 Pro OpenHands-kehyksellä 42 % ja Gemma 4 26B-A4B mini-swe-kehyksellä 26 %.

IBM luokitteli 745 epäonnistunutta suoritusta: 535 eli noin 72 % oli ajonaikaisia toimintavirheitä, joissa sovellus kääntyi ja käynnistyi usein, mutta ei läpäissyt toiminnan validointia. Näihin kuului 304 sisältö- tai väite-eroa, 210 reitin katoamiseen tai 404-virheeseen liittyvää epäonnistumista sekä 21 nimenomaista HTTP 500- tai 405-virhettä. Käännös- tai paketointivirheitä oli noin 20 % epäonnistuneista suorituksista eli 152. Käynnistymis- tai riippuvuuksien injektointiin liittyviä kaatumisia oli noin 8 % eli 58.

Julkaisussa luetellaan esimerkkejä yksittäisistä tehtävistä. Tehtävässä concurrency-taskcreator-quarkus-to-jakarta Claude Opus 5 Claude Coden kanssa sai tuloksen 0/6, kun /taskinfo-päätepiste palautti viestin “File not found” ja HTTP 405 -virhettä odottanut testi epäonnistui. Tehtävässä address-book-jakarta-to-quarkus GPT-6 Astra Codexin kanssa sai tuloksen 2/10, kun luettelo- ja luontisivut palauttivat HTTP 404 -virheen. Tehtävässä cargotracker-jakarta-to-spring Gemini 3.8 Flash mini-swe-kehyksellä säilytti JSF/JoinFaces-kytkennät Spring Boot -kohdeympäristössä ja epäonnistui käynnistyksen aikana facesContext-pavun luonnissa. Tehtävässä cart-spring-to-jakarta GPT-6 Astra Codexin kanssa päätyi käyttöönoton epäonnistumiseen, koska siirrossa käytetty paketointityyppi ei ollut tuetusti käytössä kohdeympäristön Liberty-ajoympäristössä.

IBM kertoi tehokkuuden vaihdelleen myös kokoonpanojen mukaan. Herkkyysanalyysissä tehtyjen poissulkemisten jälkeen jäljelle jääneiden 200 tehtävän mediaanivuoromäärä vaihteli Claude Opus 5:n ja Claude Coden 32 vuorosta Gemini 3.8 Flashin ja mini-swen 79 vuoroon. Claude Opus 5.5:n ja Claude Coden tulos oli 64 vuoroa. Niissä kokoonpanoissa, joissa kustannukset ilmoitettiin, eli Claude Code-, Codex-, mini-swe- ja kimi-code-kokoonpanoissa, yhden ratkaistun tehtävän kustannus vaihteli GPT-6.1 Solin ja Codexin 1,25 dollarista Claude Opus 5.5:n ja Claude Coden 10,10 dollariin. Antigravity-, qwen-code- ja OpenHands-ympäristöt eivät ilmoittaneet yksittäisten suoritusten kustannuksia.

ScarfBench-tulostaulukko tarjoaa tuloksista julkisen näkymän. Mallien julkinen lähettäminen tulostaulukkoon ei ole mahdollista julkaisuvaiheessa, mutta IBMin mukaan se kuuluu suunnitelmiin.