IBM și Kaggle colaborează la clasamentul ScarfBench, actualizat continuu, pentru migrarea aplicațiilor

Potrivit unei note tehnice IBM Research publicate la 27 octombrie 2026, IBM și Kaggle colaborează la un clasament public, actualizat continuu, pentru ScarfBench, benchmarkul open-source al IBM destinat evaluării agenților de programare în cadrul migrărilor aplicațiilor Java enterprise la alte frameworkuri.

ScarfBench, abreviere de la Self-Contained Application Refactoring Benchmark, testează dacă un agent poate prelua o aplicație Java enterprise cu care nu este familiarizat, o poate migra între frameworkurile Jakarta EE, Quarkus și Spring și poate lăsa în urmă un software care funcționează în continuare. Benchmarkul verifică dacă aplicațiile generate se construiesc, pornesc și continuă să se comporte conform așteptărilor, folosind atât sarcini de lucru specifice, cât și aplicații întregi. IBM a introdus ScarfBench la începutul anului 2026 ca benchmark reproductibil pentru migrările asistate de IA; anunțul inițial, datat 11 martie 2026, descria șapte componente, printre care aplicații enterprise verificate de dezvoltatori și construite cu cele trei frameworkuri, sarcini de lucru specifice care izolează aspecte precum comportamentul persistenței și injectarea dependențelor, aplicații întregi care combină mai multe niveluri arhitecturale, validarea automată a compilării și pornirii, precum și teste comportamentale care verifică funcționarea în timpul execuției și echivalența funcțională. Potrivit anunțului, dezvoltatori cu experiență au implementat manual și validat fiecare sarcină de lucru, verificând echivalența funcțională și utilizarea idiomatică a frameworkurilor.

Colaborarea dintre IBM și Kaggle

În cadrul parteneriatului, Kaggle a consultat IBM cu privire la proiectarea benchmarkului și a evaluării, a reprodus și a rulat independent ScarfBench pe propria platformă, sponsorizând resursele de calcul, și va întreține benchmarkul pe termen lung. IBM a descris competențele echipelor drept complementare: compania a dezvoltat ScarfBench pentru modernizarea aplicațiilor Java enterprise, în timp ce Kaggle oferă infrastructură independentă de evaluare și întreținerea continuă a clasamentului.

Rezultate pentru 204 de sarcini de migrare

ScarfBench evaluează un sistem bazat pe agenți, nu un model lingvistic izolat: fiecare rezultat reflectă performanța unui model asociat cu un cadru de lucru pentru un agent de programare, care determină modul în care modelul interacționează cu depozitul de cod și mediul de dezvoltare. IBM a avertizat că scorurile trebuie interpretate ca rezultate ale combinației model/cadru de lucru, nu ca măsurători ale modelului de bază luat separat.

În cele 204 de sarcini de migrare și cele zece configurații model/cadru de lucru evaluate, Gemini 4 Argon cu cadrul de lucru Antigravity s-a clasat pe primul loc la indicatorul principal bazat pe testele de verificare rapidă, cu 75,2%, a raportat IBM. Au urmat Claude Opus 5.5 cu Claude Code, cu 70,5%, și Claude Opus 5 cu Claude Code, cu 69,8%. Scorul obținut la testele de verificare rapidă, folosit drept indicator pentru clasament, acordă punctaj parțial și atribuie o pondere mai mare suitei de teste mai extinse. La criteriul mai strict al trecerii tuturor testelor, Claude Opus 5.5 cu Claude Code a înregistrat cea mai mare rată, de 72,1%, devansând la limită Gemini 4 Argon cu Antigravity, care a obținut 71,1%.

Potrivit articolului, ordinea primelor poziții s-a menținut și în analiza de sensibilitate. Patru dintre cele 204 de sarcini nu au primit niciun punct la testele comportamentale în nicio configurație; excluderea lor a mărit scorurile absolute, fără să schimbe liderii: Gemini 4 Argon cu Antigravity a obținut 79,4%, urmat de Claude Opus 5.5 cu Claude Code, cu 74,5%, și Claude Opus 5 cu Claude Code, cu 73,7%. IBM a observat că, și în cea mai performantă combinație, marja de îmbunătățire a rămas considerabilă, nicio configurație nereușind să treacă integral mai mult de aproximativ trei sferturi dintre migrări.

Unde reușesc și unde eșuează configurațiile

Potrivit IBM, cea mai mare diferență observată în evaluare a fost între codul care se compilează și software-ul care se comportă corect. După excluderea celor patru sarcini cu scor zero la toate testele, Claude Opus 5 cu Claude Code, Gemini 4 Argon cu Antigravity și Gemini 3.8 Flash cu mini-swe au compilat fiecare 100% dintre sarcini, iar opt dintre cele zece configurații au compilat cel puțin 97%. În schimb, scorurile la testele de verificare rapidă au variat cu peste 50 de puncte. Dintre aplicațiile implementate cu succes, configurațiile de top s-au grupat în jurul intervalului de 63%–76% pentru trecerea tuturor testelor, în timp ce Kimi K3 cu kimi-code a obținut 53%, Gemini 3.1 Pro cu OpenHands, 42%, iar Gemma 4 26B-A4B cu mini-swe, 26%.

IBM a clasificat 745 de execuții eșuate: 535, aproximativ 72%, au fost eșecuri comportamentale în timpul execuției, în care aplicația s-a compilat și adesea a pornit, dar nu a trecut validarea comportamentală. Acest grup a inclus 304 neconcordanțe de conținut sau de aserțiuni, 210 eșecuri cauzate de pierderea rutelor sau de erori 404 și 21 de erori explicite HTTP 500 sau 405. Eșecurile de compilare sau de împachetare au reprezentat aproximativ 20% dintre execuțiile eșuate, adică 152, iar blocările la pornire sau la injectarea dependențelor, aproximativ 8%, adică 58.

Articolul prezintă exemple la nivel de sarcină. În concurrency-taskcreator-quarkus-to-jakarta, Claude Opus 5 cu Claude Code a obținut 0/6 după ce punctul final /taskinfo a returnat „File not found”, iar un test care se aștepta la HTTP 405 a eșuat. În address-book-jakarta-to-quarkus, GPT-6 Astra cu Codex a obținut 2/10 după ce paginile de listare și creare au returnat HTTP 404. În cargotracker-jakarta-to-spring, Gemini 3.8 Flash cu mini-swe a păstrat configurația JSF/JoinFaces în aplicația-țintă Spring Boot și a eșuat la pornire în timp ce crea un bean facesContext. În cart-spring-to-jakarta, GPT-6 Astra cu Codex a eșuat la implementare deoarece tipul de împachetare rămas după migrare nu era acceptat de mediul de execuție Liberty-țintă.

IBM a raportat că eficiența a variat și în funcție de configurație. Pentru cele 200 de sarcini rămase după excluderea în urma analizei de sensibilitate, numărul median de pași a variat de la 32 pentru Claude Opus 5 cu Claude Code la 79 pentru Gemini 3.8 Flash cu mini-swe, iar Claude Opus 5.5 cu Claude Code a înregistrat 64. În cazurile în care infrastructurile au raportat costurile — pentru configurațiile Claude Code, Codex, mini-swe și kimi-code — costul per sarcină rezolvată a variat de la 1,25 USD pentru GPT-6.1 Sol cu Codex la 10,10 USD pentru Claude Opus 5.5 cu Claude Code; infrastructurile Antigravity, qwen-code și OpenHands nu au furnizat date privind costurile per execuție.

Clasamentul ScarfBench oferă o imagine publică a acestor rezultate. La lansare, înscrierea publică a modelelor nu este disponibilă, însă IBM a declarat că este prevăzută în foaia de parcurs.