IBM і Kaggle створюють спільну постійно оновлювану таблицю лідерів міграцій ScarfBench

IBM і Kaggle співпрацюють над постійно оновлюваною публічною таблицею лідерів для ScarfBench — відкритого бенчмарку IBM для оцінювання агентів програмування під час міграції корпоративних Java-застосунків між фреймворками, ідеться в технічній записці IBM Research, опублікованій 27 жовтня 2026 року.

ScarfBench — скорочення від Self-Contained Application Refactoring Benchmark — перевіряє, чи може агент узяти незнайомий корпоративний Java-застосунок, перенести його між фреймворками Jakarta EE, Quarkus і Spring та зберегти його працездатність. Бенчмарк перевіряє, чи збираються згенеровані застосунки, чи запускаються вони та чи й надалі працюють належним чином; для цього використовують як цільові робочі навантаження, так і цілісні застосунки. На початку 2026 року IBM представила ScarfBench як відтворюваний бенчмарк для міграцій за допомогою ШІ; в первинному оголошенні від 11 березня 2026 року описано сім складових: корпоративні застосунки на трьох фреймворках, перевірені розробниками; цільові робочі навантаження, що ізолюють такі аспекти, як робота зі збереженням даних і впровадження залежностей; цілісні застосунки, що поєднують кілька архітектурних рівнів; автоматизована перевірка збирання та запуску; а також поведінкові тести для перевірки роботи під час виконання й функціональної еквівалентності. У тому оголошенні також зазначалося, що кожне робоче навантаження досвідчені розробники реалізували вручну й перевірили на функціональну еквівалентність і відповідність ідіоматичному використанню фреймворків.

Співпраця IBM і Kaggle

У межах партнерства Kaggle консультувала IBM щодо розроблення бенчмарку й оцінювання, незалежно відтворила ScarfBench і запустила його на власній платформі, оплативши обчислювальні ресурси, а також підтримуватиме бенчмарк у довгостроковій перспективі. IBM описала сильні сторони команд як взаємодоповнювальні: компанія розробила ScarfBench для модернізації корпоративних Java-застосунків, тоді як Kaggle надає незалежну інфраструктуру для оцінювання та постійно підтримуватиме таблицю лідерів.

Результати для 204 завдань із міграції

ScarfBench оцінює агентну систему, а не мовну модель окремо: кожен результат стосується моделі в поєднанні з оболонкою агента програмування, яка визначає, як модель взаємодіє з репозиторієм і середовищем розробки. IBM застерегла, що результати слід розглядати як показники моделі в поєднанні з оболонкою агента, а не як оцінювання лише самої моделі.

Серед 204 завдань із міграції та десяти оцінених конфігурацій моделі й оболонки агента перше місце за основним показником smoke-тестування посіла Gemini 4 Argon з оболонкою Antigravity, набравши 75,2%, повідомила IBM. За нею йдуть Claude Opus 5.5 з Claude Code із результатом 70,5% і Claude Opus 5 з Claude Code — 69,8%. Оцінка за smoke-тестами, яка слугує показником для таблиці лідерів, передбачає часткове зарахування результату й надає більшої ваги більшим наборам тестів. За суворішим показником успішного проходження всіх тестів найкращий результат показала Claude Opus 5.5 з Claude Code — 72,1%, лише трохи випередивши Gemini 4 Argon з Antigravity, яка набрала 71,1%.

За даними допису, результати аналізу чутливості підтвердили початковий порядок лідерів. Чотири із 204 завдань не принесли жодній конфігурації балів за поведінкові тести; після їх вилучення абсолютні результати зросли, але лідери не змінилися: Gemini 4 Argon з Antigravity набрала 79,4%, за нею йдуть Claude Opus 5.5 з Claude Code із результатом 74,5% і Claude Opus 5 з Claude Code — 73,7%. Як зазначила IBM, навіть найкраща комбінація має чималий простір для вдосконалення: жодна конфігурація не змогла повністю пройти більш ніж приблизно три чверті міграцій.

У чому конфігурації успішні, а в чому зазнають невдачі

Як повідомила IBM, найбільший розрив в оцінюванні був між кодом, який компілюється, і програмним забезпеченням, яке працює правильно. Після виключення чотирьох завдань із нульовими результатами Claude Opus 5 із Claude Code, Gemini 4 Argon з Antigravity та Gemini 3.8 Flash із mini-swe скомпілювали 100% завдань кожен, а вісім із десяти конфігурацій скомпілювали щонайменше 97% завдань. Натомість результати димових тестів різнилися більш ніж на 50 пунктів. Серед застосунків, які успішно розгорнулися, провідні конфігурації набирали приблизно від 63% до 76% тестів, що пройшли повністю, тоді як результат Kimi K3 із kimi-code становив 53%, Gemini 3.1 Pro з OpenHands — 42%, а Gemma 4 26B-A4B із mini-swe — 26%.

IBM класифікувала 745 невдалих запусків: 535 із них, тобто приблизно 72%, були збоями поведінки під час виконання — застосунок збирався й часто запускався, але не проходив поведінкову перевірку. До цієї групи увійшли 304 невідповідності вмісту або перевірок, 210 випадків втрати маршруту чи помилок 404 і 21 явна помилка HTTP 500 або 405. На помилки компіляції чи пакування припало приблизно 20% невдалих запусків — 152 випадки, а на збої під час запуску або впровадження залежностей — приблизно 8%, тобто 58 випадків.

У дописі наведено приклади на рівні окремих завдань. У завданні concurrency-taskcreator-quarkus-to-jakarta Claude Opus 5 із Claude Code набрав 0/6: кінцева точка /taskinfo повернула «Файл не знайдено», а тест, який очікував HTTP 405, не пройшов. У завданні address-book-jakarta-to-quarkus GPT-6 Astra із Codex набрав 2/10: сторінки зі списком і створенням повернули HTTP 404. У завданні cargotracker-jakarta-to-spring Gemini 3.8 Flash із mini-swe зберіг налаштування JSF/JoinFaces у цільовому застосунку Spring Boot і завершив роботу з помилкою під час запуску, коли створював бін facesContext. У завданні cart-spring-to-jakarta GPT-6 Astra із Codex не вдалося розгорнути застосунок, оскільки тип пакування, що залишився після міграції, не підтримувався цільовим середовищем виконання Liberty.

За повідомленням IBM, ефективність також різнилася залежно від конфігурації. Серед 200 завдань, що залишилися після виключення за результатами аналізу чутливості, медіанна кількість ходів становила від 32 у Claude Opus 5 із Claude Code до 79 у Gemini 3.8 Flash із mini-swe; у Claude Opus 5.5 із Claude Code цей показник дорівнював 64. У конфігураціях Claude Code, Codex, mini-swe та kimi-code, для яких тестові середовища наводили дані про витрати, вартість одного розв’язаного завдання становила від $1.25 для GPT-6.1 Sol із Codex до $10.10 для Claude Opus 5.5 із Claude Code; тестові середовища Antigravity, qwen-code та OpenHands не надавали даних про витрати на окремий запуск.

Таблиця лідерів ScarfBench є загальнодоступним оглядом цих результатів. На момент запуску подавати моделі для оцінювання не можна, але, за словами IBM, така можливість є в планах.