IBM и Kaggle объединяют усилия для создания постоянно обновляемой таблицы лидеров ScarfBench по миграции приложений

IBM и Kaggle совместно работают над постоянно обновляемой общедоступной таблицей лидеров ScarfBench — открытого бенчмарка IBM для оценки кодирующих агентов при миграции корпоративных приложений на Java между фреймворками, — говорится в технической заметке IBM Research, опубликованной 27 октября 2026 года.

ScarfBench — сокращение от Self-Contained Application Refactoring Benchmark («бенчмарк рефакторинга автономных приложений») — проверяет, способен ли агент взять незнакомое корпоративное приложение на Java, перенести его между фреймворками Jakarta EE, Quarkus и Spring и обеспечить его дальнейшую работоспособность. Бенчмарк проверяет, собираются ли созданные приложения, запускаются ли они и продолжают ли работать так, как ожидалось, используя как целевые рабочие нагрузки, так и приложения целиком. В начале 2026 года IBM представила ScarfBench как воспроизводимый бенчмарк для миграций с применением ИИ; в первоначальном объявлении от 11 марта 2026 года описывались семь компонентов, в том числе проверенные разработчиками корпоративные приложения на трех фреймворках, целевые рабочие нагрузки для изолированной проверки таких аспектов, как работа с постоянным хранением данных и внедрение зависимостей, приложения целиком, объединяющие несколько архитектурных уровней, автоматическая проверка сборки и запуска, а также поведенческие тесты для проверки поведения во время выполнения и функциональной эквивалентности. В объявлении также отмечалось, что каждую рабочую нагрузку опытные разработчики реализовали вручную и проверили на функциональную эквивалентность и соответствие идиоматическому использованию фреймворков.

Сотрудничество IBM и Kaggle

В рамках партнерства Kaggle консультировала IBM по вопросам проектирования бенчмарка и оценки, самостоятельно воспроизвела ScarfBench и запустила его на своей платформе, предоставив вычислительные ресурсы, а также будет поддерживать бенчмарк в долгосрочной перспективе. По описанию IBM, сильные стороны команд дополняют друг друга: IBM разработала ScarfBench для модернизации корпоративных приложений на Java, а Kaggle предоставляет независимую инфраструктуру для оценки и обеспечивает постоянное сопровождение таблицы лидеров.

Результаты по 204 задачам миграции

ScarfBench оценивает систему на основе агента, а не языковую модель в отрыве от контекста: каждый результат отражает работу модели в связке с оболочкой кодирующего агента, которая определяет, как модель взаимодействует с репозиторием и средой разработки. IBM предупредила, что результаты следует рассматривать как показатели связки «модель — оболочка», а не как оценку одной лишь базовой модели.

По данным IBM, среди десяти оцененных конфигураций моделей и оболочек на 204 задачах миграции первое место по основному показателю дымовых тестов заняла Gemini 4 Argon с оболочкой Antigravity — 75,2%; за ней следуют Claude Opus 5.5 с Claude Code — 70,5% и Claude Opus 5 с Claude Code — 69,8%. Оценка по дымовым тестам, используемая как показатель в таблице лидеров, учитывает частичное выполнение и придает больший вес крупным наборам тестов. По более строгому показателю полного прохождения всех тестов лучший результат показала Claude Opus 5.5 с Claude Code — 72,1%, ненамного опередив Gemini 4 Argon с Antigravity, у которой результат составил 71,1%.

Как сообщается в публикации, результаты анализа чувствительности не изменили порядок лидеров. Четыре из 204 задач не принесли ни одной конфигурации баллов за поведенческие тесты; после их исключения абсолютные оценки выросли, но лидеры остались прежними: Gemini 4 Argon с Antigravity набрала 79,4%, за ней следуют Claude Opus 5.5 с Claude Code — 74,5% и Claude Opus 5 с Claude Code — 73,7%. IBM отметила, что даже у самой сильной комбинации оставался значительный потенциал для улучшения: ни одна конфигурация не прошла полностью более примерно трех четвертей миграций.

В каких задачах конфигурации успешны, а в каких — нет

Как сообщила IBM, самый большой разрыв в оценке наблюдался между кодом, который успешно собирается, и программным обеспечением, которое работает корректно. После исключения четырёх задач с нулевыми результатами Claude Opus 5 с Claude Code, Gemini 4 Argon с Antigravity и Gemini 3.8 Flash с mini-swe успешно компилировали решения для 100% задач, а восемь из десяти конфигураций — как минимум для 97%. Результаты смоук-тестов, напротив, различались более чем на 50 пунктов. Среди успешно развёрнутых приложений лучшие конфигурации показывали полное прохождение тестов примерно в 63–76% случаев, тогда как результат Kimi K3 с kimi-code составил 53%, Gemini 3.1 Pro с OpenHands — 42%, а Gemma 4 26B-A4B с mini-swe — 26%.

IBM классифицировала 745 неудачных запусков: 535 из них, или примерно 72%, завершились ошибками поведения во время выполнения — приложение собиралось и часто запускалось, но не проходило поведенческую проверку. В эту группу вошли 304 несоответствия содержимого или проверочных утверждений, 210 случаев потери маршрута или ошибки 404, а также 21 явная ошибка HTTP 500 или 405. На ошибки компиляции или упаковки пришлось примерно 20% неудачных запусков — 152 случая, а на сбои при запуске или внедрении зависимостей — примерно 8%, или 58 случаев.

В публикации приведены примеры отдельных задач. В задаче concurrency-taskcreator-quarkus-to-jakarta Claude Opus 5 с Claude Code набрала 0/6 баллов: конечная точка /taskinfo вернула ответ «Файл не найден», а тест, ожидавший HTTP 405, завершился неудачей. В задаче address-book-jakarta-to-quarkus GPT-6 Astra с Codex набрала 2/10 баллов: страницы списка и создания записей вернули HTTP 404. В задаче cargotracker-jakarta-to-spring Gemini 3.8 Flash с mini-swe сохранила конфигурацию JSF/JoinFaces в целевой версии на Spring Boot и завершила работу с ошибкой при запуске во время создания компонента facesContext. В задаче cart-spring-to-jakarta миграция с GPT-6 Astra и Codex завершилась ошибкой развертывания: оставленный после миграции тип упаковки не поддерживался целевой средой выполнения Liberty.

По данным IBM, эффективность также различалась в зависимости от конфигурации. Среди 200 задач, оставшихся после исключения по результатам анализа чувствительности, медианное число ходов варьировалось от 32 у Claude Opus 5 с Claude Code до 79 у Gemini 3.8 Flash с mini-swe; у Claude Opus 5.5 с Claude Code этот показатель составил 64. В конфигурациях Claude Code, Codex, mini-swe и kimi-code, для которых указывалась стоимость, затраты на решение одной задачи варьировались от $1.25 у GPT-6.1 Sol с Codex до $10.10 у Claude Opus 5.5 с Claude Code; в средах Antigravity, qwen-code и OpenHands стоимость отдельных запусков не приводилась.

Таблица лидеров ScarfBench служит общедоступным представлением этих результатов. На момент запуска подача заявок на включение моделей в публичный рейтинг недоступна, однако, по словам IBM, она предусмотрена дорожной картой.