Parcerias
IBM e Kaggle firmam parceria para criar um placar atualizado continuamente do ScarfBench
Adicione Unite.AI às suas fontes preferidas no Google
Segundo uma nota técnica da IBM Research publicada em 27 de outubro de 2026, IBM e Kaggle estão trabalhando juntas em um placar público, atualizado continuamente, para o ScarfBench, benchmark aberto da IBM que avalia agentes de programação em migrações entre frameworks Java empresariais.
ScarfBench, sigla de Self-Contained Application Refactoring Benchmark, testa se um agente consegue migrar uma aplicação Java empresarial desconhecida entre os frameworks Jakarta EE, Quarkus e Spring e deixar o software funcionando. O benchmark verifica se as aplicações geradas são compiladas, iniciadas e continuam funcionando como esperado, tanto em cargas de trabalho específicas quanto em aplicações completas. A IBM apresentou o ScarfBench no início de 2026 como um benchmark reproduzível para migrações conduzidas por IA; o anúncio original, datado de 11 de março de 2026, descreveu sete componentes, entre eles aplicações empresariais nos três frameworks, verificadas por desenvolvedores; cargas de trabalho específicas que isolam aspectos como o comportamento da persistência e a injeção de dependências; aplicações completas que combinam várias camadas arquiteturais; validação automatizada da compilação e da inicialização; e testes comportamentais que verificam o comportamento em tempo de execução e a equivalência funcional. Segundo o anúncio, cada carga de trabalho foi implementada manualmente e validada por desenvolvedores experientes quanto à equivalência funcional e ao uso idiomático dos frameworks.
A parceria entre IBM e Kaggle
No âmbito da parceria, a Kaggle assessorou a IBM na concepção do benchmark e da avaliação, reproduziu o ScarfBench de forma independente e o executou em sua própria plataforma, patrocinando o processamento computacional, e fará a manutenção do benchmark a longo prazo. A IBM descreveu como complementares os pontos fortes das equipes: a empresa desenvolveu o ScarfBench com foco na modernização de aplicações Java empresariais, enquanto a Kaggle oferece uma infraestrutura independente de avaliação e a manutenção contínua do placar.
Resultados em 204 tarefas de migração
O ScarfBench avalia um sistema agêntico, e não um modelo de linguagem isolado: cada resultado corresponde a um modelo combinado com uma estrutura de agente de programação, que determina como o modelo interage com o repositório e o ambiente de desenvolvimento. A IBM alertou que os resultados devem ser interpretados como avaliações do conjunto modelo/estrutura, e não como medições apenas do modelo subjacente.
Nas 204 tarefas de migração e nas dez configurações de modelo/estrutura avaliadas, Gemini 4 Argon com a estrutura Antigravity ficou em primeiro lugar na principal métrica de teste de fumaça, com 75,2%, informou a IBM. Em seguida vieram Claude Opus 5.5 com Claude Code, com 70,5%, e Claude Opus 5 com Claude Code, com 69,8%. A pontuação do teste de fumaça, usada como métrica do placar, concede crédito parcial e atribui peso maior a conjuntos de testes maiores. Na métrica mais rigorosa, que exige a aprovação de todos os testes, Claude Opus 5.5 com Claude Code obteve a maior taxa, de 72,1%, pouco à frente de Gemini 4 Argon com Antigravity, com 71,1%.
Segundo a publicação, a análise de sensibilidade manteve a mesma ordem entre os primeiros colocados. Quatro das 204 tarefas não receberam crédito nos testes comportamentais de nenhuma configuração; excluí-las elevou as pontuações absolutas sem alterar os líderes: Gemini 4 Argon com Antigravity obteve 79,4%, seguido por Claude Opus 5.5 com Claude Code, com 74,5%, e Claude Opus 5 com Claude Code, com 73,7%. A IBM observou que até a combinação mais forte ainda tinha bastante espaço para melhorar: nenhuma configuração aprovou completamente mais de cerca de três quartos das migrações.
Em que as configurações têm sucesso e falham
Segundo a IBM, a maior diferença observada na avaliação foi entre o código que compila e o software que funciona corretamente. Após a exclusão das quatro tarefas com pontuação zero em todas as configurações, Claude Opus 5 com Claude Code, Gemini 4 Argon com Antigravity e Gemini 3.8 Flash com mini-swe compilaram 100% das tarefas, e oito das dez configurações compilaram pelo menos 97%. Em contrapartida, as pontuações nos testes de fumaça variaram em mais de 50 pontos. Entre as aplicações implantadas com sucesso, as configurações líderes concentraram-se em torno de 63% a 76% de aprovação em todos os testes, enquanto Kimi K3 com kimi-code ficou em 53%, Gemini 3.1 Pro com OpenHands, em 42%, e Gemma 4 26B-A4B com mini-swe, em 26%.
A IBM classificou 745 execuções com falhas: 535, aproximadamente 72%, foram falhas comportamentais em tempo de execução, nas quais a aplicação foi compilada e muitas vezes iniciada, mas não passou na validação comportamental. Esse grupo incluiu 304 incompatibilidades de conteúdo ou de afirmações esperadas, 210 falhas de rotas perdidas ou erros 404 e 21 erros explícitos HTTP 500 ou 405. Falhas de compilação ou empacotamento representaram cerca de 20% das execuções com falhas, totalizando 152, e falhas na inicialização ou travamentos na injeção de dependências corresponderam a cerca de 8%, totalizando 58.
A publicação apresenta exemplos de tarefas específicas. Em concurrency-taskcreator-quarkus-to-jakarta, Claude Opus 5 com Claude Code obteve 0/6 depois que o endpoint /taskinfo retornou “File not found” e falhou um teste que esperava HTTP 405. Em address-book-jakarta-to-quarkus, GPT-6 Astra com Codex obteve 2/10 depois que as páginas de listagem e criação retornaram HTTP 404. Em cargotracker-jakarta-to-spring, Gemini 3.8 Flash com mini-swe manteve a configuração de JSF/JoinFaces no destino Spring Boot e falhou durante a inicialização ao criar um bean facesContext. Em cart-spring-to-jakarta, GPT-6 Astra com Codex teve uma falha de implantação porque o tipo de empacotamento deixado pela migração não era compatível com o ambiente de execução Liberty de destino.
A eficiência também variou entre as configurações, informou a IBM. Nas 200 tarefas restantes após a exclusão por sensibilidade, o número mediano de turnos variou de 32 com Claude Opus 5 e Claude Code a 79 com Gemini 3.8 Flash e mini-swe; com Claude Opus 5.5 e Claude Code, foi de 64. Nos casos em que os ambientes de execução informaram custos — nas configurações com Claude Code, Codex, mini-swe e kimi-code —, o custo por tarefa resolvida variou de US$ 1,25 com GPT-6.1 Sol e Codex a US$ 10,10 com Claude Opus 5.5 e Claude Code. Os ambientes Antigravity, qwen-code e OpenHands não forneceram valores de custo por execução.
O placar do ScarfBench apresenta publicamente esses resultados. No lançamento, não será possível enviar modelos publicamente, mas a IBM afirmou que esse recurso está nos planos.
