IBM 与 Kaggle 携手推出持续更新的 ScarfBench 迁移排行榜

根据 IBM Research 于 2026 年 10 月 27 日发布的IBM Research 技术说明，IBM 与 Kaggle 正合作推出 ScarfBench 的公开排行榜，并将持续更新。ScarfBench 是 IBM 开发的一项开放基准，用于评估编码智能体迁移企业级 Java 框架的能力。

ScarfBench 是 Self-Contained Application Refactoring Benchmark（独立应用重构基准）的简称，用于检验智能体能否接手一个陌生的企业级 Java 应用，在 Jakarta EE、Quarkus 和 Spring 框架之间完成迁移，并确保迁移后的软件仍能正常运行。该基准会使用针对特定场景的工作负载和完整应用，检查生成的应用能否构建、启动，并持续按预期运行。IBM 于 2026 年初推出 ScarfBench，将其作为一项可复现的 AI 驱动迁移基准；2026 年 3 月 11 日发布的原始公告介绍了其中的七个组成部分，包括由开发者验证、涵盖上述三种框架的企业级应用；用于单独考察持久化行为、依赖注入等问题的针对性工作负载；整合多个架构层的完整应用；自动化构建与启动验证；以及用于验证运行时行为和功能等效性的行为测试。公告还指出，每项工作负载均由经验丰富的开发者手动实现并验证，以确保功能等效，并符合相应框架的惯用用法。

IBM 与 Kaggle 的合作

根据合作安排，Kaggle 为基准和评估方案的设计向 IBM 提供咨询，在资助计算资源的同时，独立地在自己的平台上复现并运行 ScarfBench，并将长期维护该基准。IBM 将双方团队的优势描述为互补：IBM 围绕企业级 Java 现代化开发了 ScarfBench，而 Kaggle 则提供独立的评估基础设施，并负责持续维护排行榜。

204 项迁移任务的评估结果

ScarfBench 评估的是智能体系统，而非孤立的语言模型：每项结果都对应一个模型与编码智能体运行框架的组合；该框架决定模型如何与代码库及开发环境交互。IBM 提醒，分数应解读为模型与运行框架的组合结果，而不是对底层模型单独进行的测量。

IBM 报告称，在 204 项迁移任务和 10 种受评估的模型与运行框架配置中，采用 Antigravity 运行框架的 Gemini 4 Argon 在主要的冒烟测试指标上排名第一，得分为 75.2%；其次是搭配 Claude Code 的 Claude Opus 5.5，得分为 70.5%，以及搭配 Claude Code 的 Claude Opus 5，得分为 69.8%。作为排行榜指标的冒烟测试分数允许部分得分，并对规模较大的测试套件赋予更高权重。在要求更严格的全部测试通过指标上，搭配 Claude Code 的 Claude Opus 5.5 通过率最高，为 72.1%，略高于搭配 Antigravity 的 Gemini 4 Argon（71.1%）。

该帖文称，敏感性分析中的领先者排序保持不变。在 204 项任务中，有 4 项任务未能让任何配置获得行为测试分数；剔除这些任务后，各配置的绝对分数有所提高，但领先者没有变化：Gemini 4 Argon搭配 Antigravity 得分为 79.4%，其次是搭配 Claude Code 的 Claude Opus 5.5（74.5%）和 Claude Opus 5（73.7%）。IBM 指出，即便是表现最强的组合，仍有很大提升空间，没有任何配置能让超过约四分之三的迁移任务完全通过测试。

各配置的成功与失误之处

IBM 报告称，此次评估中最明显的差距，是代码能够构建与软件能够正确运行之间的差距。剔除 4 项得分全为零的任务后，搭配 Claude Code 的 Claude Opus 5、搭配 Antigravity 的 Gemini 4 Argon，以及搭配 mini-swe 的 Gemini 3.8 Flash，均成功编译了 100% 的任务；10 种配置中有 8 种的编译成功率至少达到 97%。相比之下，冒烟测试分数相差超过 50 个百分点。在成功部署的应用中，领先配置的测试全部通过率集中在约 63% 至 76%；而搭配 kimi-code 的 Kimi K3 仅为 53%，搭配 OpenHands 的 Gemini 3.1 Pro 为 42%，搭配 mini-swe 的 Gemma 4 26B-A4B 为 26%。

IBM 将 745 次失败运行归类如下：其中 535 次（约 72%）属于运行时行为失败，即应用已成功构建且通常也已启动，却未能通过行为验证。这类失败包括 304 次内容或断言不匹配、210 次路由丢失或 404 错误，以及 21 次明确的 HTTP 500 或 405 错误。构建或打包失败约占失败运行的 20%，共 152 次；启动或依赖注入崩溃约占 8%，共 58 次。

该帖文列举了具体任务中的案例。在 concurrency-taskcreator-quarkus-to-jakarta 任务中，搭配 Claude Code 的 Claude Opus 5 得分为 0/6：/taskinfo 端点返回“找不到文件”，而一项预期返回 HTTP 405 的测试也未通过。在 address-book-jakarta-to-quarkus 任务中，搭配 Codex 的 GPT-6 Astra 得分为 2/10，因为列表页和创建页均返回 HTTP 404。在 cargotracker-jakarta-to-spring 任务中，搭配 mini-swe 的 Gemini 3.8 Flash 在 Spring Boot 目标环境中保留了 JSF/JoinFaces 配置，并在启动时创建 facesContext Bean 的过程中失败。在 cart-spring-to-jakarta 任务中，搭配 Codex 的 GPT-6 Astra 遭遇部署失败，因为迁移后保留的打包类型不受目标 Liberty 运行时支持。

IBM 报告称，不同配置的效率也有所不同。在排除敏感性分析涉及的任务后，剩余的 200 项任务中，中位轮数从 Claude Opus 5 搭配 Claude Code 的 32 轮，到 Gemini 3.8 Flash 搭配 mini-swe 的 79 轮不等；Claude Opus 5.5 搭配 Claude Code 为 64 轮。在 Claude Code、Codex、mini-swe 和 kimi-code 配置中，凡是测试框架报告了成本的，每个已解决任务的成本从 GPT-6.1 Sol 搭配 Codex 的 1.25 美元，到 Claude Opus 5.5 搭配 Claude Code 的 10.10 美元不等；Antigravity、qwen-code 和 OpenHands 测试框架没有提供单次运行的成本数据。

ScarfBench 排行榜公开展示了这些结果。排行榜上线之初尚不支持公开提交模型，但 IBM 表示，这项功能已列入路线图。