IBM và Kaggle hợp tác xây dựng bảng xếp hạng ScarfBench về chuyển đổi liên tục

Theo ghi chú kỹ thuật của IBM Research được công bố ngày 27 tháng 10 năm 2026, IBM và Kaggle đang hợp tác xây dựng bảng xếp hạng công khai được cập nhật liên tục cho ScarfBench, bộ chuẩn mở của IBM dùng để đánh giá các tác tử lập trình trong việc chuyển đổi ứng dụng Java doanh nghiệp giữa các framework.

ScarfBench, viết tắt của Self-Contained Application Refactoring Benchmark (Bộ chuẩn tái cấu trúc ứng dụng độc lập), kiểm tra xem một tác tử có thể tiếp nhận một ứng dụng Java doanh nghiệp chưa quen thuộc, chuyển ứng dụng đó giữa các framework Jakarta EE, Quarkus và Spring, đồng thời bảo đảm phần mềm sau chuyển đổi vẫn hoạt động hay không. Bộ chuẩn kiểm tra xem các ứng dụng được tạo ra có thể biên dịch, khởi chạy và tiếp tục hoạt động như mong đợi hay không, thông qua cả các tác vụ kiểm thử tập trung lẫn toàn bộ ứng dụng. IBM giới thiệu ScarfBench hồi đầu năm 2026 như một bộ chuẩn có thể tái lập để đánh giá hoạt động chuyển đổi bằng AI; thông báo ban đầu, đề ngày 11 tháng 3 năm 2026, mô tả bảy thành phần, bao gồm các ứng dụng doanh nghiệp trên cả ba framework đã được nhà phát triển xác minh; các tác vụ kiểm thử tập trung vào những khía cạnh riêng biệt như hành vi lưu trữ dữ liệu và tiêm phụ thuộc; các ứng dụng hoàn chỉnh kết hợp nhiều lớp kiến trúc; quy trình tự động xác minh khả năng biên dịch và khởi chạy; cùng các bài kiểm thử hành vi nhằm xác minh hoạt động khi chạy và tính tương đương về chức năng. Theo thông báo đó, các tác vụ kiểm thử đều được những nhà phát triển giàu kinh nghiệm triển khai và xác minh thủ công để bảo đảm tính tương đương về chức năng cũng như cách sử dụng framework đúng chuẩn.

Sự hợp tác giữa IBM và Kaggle

Trong khuôn khổ quan hệ đối tác, Kaggle đã tư vấn cho IBM về thiết kế bộ chuẩn và quy trình đánh giá, tự mình tái tạo và chạy ScarfBench trên nền tảng riêng, đồng thời tài trợ năng lực tính toán; Kaggle cũng sẽ duy trì bộ chuẩn trong dài hạn. IBM nhận định thế mạnh của hai đội ngũ bổ trợ cho nhau: IBM phát triển ScarfBench xoay quanh việc hiện đại hóa Java trong doanh nghiệp, còn Kaggle cung cấp hạ tầng đánh giá độc lập và duy trì bảng xếp hạng liên tục.

Kết quả trên 204 tác vụ chuyển đổi

ScarfBench đánh giá một hệ thống tác tử, chứ không đánh giá riêng một mô hình ngôn ngữ: mỗi kết quả phản ánh một mô hình được kết hợp với một bộ khung tác tử lập trình, yếu tố quyết định cách mô hình tương tác với kho mã và môi trường phát triển. IBM lưu ý rằng cần hiểu các điểm số là kết quả của sự kết hợp giữa mô hình và bộ khung, thay vì xem đó là phép đo riêng đối với bản thân mô hình nền tảng.

Trong 204 tác vụ chuyển đổi và 10 cấu hình mô hình/bộ khung được đánh giá, Gemini 4 Argon kết hợp với bộ khung Antigravity đứng đầu theo chỉ số kiểm thử khói chính, đạt 75,2%, IBM cho biết; tiếp theo là Claude Opus 5.5 kết hợp với Claude Code, đạt 70,5%, và Claude Opus 5 kết hợp với Claude Code, đạt 69,8%. Điểm kiểm thử khói, được dùng làm chỉ số cho bảng xếp hạng, cho điểm một phần và đặt trọng số cao hơn cho các bộ kiểm thử lớn. Theo tiêu chí nghiêm ngặt hơn, yêu cầu tất cả bài kiểm thử đều đạt, Claude Opus 5.5 kết hợp với Claude Code có tỷ lệ cao nhất, đạt 72,1%, nhỉnh hơn Gemini 4 Argon kết hợp với Antigravity, đạt 71,1%.

Theo bài đăng, thứ hạng các cấu hình dẫn đầu vẫn giữ nguyên trong phân tích độ nhạy. Có bốn trong số 204 tác vụ không nhận được điểm nào ở các bài kiểm thử hành vi từ bất kỳ cấu hình nào; loại các tác vụ này ra giúp tăng điểm số tuyệt đối nhưng không làm thay đổi những vị trí dẫn đầu: Gemini 4 Argon kết hợp với Antigravity đạt 79,4%, tiếp theo là Claude Opus 5.5 kết hợp với Claude Code, đạt 74,5%, và Claude Opus 5 kết hợp với Claude Code, đạt 73,7%. IBM lưu ý rằng ngay cả tổ hợp mạnh nhất vẫn còn nhiều dư địa cải thiện: không cấu hình nào vượt qua đầy đủ hơn khoảng ba phần tư số tác vụ chuyển đổi.

Những điểm mạnh và hạn chế của các cấu hình

IBM cho biết khoảng cách lớn nhất trong đánh giá nằm giữa khả năng biên dịch mã và khả năng hoạt động chính xác của phần mềm. Sau khi loại bốn tác vụ có điểm bằng không ở mọi cấu hình, Claude Opus 5 kết hợp với Claude Code, Gemini 4 Argon kết hợp với Antigravity và Gemini 3.8 Flash kết hợp với mini-swe đều biên dịch thành công 100% số tác vụ; tám trong số mười cấu hình biên dịch thành công ít nhất 97%. Ngược lại, điểm kiểm thử khói chênh nhau hơn 50 điểm phần trăm. Trong số các ứng dụng triển khai thành công, những cấu hình dẫn đầu có tỷ lệ vượt qua đầy đủ các bài kiểm thử dao động khoảng 63% đến 76%, trong khi Kimi K3 kết hợp với kimi-code chỉ đạt 53%, Gemini 3.1 Pro kết hợp với OpenHands đạt 42%, còn Gemma 4 26B-A4B kết hợp với mini-swe đạt 26%.

IBM phân loại 745 lượt chạy thất bại: 535 lượt, tương đương khoảng 72%, là lỗi hành vi khi chạy; ứng dụng đã biên dịch và thường khởi động được nhưng không vượt qua bước xác minh hành vi. Nhóm này gồm 304 trường hợp nội dung hoặc kết quả xác nhận không khớp, 210 lỗi mất tuyến hoặc lỗi 404, và 21 lỗi HTTP 500 hoặc 405 cụ thể. Lỗi biên dịch hoặc đóng gói chiếm khoảng 20% số lượt chạy thất bại, với 152 trường hợp; lỗi khởi động hoặc sự cố tiêm phụ thuộc chiếm khoảng 8%, với 58 trường hợp.

Bài đăng liệt kê các ví dụ ở cấp độ tác vụ. Trong tác vụ concurrency-taskcreator-quarkus-to-jakarta, Claude Opus 5 kết hợp với Claude Code đạt 0/6 điểm sau khi điểm cuối /taskinfo trả về thông báo “File not found” và một bài kiểm thử yêu cầu HTTP 405 không đạt. Trong tác vụ address-book-jakarta-to-quarkus, GPT-6 Astra kết hợp với Codex đạt 2/10 điểm sau khi các trang danh sách và tạo mới trả về lỗi HTTP 404. Trong tác vụ cargotracker-jakarta-to-spring, Gemini 3.8 Flash kết hợp với mini-swe vẫn giữ nguyên cấu hình JSF/JoinFaces trong ứng dụng đích Spring Boot và không khởi động được khi tạo bean facesContext. Trong tác vụ cart-spring-to-jakarta, GPT-6 Astra kết hợp với Codex gặp lỗi triển khai vì kiểu đóng gói do quá trình chuyển đổi để lại không được môi trường chạy Liberty đích hỗ trợ.

IBM cho biết hiệu quả cũng khác nhau giữa các cấu hình. Trong 200 tác vụ còn lại sau khi loại trừ theo phân tích độ nhạy, số lượt trung vị dao động từ 32 với Claude Opus 5 chạy cùng Claude Code đến 79 với Gemini 3.8 Flash chạy cùng mini-swe; Claude Opus 5.5 chạy cùng Claude Code đạt 64 lượt. Trong số các bộ công cụ Claude Code, Codex, mini-swe và kimi-code có báo cáo chi phí, chi phí cho mỗi tác vụ giải quyết được dao động từ 1,25 USD với GPT-6.1 Sol chạy cùng Codex đến 10,10 USD với Claude Opus 5.5 chạy cùng Claude Code; các bộ công cụ Antigravity, qwen-code và OpenHands không cung cấp số liệu chi phí cho từng lần chạy.

Bảng xếp hạng ScarfBench cung cấp cái nhìn công khai về những kết quả này. Khi ra mắt, người dùng chưa thể gửi mô hình lên công khai, nhưng IBM cho biết tính năng này nằm trong lộ trình phát triển.