IBM और Kaggle ने ScarfBench माइग्रेशन की लगातार अद्यतन होने वाली लीडरबोर्ड के लिए साझेदारी की

27 अक्टूबर, 2026 को प्रकाशित IBM Research के तकनीकी नोट के अनुसार, IBM और Kaggle, ScarfBench के लिए लगातार अद्यतन होने वाली सार्वजनिक लीडरबोर्ड पर साझेदारी कर रहे हैं। ScarfBench, एंटरप्राइज़ Java फ़्रेमवर्क माइग्रेशन पर कोडिंग एजेंटों का मूल्यांकन करने के लिए IBM का खुला बेंचमार्क है।

ScarfBench, जिसका पूरा नाम Self-Contained Application Refactoring Benchmark है, यह जाँचता है कि कोई एजेंट किसी अपरिचित एंटरप्राइज़ Java एप्लिकेशन को लेकर उसे Jakarta EE, Quarkus और Spring फ़्रेमवर्क के बीच माइग्रेट कर सकता है या नहीं—और इस प्रक्रिया के बाद भी सॉफ़्टवेयर काम करता रहता है या नहीं। यह बेंचमार्क केंद्रित वर्कलोड और संपूर्ण एप्लिकेशन, दोनों का उपयोग करके जाँचता है कि तैयार किए गए एप्लिकेशन बिल्ड और शुरू होते हैं या नहीं और अपेक्षा के अनुरूप काम करते रहते हैं या नहीं। IBM ने 2026 की शुरुआत में AI-संचालित माइग्रेशन के लिए एक पुनरुत्पादित किए जा सकने वाले बेंचमार्क के रूप में ScarfBench पेश किया था; 11 मार्च, 2026 की मूल घोषणा में इसके सात घटकों का उल्लेख था। इनमें तीनों फ़्रेमवर्क में डेवलपर-सत्यापित एंटरप्राइज़ एप्लिकेशन, परसिस्टेंस व्यवहार और डिपेंडेंसी इंजेक्शन जैसे पहलुओं को अलग करके जाँचने वाले केंद्रित वर्कलोड, कई आर्किटेक्चरल परतों को मिलाने वाले संपूर्ण एप्लिकेशन, बिल्ड और स्टार्टअप का स्वचालित सत्यापन, और रनटाइम व्यवहार तथा कार्यात्मक समानता की पुष्टि करने वाले व्यवहारगत परीक्षण शामिल थे। घोषणा के अनुसार, हर वर्कलोड को अनुभवी डेवलपरों ने मैन्युअल रूप से लागू किया और कार्यात्मक समानता तथा फ़्रेमवर्क के मुहावरेदार इस्तेमाल के लिए सत्यापित किया।

IBM–Kaggle सहयोग

इस साझेदारी के तहत, Kaggle ने बेंचमार्क और मूल्यांकन की रूपरेखा तैयार करने में IBM से परामर्श किया, अपने प्लेटफ़ॉर्म पर ScarfBench को स्वतंत्र रूप से दोहराया और चलाया तथा इसके लिए कंप्यूटिंग संसाधन उपलब्ध कराए। साथ ही, Kaggle लंबे समय तक बेंचमार्क का रखरखाव करेगा। IBM ने दोनों टीमों की क्षमताओं को एक-दूसरे का पूरक बताया: IBM ने एंटरप्राइज़ Java के आधुनिकीकरण को ध्यान में रखकर ScarfBench विकसित किया, जबकि Kaggle स्वतंत्र मूल्यांकन अवसंरचना और लीडरबोर्ड के निरंतर रखरखाव की क्षमता लेकर आया।

माइग्रेशन के 204 कार्यों के नतीजे

ScarfBench किसी भाषा मॉडल को अलग से नहीं, बल्कि एजेंट-आधारित प्रणाली का मूल्यांकन करता है: हर नतीजा एक मॉडल और कोडिंग-एजेंट हार्नेस की जोड़ी को दर्शाता है। हार्नेस तय करता है कि मॉडल रिपॉज़िटरी और डेवलपमेंट परिवेश के साथ कैसे काम करेगा। IBM ने आगाह किया कि अंकों को केवल अंतर्निहित मॉडल का माप नहीं, बल्कि मॉडल और हार्नेस के संयुक्त नतीजे के रूप में देखा जाना चाहिए।

IBM के अनुसार, माइग्रेशन के 204 कार्यों और मॉडल/हार्नेस के मूल्यांकन किए गए दस संयोजनों में, Antigravity हार्नेस के साथ Gemini 4 Argon प्राथमिक स्मोक-टेस्ट मापदंड पर 75.2% अंक लेकर पहले स्थान पर रहा। इसके बाद Claude Code के साथ Claude Opus 5.5 70.5% और Claude Code के साथ Claude Opus 5 69.8% पर रहे। लीडरबोर्ड के मापदंड के रूप में इस्तेमाल होने वाला स्मोक स्कोर आंशिक अंक देता है और बड़े टेस्ट-सुइट को अधिक वज़न देता है। सभी परीक्षणों में सफल होने के अधिक कड़े मापदंड पर Claude Code के साथ Claude Opus 5.5 ने 72.1% की सबसे ऊँची दर हासिल की, जो Antigravity के साथ Gemini 4 Argon के 71.1% से थोड़ा अधिक थी।

पोस्ट के अनुसार, संवेदनशीलता विश्लेषण में भी शीर्ष क्रम बरकरार रहा। 204 में से चार कार्यों पर किसी भी संयोजन को व्यवहारगत परीक्षणों में कोई अंक नहीं मिला; इन कार्यों को हटाने से पूर्ण अंक बढ़े, लेकिन शीर्ष स्थानों पर कोई बदलाव नहीं आया: Gemini 4 Argon ने Antigravity के साथ 79.4% अंक हासिल किए, इसके बाद Claude Code के साथ Claude Opus 5.5 ने 74.5% और Claude Code के साथ Claude Opus 5 ने 73.7% अंक हासिल किए। IBM ने कहा कि सबसे सफल संयोजन के बावजूद सुधार की पर्याप्त गुंजाइश बनी हुई थी—कोई भी संयोजन माइग्रेशन के लगभग तीन-चौथाई से अधिक में सभी परीक्षण पूरी तरह पास नहीं कर पाया।

किन स्थितियों में संयोजन सफल या विफल होते हैं

IBM के अनुसार, मूल्यांकन में सबसे बड़ा अंतर बिल्ड होने वाले कोड और सही ढंग से काम करने वाले सॉफ़्टवेयर के बीच था। सभी चार कार्यों में शून्य अंक पाने वाले कार्यों को हटाने के बाद, Claude Code के साथ Claude Opus 5, Antigravity के साथ Gemini 4 Argon और mini-swe के साथ Gemini 3.8 Flash—इन सभी ने 100% कार्यों को सफलतापूर्वक कंपाइल किया। दस में से आठ संयोजनों ने कम-से-कम 97% कार्यों को कंपाइल किया। इसके विपरीत, स्मोक-टेस्ट के अंकों में 50 से अधिक अंकों का अंतर था। सफलतापूर्वक डिप्लॉय हुए एप्लिकेशन में, सबसे आगे रहने वाले संयोजनों ने लगभग 63% से 76% परीक्षण पूरी तरह पास किए। वहीं, kimi-code के साथ Kimi K3 का यह आँकड़ा 53%, OpenHands के साथ Gemini 3.1 Pro का 42% और mini-swe के साथ Gemma 4 26B-A4B का 26% रहा।

IBM ने विफल रहे 745 रन का वर्गीकरण किया: इनमें से 535, यानी लगभग 72%, रनटाइम व्यवहारगत विफलताएँ थीं। इन मामलों में एप्लिकेशन बिल्ड हुआ और अक्सर शुरू भी हुआ, लेकिन व्यवहारगत सत्यापन में विफल रहा। इस समूह में सामग्री या दावे से जुड़े 304 बेमेल, खोए हुए रूट या 404 की 210 विफलताएँ, और HTTP 500 या 405 की 21 स्पष्ट त्रुटियाँ शामिल थीं। विफल रन में से लगभग 20%—यानी 152—कंपाइल या पैकेजिंग संबंधी विफलताएँ थीं, जबकि लगभग 8%—यानी 58—स्टार्टअप या डिपेंडेंसी इंजेक्शन क्रैश थे।

पोस्ट में कार्य-स्तर के उदाहरण दिए गए हैं। concurrency-taskcreator-quarkus-to-jakarta में, Claude Code के साथ Claude Opus 5 को 0/6 अंक मिले: /taskinfo एंडपॉइंट ने “File not found” लौटाया और HTTP 405 की अपेक्षा करने वाला परीक्षण विफल रहा। address-book-jakarta-to-quarkus में, Codex के साथ GPT-6 Astra को 2/10 अंक मिले, क्योंकि सूची और निर्माण वाले पेजों ने HTTP 404 लौटाया। cargotracker-jakarta-to-spring में, mini-swe के साथ Gemini 3.8 Flash ने Spring Boot टार्गेट में JSF/JoinFaces की वायरिंग बनाए रखी और facesContext बीन बनाते समय स्टार्टअप के दौरान विफल हो गया। cart-spring-to-jakarta में, Codex के साथ GPT-6 Astra डिप्लॉयमेंट के दौरान विफल हुआ, क्योंकि माइग्रेशन के बाद बचा पैकेजिंग प्रकार टार्गेट Liberty रनटाइम के अनुकूल नहीं था।

IBM ने बताया कि अलग-अलग कॉन्फ़िगरेशन में दक्षता भी अलग-अलग रही। संवेदनशीलता के आधार पर किए गए बहिष्करण के बाद बचे 200 कार्यों में, प्रति कार्य टर्न की माध्यिका Claude Opus 5 के साथ Claude Code के लिए 32 से लेकर Gemini 3.8 Flash के साथ mini-swe के लिए 79 तक रही; Claude Opus 5.5 के साथ Claude Code के लिए यह 64 थी। जिन हर्नेस सेटअप—Claude Code, Codex, mini-swe और kimi-code—ने लागत की जानकारी दी, उनमें प्रति सफलतापूर्वक पूरे किए गए कार्य की लागत GPT-6.1 Sol के साथ Codex के लिए $1.25 से लेकर Claude Opus 5.5 के साथ Claude Code के लिए $10.10 तक रही; Antigravity, qwen-code और OpenHands हर्नेस ने प्रति रन लागत के आँकड़े नहीं दिए।

ScarfBench लीडरबोर्ड इन नतीजों का सार्वजनिक दृश्य प्रस्तुत करता है। शुरुआत में मॉडल सबमिशन की सार्वजनिक सुविधा उपलब्ध नहीं है, लेकिन IBM ने कहा कि यह सुविधा भविष्य की योजना में शामिल है।