Η IBM και η Kaggle συνεργάζονται για τη συνεχή ενημέρωση της κατάταξης του ScarfBench

Η IBM και η Kaggle συνεργάζονται για τη δημιουργία μιας δημόσιας κατάταξης που θα ενημερώνεται συνεχώς για το ScarfBench, το ανοικτό benchmark της IBM για την αξιολόγηση coding agent σε μετεγκαταστάσεις εταιρικών εφαρμογών Java από ένα framework σε άλλο, σύμφωνα με τεχνικό σημείωμα της IBM Research που δημοσιεύτηκε στις 27 Οκτωβρίου 2026.

Το ScarfBench, συντομογραφία του Self-Contained Application Refactoring Benchmark, εξετάζει αν ένας agent μπορεί να αναλάβει μια άγνωστη εταιρική εφαρμογή Java, να τη μετεγκαταστήσει μεταξύ των framework Jakarta EE, Quarkus και Spring και να διασφαλίσει ότι το λογισμικό εξακολουθεί να λειτουργεί. Το benchmark ελέγχει αν οι εφαρμογές που παράγονται μεταγλωττίζονται, εκκινούν και συνεχίζουν να λειτουργούν όπως αναμένεται, χρησιμοποιώντας τόσο στοχευμένους φόρτους εργασίας όσο και ολόκληρες εφαρμογές. Η IBM παρουσίασε το ScarfBench στις αρχές του 2026 ως αναπαραγώγιμο benchmark για μετεγκαταστάσεις με τη χρήση τεχνητής νοημοσύνης· η αρχική ανακοίνωση, με ημερομηνία 11 Μαρτίου 2026, περιέγραφε επτά συνιστώσες, μεταξύ των οποίων εταιρικές εφαρμογές στα τρία framework, επαληθευμένες από προγραμματιστές, στοχευμένους φόρτους εργασίας που απομονώνουν ζητήματα όπως η συμπεριφορά της διατήρησης δεδομένων και η έγχυση εξαρτήσεων, ολόκληρες εφαρμογές που συνδυάζουν πολλαπλά αρχιτεκτονικά επίπεδα, αυτοματοποιημένη επικύρωση της μεταγλώττισης και της εκκίνησης, καθώς και δοκιμές συμπεριφοράς που επαληθεύουν τη συμπεριφορά κατά την εκτέλεση και τη λειτουργική ισοδυναμία. Σύμφωνα με την ανακοίνωση, κάθε φόρτος εργασίας υλοποιήθηκε και επικυρώθηκε χειροκίνητα από έμπειρους προγραμματιστές, ως προς τη λειτουργική ισοδυναμία και τη χρήση των framework σύμφωνα με τις καθιερωμένες πρακτικές.

Η συνεργασία IBM–Kaggle

Στο πλαίσιο της συνεργασίας, η Kaggle συμβουλεύτηκε την IBM για τον σχεδιασμό του benchmark και της αξιολόγησης, αναπαρήγαγε και εκτέλεσε ανεξάρτητα το ScarfBench στη δική της πλατφόρμα, καλύπτοντας το κόστος των υπολογιστικών πόρων, και θα διατηρεί το benchmark σε μακροπρόθεσμη βάση. Η IBM περιέγραψε τα πλεονεκτήματα των ομάδων ως συμπληρωματικά: η ίδια ανέπτυξε το ScarfBench με επίκεντρο τον εκσυγχρονισμό εταιρικών εφαρμογών Java, ενώ η Kaggle συνεισφέρει ανεξάρτητη υποδομή αξιολόγησης και συνεχή συντήρηση της κατάταξης.

Αποτελέσματα σε 204 εργασίες μετεγκατάστασης

Το ScarfBench αξιολογεί ένα σύστημα με δυνατότητες αυτόνομης δράσης και όχι ένα γλωσσικό μοντέλο μεμονωμένα: κάθε αποτέλεσμα αφορά ένα μοντέλο σε συνδυασμό με ένα πλαίσιο λειτουργίας coding agent, το οποίο καθορίζει τον τρόπο με τον οποίο το μοντέλο αλληλεπιδρά με το αποθετήριο και το περιβάλλον ανάπτυξης. Η IBM προειδοποίησε ότι οι βαθμολογίες πρέπει να ερμηνεύονται ως αποτελέσματα του συνδυασμού μοντέλου και πλαισίου λειτουργίας και όχι ως μετρήσεις μόνο του υποκείμενου μοντέλου.

Σε 204 εργασίες μετεγκατάστασης και δέκα συνδυασμούς μοντέλου και πλαισίου λειτουργίας που αξιολογήθηκαν, το Gemini 4 Argon με το πλαίσιο λειτουργίας Antigravity κατέλαβε την πρώτη θέση στη βασική μετρική των δοκιμών καπνού, με 75,2%, ανέφερε η IBM. Ακολούθησαν το Claude Opus 5.5 με το Claude Code, με 70,5%, και το Claude Opus 5 με το Claude Code, με 69,8%. Η βαθμολογία των δοκιμών καπνού, η οποία αποτελεί τη μετρική της κατάταξης, αποδίδει μερική βαθμολογία και δίνει μεγαλύτερη βαρύτητα στις εκτενέστερες ομάδες δοκιμών. Στο αυστηρότερο κριτήριο επιτυχίας σε όλες τις δοκιμές, το Claude Opus 5.5 με το Claude Code κατέγραψε το υψηλότερο ποσοστό, 72,1%, ξεπερνώντας οριακά το Gemini 4 Argon με το Antigravity, που πέτυχε 71,1%.

Σύμφωνα με τη σχετική ανάρτηση, η σειρά κατάταξης στην κορυφή παρέμεινε ίδια και στην ανάλυση ευαισθησίας. Τέσσερις από τις 204 εργασίες δεν έλαβαν καμία βαθμολογία στις δοκιμές συμπεριφοράς από κανέναν συνδυασμό· η εξαίρεσή τους αύξησε τις απόλυτες βαθμολογίες χωρίς να αλλάξει τους επικεφαλής: το Gemini 4 Argon με το Antigravity συγκέντρωσε 79,4%, ακολουθούμενο από το Claude Opus 5.5 με το Claude Code, με 74,5%, και το Claude Opus 5 με το Claude Code, με 73,7%. Όπως σημείωσε η IBM, ακόμη και ο ισχυρότερος συνδυασμός άφησε σημαντικά περιθώρια βελτίωσης, καθώς κανένας συνδυασμός δεν πέρασε επιτυχώς πλήρως περισσότερες από περίπου τα τρία τέταρτα των μετεγκαταστάσεων.

Πού πετυχαίνουν και πού αποτυγχάνουν οι συνδυασμοί

Η μεγαλύτερη απόκλιση στην αξιολόγηση ήταν ανάμεσα στον κώδικα που μεταγλωττίζεται και στο λογισμικό που λειτουργεί σωστά, ανέφερε η IBM. Αφού εξαιρέθηκαν οι τέσσερις εργασίες με μηδενική βαθμολογία, το Claude Opus 5 με το Claude Code, το Gemini 4 Argon με το Antigravity και το Gemini 3.8 Flash με το mini-swe μεταγλώττισαν το 100% των εργασιών, ενώ οκτώ από τους δέκα συνδυασμούς μεταγλώττισαν τουλάχιστον το 97%. Αντίθετα, οι βαθμολογίες των δοκιμών καπνού παρουσίασαν διαφορά άνω των 50 μονάδων. Στις εφαρμογές που αναπτύχθηκαν επιτυχώς, οι κορυφαίοι συνδυασμοί συγκεντρώθηκαν σε ποσοστά πλήρους επιτυχίας στις δοκιμές από περίπου 63% έως 76%, ενώ το Kimi K3 με το kimi-code έπεσε στο 53%, το Gemini 3.1 Pro με το OpenHands στο 42% και το Gemma 4 26B-A4B με το mini-swe στο 26%.

Η IBM ταξινόμησε 745 αποτυχημένες εκτελέσεις: οι 535, περίπου το 72%, ήταν αποτυχίες συμπεριφοράς κατά την εκτέλεση, στις οποίες η εφαρμογή μεταγλωττίστηκε και συχνά εκκίνησε, αλλά απέτυχε στην επικύρωση της συμπεριφοράς. Σε αυτή την ομάδα περιλαμβάνονταν 304 ασυμφωνίες περιεχομένου ή ισχυρισμών, 210 αποτυχίες λόγω απώλειας διαδρομής ή σφάλματος 404 και 21 ρητά σφάλματα HTTP 500 ή 405. Οι αποτυχίες μεταγλώττισης ή συσκευασίας αντιστοιχούσαν περίπου στο 20% των αποτυχημένων εκτελέσεων, δηλαδή σε 152, ενώ οι καταρρεύσεις κατά την εκκίνηση ή λόγω έγχυσης εξαρτήσεων αντιστοιχούσαν περίπου στο 8%, δηλαδή σε 58.

Η ανάρτηση παραθέτει παραδείγματα σε επίπεδο εργασίας. Στην εργασία concurrency-taskcreator-quarkus-to-jakarta, το Claude Opus 5 με το Claude Code συγκέντρωσε 0/6, αφού το τελικό σημείο /taskinfo επέστρεψε «File not found» και απέτυχε μια δοκιμή που ανέμενε HTTP 405. Στην εργασία address-book-jakarta-to-quarkus, το GPT-6 Astra με το Codex συγκέντρωσε 2/10, αφού οι σελίδες λίστας και δημιουργίας επέστρεψαν HTTP 404. Στην εργασία cargotracker-jakarta-to-spring, το Gemini 3.8 Flash με το mini-swe διατήρησε τη διασύνδεση JSF/JoinFaces στον στόχο Spring Boot και απέτυχε κατά την εκκίνηση, κατά τη δημιουργία ενός bean facesContext. Στην εργασία cart-spring-to-jakarta, το GPT-6 Astra με το Codex απέτυχε στην ανάπτυξη, επειδή ο τύπος συσκευασίας που άφησε η μετεγκατάσταση δεν υποστηριζόταν από το περιβάλλον εκτέλεσης Liberty του συστήματος-στόχου.

Η αποδοτικότητα διέφερε επίσης ανάλογα με τις διαμορφώσεις, ανέφερε η IBM. Στις 200 εργασίες που απέμειναν μετά τον αποκλεισμό για λόγους ανάλυσης ευαισθησίας, ο διάμεσος αριθμός γύρων κυμάνθηκε από 32 για το Claude Opus 5 με Claude Code έως 79 για το Gemini 3.8 Flash με mini-swe, ενώ για το Claude Opus 5.5 με Claude Code ήταν 64. Στις περιπτώσεις όπου τα περιβάλλοντα εκτέλεσης ανέφεραν κόστος —στα setup με Claude Code, Codex, mini-swe και kimi-code— το κόστος ανά επιλυμένη εργασία κυμάνθηκε από $1.25 για το GPT-6.1 Sol με Codex έως $10.10 για το Claude Opus 5.5 με Claude Code· τα περιβάλλοντα εκτέλεσης Antigravity, qwen-code και OpenHands δεν παρείχαν στοιχεία κόστους ανά εκτέλεση.

Ο πίνακας κατάταξης ScarfBench προσφέρει τη δημόσια εικόνα αυτών των αποτελεσμάτων. Κατά την έναρξη λειτουργίας δεν θα είναι διαθέσιμη η δημόσια υποβολή μοντέλων, αλλά η IBM δήλωσε ότι περιλαμβάνεται στον οδικό χάρτη.