Η γωνία του Anderson
Η υποβάθμιση από το Claude Fable επηρέασε ελάχιστα την παραγωγικότητα των προγραμματιστών κατά τη διάρκεια της απαγόρευσης

Βασικά σημείαΗ πρόσβαση στο Claude Fable 5 με υψηλότερη βαθμολογία αύξησε το ποσοστό συγχώνευσης…
Δείτε περισσότερα
- Η πρόσβαση στο Claude Fable 5 με υψηλότερη βαθμολογία αύξησε το ποσοστό συγχώνευσης μόνο κατά 1,4 ποσοστιαίες μονάδες.
- Πέντε αναβαθμίσεις του Claude δεν παρήγαγαν σημαντικό κέρδος σε συγχωνευμένα pull requests ή σε εβδομαδιαίες ολοκληρωμένες αλλαγές.
- Οι βαθμολογίες σημείων αναφοράς έχουν μικρή σημασία όταν οι εργασίες που αναθέτουν οι προγραμματιστές εμπίπτουν ήδη στις δυνατότητες παλαιότερων μοντέλων.
Είναι πολύ δύσκολο να αξιολογήσει κανείς με ακρίβεια αν τα νέα μοντέλα τεχνητής νοημοσύνης έχουν βελτιώσει τις επιδόσεις τους σε σχέση με τα προηγούμενα — ή ακόμη και να ορίσει τι συνιστά κατ’ ανάγκην βελτίωση της παραγωγικότητας, καθώς οι νέες εκδόσεις μπορεί να παρουσιάζουν βελτιώσεις σε έναν τομέα, αλλά χειρότερες επιδόσεις σε κάποιον άλλον, όπως ακριβώς συμβαίνει και με τα συμβατικά προγράμματα και πλαίσια ανάπτυξης. Μερικές φορές πρόκειται για συνειδητούς συμβιβασμούς, τους οποίους επιλέγουν οι άνθρωποι, και άλλες για «παράπλευρες απώλειες».
Αυτό προϋποθέτει ότι τηρούνται οι κανόνες. Υπάρχουν πολλές περιπτώσεις όπου οι προγραμματιστές έχουν χειραγωγήσει το λογισμικό ώστε να αποδίδει καλύτερα στις δοκιμές αναφοράς, κάνοντάς το μερικές φορές να αναγνωρίζει πότε υποβάλλεται σε δοκιμή και να αλλάζει προσωρινά τον τρόπο λειτουργίας του για να πετύχει καλύτερη βαθμολογία. Και τα μοντέλα τεχνητής νοημοσύνης μπορούν να αναγνωρίζουν πότε αξιολογούνται και να συμπεριφέρονται διαφορετικά, ακόμη κι αν δεν έχουν σχεδιαστεί σκόπιμα γι’ αυτό.
Αναζητώντας πιο ουσιαστικές και αξιόπιστες μετρήσεις, οι προγραμματιστές συχνά καθιερώνουν δικά τους ανεπίσημα κριτήρια, όπως την ποιοτική πρόκληση του πελεκάνου που κάνει ποδήλατο του Simon Wilson, στην οποία ζητείται από τα Μοντέλα Όρασης-Γλώσσας (VLM) να δημιουργήσουν κάτι που απουσιάζει από τα δεδομένα εκπαίδευσης* και συχνά έχουν κακές επιδόσεις — αν και τα πράγματα έχουν βελτιωθεί κάπως μέσα στο 2026:

Η μέτρηση του Simon Wilson ζητά από ένα VLM να φανταστεί έναν πελεκάνο να κάνει ποδήλατο. Τον τελευταίο καιρό, η τεχνητή νοημοσύνη τα καταφέρνει πολύ καλύτερα σε αυτό, σε σύγκριση με τις ξεκαρδιστικές προσπάθειες πριν από περίπου 18 μήνες. Ωστόσο, ορισμένοι υποστηρίζουν ότι αυτό μπορεί να οφείλεται στο ότι η πρόκληση έχει πλέον ενσωματωθεί στα δεδομένα εκπαίδευσης. Πηγή
Ωστόσο, μια δοκιμή αναφοράς μπορεί να μετρήσει μόνο τις συγκεκριμένες δεξιότητες για τις οποίες σχεδιάστηκε, και ακόμη κι όταν τα αποτελέσματα είναι αξιόπιστα, παραμένει ασαφές σε ποιο βαθμό αυτές οι δεξιότητες έχουν σημασία στην καθημερινή χρήση ή αν μια υψηλότερη βαθμολογία θα μεταφραστεί σε ολοκλήρωση περισσότερης εργασίας.
Στην περίπτωση των μοντέλων προγραμματισμού, αυτό μπορεί να διερευνηθεί εξετάζοντας τι συμβαίνει στην παραγωγή έργου των προγραμματιστών όταν αλλάζουν από το ένα μοντέλο στο άλλο.
Ολοκλήρωση έργου [the Same] με λιγότερα μέσα
Τον Ιούνιο του τρέχοντος έτους, η 19ήμερη απαγόρευση του Λευκού Οίκου για τη χρήση του Claude Fable προσέφερε στους ερευνητές ένα ασυνήθιστα σαφές περιβάλλον δοκιμών, καθώς οι προγραμματιστές που υπέβαλλαν αιτήματα ενσωμάτωσης αλλαγών (PR) στο GitHub υποβαθμίστηκαν σε λιγότερο ισχυρές εκδόσεις του Claude. Δεδομένου ότι όλες οι εκδόσεις του Claude συνυπογράφουν τα PR και ότι αυτές οι πληροφορίες είναι αναζητήσιμες μέσω του GitHub API, τα δεδομένα είναι ελεύθερα διαθέσιμα.
Αυτή την ευκαιρία αξιοποίησε μια νέα μελέτη του Harvard University, η οποία παρακολούθησε τη δουλειά 297 χρηστών του Fable 5 πριν, κατά τη διάρκεια και μετά την απαγόρευση, και τη συνέκρινε με εκείνη 8.908 προγραμματιστών που συνέχισαν να χρησιμοποιούν το παλαιότερο μοντέλο Opus 4.8.
Το Fable 5 είχε προηγουμένως λάβει βαθμολογία σχεδόν 11 μονάδες υψηλότερη από το Opus 4.8 στη δοκιμή αναφοράς προγραμματισμού SWE-Bench Pro. Ωστόσο, στη μελέτη του Harvard, η πρόσβαση στο Fable 5 συνδέθηκε με αύξηση μόλις 1,4 ποσοστιαίας μονάδας στο ποσοστό των υποβληθεισών αλλαγών κώδικα που γίνονταν δεκτές σε έργα του GitHub εντός επτά ημερών· η μελέτη υποστηρίζει ότι η διαφορά είναι πρακτικά ένα σφάλμα στρογγυλοποίησης. Μια ευρύτερη ανάλυση δεν εντόπισε επίσης σημαντικά κέρδη παραγωγικότητας από την αναβάθμιση σε άλλα νεότερα μοντέλα τεχνητής νοημοσύνης:
‘Τα αποτελέσματα δείχνουν ότι η πρόσβαση στο Fable 5 άλλαξε το ποσοστό ενσωμάτωσης κατά μόλις 1,4 ποσοστιαίες μονάδες και η μεταβολή δεν ήταν στατιστικά [significant]. Αναλύσαμε επίσης πέντε από τις οκτώ αναβαθμίσεις μοντέλων το 2026 και διαπιστώσαμε ότι το ποσοστό ενσωμάτωσης δεν αυξήθηκε μετά από αυτές τις αναβαθμίσεις[either].
‘Αντίστοιχα, οι προγραμματιστές δεν κατάφεραν να ενσωματώσουν περισσότερα αιτήματα αλλαγών την εβδομάδα. Αυτά τα αποτελέσματα δείχνουν ότι οι βελτιώσεις στις σημερινές δοκιμές αναφοράς προγραμματισμού δεν μεταφράστηκαν ουσιαστικά σε περισσότερη ολοκληρωμένη δουλειά.’
Σε πέντε αναβαθμίσεις το 2026, στις οποίες συμμετείχαν 1.208 προγραμματιστές και περισσότερες από 15.000 προτεινόμενες αλλαγές κώδικα, δεν διαπιστώθηκε στατιστικά σημαντική βελτίωση ούτε στο ποσοστό ενσωμάτωσης του υποβληθέντος κώδικα ούτε στον αριθμό των αλλαγών που ολοκληρώνονταν επιτυχώς κάθε εβδομάδα.
Παρότι η μελέτη αναγνωρίζει ότι οι ενσωματώσεις στο GitHub αποτελούν ατελή μέτρηση της παραγωγικότητας, η απαγόρευση προσέφερε μια εξαιρετικά σπάνια ευκαιρία να αξιολογηθούν οι επιπτώσεις της αλλαγής μοντέλων σε πραγματικές συνθήκες εργασίας, σε έναν κλάδο που συγκεντρώνει τεράστιο παγκόσμιο ενδιαφέρον, αλλά λειτουργεί υπό τη μέγιστη δυνατή εταιρική αδιαφάνεια.
Αναγνωρίζοντας τη δυσκολία καθορισμού εμπειρικών κριτηρίων σε τέτοιες περιπτώσεις, η νέα εργασία† επισημαίνει:
‘Όσοι χρησιμοποιούν πρώτοι τα νέα μοντέλα μπορεί να έχουν μεγαλύτερη εμπειρία, επομένως, όταν συγκρίνουμε την παραγωγικότητα διαφορετικών προγραμματιστών, δεν μπορούμε να γνωρίζουμε αν η διαφορά οφείλεται στο μοντέλο ή στους ανθρώπους που το χρησιμοποιούν. Ακόμη κι αν παρατηρούμε τους ίδιους ανθρώπους, δεν γνωρίζουμε αν αναθέτουν τις ίδιες εργασίες σε διαφορετικά μοντέλα.
«Για παράδειγμα, κάποιοι μπορεί να χρησιμοποιούν το Fable 5 για τις δυσκολότερες εργασίες και να στρέφονται σε μοντέλα χαμηλότερης βαθμίδας για τις ευκολότερες. Αν αναθέτουν τις δυσκολότερες εργασίες στο ισχυρότερο μοντέλο, αυτό μπορεί να φαίνεται λιγότερο παραγωγικό με σχεδόν οποιοδήποτε μέτρο επιλέξουμε, καθώς οι δυσκολότερες εργασίες απαιτούν περισσότερο χρόνο και είναι λιγότερο πιθανό να ενσωματωθούν.»
Η μελέτη υποστηρίζει επίσης ότι προηγούμενες έρευνες έχουν μεροληπτήσει, καθώς οι περισσότερες αλλαγές κώδικα προέρχονταν από μικρό αριθμό έργων, καθένα από τα οποία είχε τους δικούς του κανόνες για την αποδοχή συνεισφορών· και ότι αυτές οι διαφορές δυσκόλεψαν την εξακρίβωση του κατά πόσο οι αυξήσεις στην παραγωγικότητα οφείλονταν πράγματι στην αναβάθμιση σε νεότερα μοντέλα.
Μεθοδολογία
Για το κύριο πείραμᆆ, τα αιτήματα ενσωμάτωσης στο GitHub από 297 προγραμματιστές, οι οποίοι προσδιορίστηκαν στη μελέτη ως χρήστες του Fable 5, χωρίστηκαν σε τέσσερις περιόδους: πριν από την κυκλοφορία του μοντέλου στις 9 Ιουνίου· κατά τις τρεις ημέρες που ήταν διαθέσιμο· κατά τη διάρκεια της αναστολής πρόσβασης, η οποία διήρκεσε 19 ημέρες· και μετά την αποκατάσταση της πρόσβασης την 1η Ιουλίου.
Τα ποσοστά ενσωμάτωσης των αιτημάτων τους συγκρίθηκαν με εκείνα 8.908 προγραμματιστών που προσδιορίστηκαν ως χρήστες του παλαιότερου μοντέλου Opus 4.8, ώστε να διαχωριστούν οι αλλαγές που σχετίζονταν με την αναστολή από τις ευρύτερες διακυμάνσεις στη δραστηριότητα του GitHub.
Η σύγκριση βασίστηκε στην παραδοχή ότι, χωρίς την απαγόρευση, και οι δύο ομάδες θα είχαν παρουσιάσει παρόμοιες μεταβολές στα ποσοστά ενσωμάτωσης των αιτημάτων τους. Συγκρίθηκαν οι μεταβολές των ποσοστών ενσωμάτωσης μεταξύ των δύο ομάδων, ενώ στη στατιστική ανάλυση συνυπολογίστηκαν οι διαφορές μεταξύ μεμονωμένων προγραμματιστών και οι καθημερινές διακυμάνσεις:

Χρονολόγιο των αναβαθμίσεων μοντέλων Claude και της αναστολής πρόσβασης στο Fable 5. Το επάνω πλαίσιο παρουσιάζει οκτώ αναβαθμίσεις των Opus και Sonnet, με τους συμπαγείς κύκλους να επισημαίνουν τις πέντε που εξετάστηκαν στην ευρύτερη μελέτη. Το κάτω πλαίσιο παρουσιάζει τις τέσσερις περιόδους που χρησιμοποιήθηκαν για να αξιολογηθεί πώς επηρέασε η περίοδος αναστολής τα ποσοστά ενσωμάτωσης των PR, με την απαγόρευση να αποτελεί την περίοδο αναφοράς. Οι μοβ γραμμές δείχνουν πότε το Fable 5 ήταν διαθέσιμο ή η πρόσβαση σε αυτό είχε ανασταλεί· η γκρίζα σκίαση υποδεικνύει την απαγόρευση· και οι διαγραμμισμένες ενότητες δείχνουν τις ημέρες που εξαιρέθηκαν αμέσως μετά την αναστολή ή την αποκατάσταση της πρόσβασης. Πηγή
Όσον αφορά τα δεδομένα, τα δημόσια αιτήματα ενσωμάτωσης στο GitHub που δημιουργήθηκαν με το Claude Code εντοπίστηκαν μέσω του GitHub Search API, με βάση την ένδειξη «Generated with Claude Code» που περιλαμβάνεται αυτόματα στις περιγραφές τους. Όταν το συγκεκριμένο όνομα μοντέλου είχε επίσης αντιγραφεί από το ιστορικό υποβολών του κώδικα στην περιγραφή του αιτήματος ενσωμάτωσης, ήταν δυνατό να εξακριβωθεί ποια έκδοση του Claude χρησιμοποιήθηκε.
Τα PR που υποβλήθηκαν γύρω από την αναστολή πρόσβασης στο Fable 5 και τις επακόλουθες αναβαθμίσεις του Claude συλλέχθηκαν από τον Νοέμβριο του 2025 έως τον Οκτώβριο του 2026, ενώ για τα πιο πρόσφατα αιτήματα δόθηκε περιθώριο τουλάχιστον τεσσάρων εβδομάδων ώστε να ενσωματωθούν.
Οι 297 προγραμματιστές που χρησιμοποίησαν το Fable 5 κατά τη σύντομη περίοδο διαθεσιμότητάς του επιλέχθηκαν για την κύρια ομάδα της μελέτης, ενώ 8.908 προγραμματιστές που χρησιμοποίησαν το Opus 4.8 και για τους οποίους δεν καταγράφηκε χρήση του Fable 5 αποτέλεσαν την ομάδα ελέγχου.
Το κύριο μέτρο παραγωγικότητας ήταν το ποσοστό των υποβληθέντων αλλαγών κώδικα που γίνονταν δεκτές σε έργα του GitHub εντός επτά ημερών, γεγονός που επέτρεψε τη σύγκριση του ποσοστού επιτυχών υποβολών πριν, κατά τη διάρκεια και μετά την αναστολή. Οι πρόσθετοι έλεγχοι κάλυψαν PR που ενσωματώθηκαν εντός μίας ώρας· PR που έκλεισαν χωρίς να ενσωματωθούν· τον αριθμό των σχολίων που έλαβαν· αλλαγές που αναιρέθηκαν στη συνέχεια· και αποτυχίες στους αυτοματοποιημένους ελέγχους του GitHub.
Έλεγχοι
Η απώλεια και η επακόλουθη αποκατάσταση της πρόσβασης στο Fable 5 είχαν ελάχιστη μετρήσιμη επίδραση στην παραγωγικότητα των προγραμματιστών, καθώς η πρόσβαση στο νεότερο μοντέλο συσχετίστηκε με αύξηση μόλις 1,4 ποσοστιαίων μονάδων στο ποσοστό των PR που ενσωματώνονταν εντός επτά ημερών· διαφορά που κρίθηκε «μη στατιστικά σημαντική»:

Σύγκριση της χρήσης του Fable 5 και των ποσοστών ενσωμάτωσης PR πριν, κατά τη διάρκεια και μετά την απαγόρευση. Αριστερά: το ποσοστό των PR που δημιουργήθηκαν με χρήση του Fable 5. Δεξιά: οι μεταβολές στο ποσοστό ενσωμάτωσης εντός επτά ημερών σε σχέση με τις 22–28 Ιουνίου, με τις τελείες να δείχνουν τις εκτιμήσεις και τις οριζόντιες γραμμές τα διαστήματα εμπιστοσύνης 95%. Οι σκιασμένες σειρές υποδεικνύουν τις περιόδους κατά τις οποίες το Fable 5 ήταν διαθέσιμο. Παρά τις μεγάλες μεταβολές στη χρήση μοντέλων, παρατηρήθηκε μικρή αλλαγή στα ποσοστά ενσωμάτωσης.
Επιπλέον, σε πέντε αναβαθμίσεις μοντέλων Claude, στις οποίες συμμετείχαν 1.208 προγραμματιστές και περισσότερες από 15.000 υποβολές κώδικα, δεν διαπιστώθηκε βελτίωση στο ποσοστό του κώδικα που γινόταν δεκτός σε έργα του GitHub. Αντιθέτως, το ποσοστό μειώθηκε ελαφρώς, κατά 0,9 ποσοστιαίες μονάδες σύμφωνα με την εκτίμηση.
Διαπιστώθηκε επίσης ότι οι προγραμματιστές που χρησιμοποιούσαν νεότερα μοντέλα ολοκλήρωναν μόλις 2,4% περισσότερες αποδεκτές υποβολές κώδικα την εβδομάδα — μια διαφορά πολύ μικρή για να τεκμηριώσει αξιόπιστη βελτίωση. Ακόμη και όταν οι βαθμολογίες στις δοκιμές αναφοράς είχαν αυξηθεί κατά 5 έως 18 μονάδες, δεν παρατηρήθηκαν σημαντικά κέρδη στην παραγωγικότητα.
Διαπιστώθηκε επίσης ότι τα νεότερα μοντέλα δεν είχαν καλύτερες επιδόσεις στους αυτοματοποιημένους ελέγχους κώδικα του GitHub, καθώς τα ποσοστά αποτυχίας παρέμειναν ουσιαστικά αμετάβλητα.
Η μελέτη καταλήγει:
«Υποθέτουμε ότι ο κύριος λόγος για τον οποίο οι βελτιώσεις του Fable 5 στις δοκιμές αναφοράς δεν μεταφράστηκαν σε αυξημένη παραγωγικότητα στην πραγματική εργασία είναι ότι οι εργασίες που αναθέτουν οι προγραμματιστές στους πράκτορες βρίσκονται ήδη εντός των δυνατοτήτων του παλαιότερου μοντέλου».
Και συνεχίζει:
«Τα ευρήματά μας προσθέτουν στοιχεία από την πραγματική εργασία σε όσα έχουν επισημάνει προηγούμενες μελέτες: μια βαθμολογία σε δοκιμή αναφοράς δεν σημαίνει πολλά για όσους επιλέγουν μοντέλο, αν δεν υπάρχουν στοιχεία ότι μετρά την εργασία για την οποία χρησιμοποιείται[describe].
«Αν οι ρυθμιστικές αρχές και οι αγοραστές κρίνουν πόσο ισχυρότερο είναι ένα μοντέλο με βάση τη βαθμολογία του σε δοκιμή αναφοράς[score], η διαφορά στην οποία βασίζονται πιθανότατα δεν θα αποτυπωθεί στην παραγωγικότητα των χρηστών».
Συμπέρασμα
Οι συνεπείς μετρήσεις από έτος σε έτος αποτελούν εδώ και καιρό προϋπόθεση για την επιχειρηματική διάσταση των βιομηχανικών συστημάτων· είναι, όμως, ιδιαίτερα δύσκολο να αναπαραχθούν με ρεαλιστικούς και ακριβείς όρους στον τομέα της τεχνητής νοημοσύνης. Ένας από τους λόγους είναι η ταχύτητα με την οποία τα «δεδομένα δοκιμών» που καθορίζουν μια δοκιμή αναφοράς εντάσσονται στα δεδομένα εκπαίδευσης του επόμενου μοντέλου και καθίστανται άχρηστα για σκοπούς δοκιμής. Αυτό και μόνο ουσιαστικά υπονομεύει το πρότυπο τόσο για τη συγκριτική αξιολόγηση εταιρειών όσο και για τις συνεπείς επιστημονικές δοκιμές, στις οποίες οι ερευνητές βασίζονται στην κατάρριψη μετρικών που είχαν καθιερωθεί παλαιότερα, αλλά ενδέχεται πλέον να μην έχουν νόημα.
Πράγματι, ήταν εντυπωσιακό να παρακολουθεί κανείς τα τελευταία δέκα χρόνια πόσες ερευνητικές εργασίες στον τομέα της υπολογιστικής όρασης εξακολουθούν να τηρούν προ πολλού παρωχημένα πρότυπα, όπως το ImageNet, απλώς και μόνο επειδή η προέλευσή τους ανάγεται τόσο παλιά.
Τα αποτελέσματα αυτής της εργασίας παρουσιάζουν τους προγραμματιστές με αρκετά θετικό τρόπο, ως προσαρμοστικούς και ευέλικτους υποστηρικτές οποιουδήποτε συστήματος είναι διαθέσιμο και λειτουργεί. Το γεγονός ότι αποδίδουν με σχεδόν τον ίδιο ρυθμό είτε χρησιμοποιούν την πιο πρόσφατη είτε την αμέσως προηγούμενη τεχνητή νοημοσύνη δείχνει ότι προσαρμόζουν τη δουλειά τους στις διάρκειες και τις προθεσμίες, ανεξάρτητα από τα εργαλεία που έχουν στη διάθεσή τους.
* Όπως επισήμανε ένας πρόσφατος σχολιαστής στο Hacker News, αυτό πιθανότατα δεν ισχύει πλέον, καθώς τα δεδομένα «Pelican on Bicycle» περιλαμβάνονται πλέον στα δεδομένα εκπαίδευσης και, επομένως, η δοκιμή έχει υπονομευθεί.
† Με τίτλο «Τα μοντέλα κώδικα με υψηλότερες βαθμολογίες δεν ολοκλήρωσαν περισσότερη δουλειά».
†† Η μελέτη θέτει δύο ακόμη ερωτήματα, αλλά δεν θεωρώ ότι συνδέονται ιδιαίτερα με το θέμα ή ότι έχουν συγκρίσιμη σημασία με το κύριο ερώτημα, γι’ αυτό και δεν τα έχω παρουσιάσει εδώ. Για περισσότερες λεπτομέρειες, ανατρέξτε στο πρωτότυπο PDF.
Δημοσιεύτηκε για πρώτη φορά την Τετάρτη, 18 Νοεμβρίου 2026












