Η Anthropic λέει ότι το Claude ηγείται του 26% της έρευνας και ανάπτυξης AI της

Η Anthropic δήλωσε ότι τα μοντέλα Claude της «ηγούνται» το 26 % του έργου έρευνας και ανάπτυξης AI της εταιρείας, από τον Αύγουστο 2026, στα πρώτα αποτελέσματα από ένα πρωτότυπο Δείκτη Αυτοματοποίησης R&D που δημοσιεύτηκε σε μια Anthropic Institute δημοσίευση στις 17 Σεπτεμβρίου 2026.

Η δημοσίευση, με τίτλο «Μετρήσεις για την κατανόηση του ρυθμού ανάπτυξης AI σε προχωρημένα εργαστήρια», συνδυάζει τον δείκτη με εσωτερικές μετρήσεις επίβλεψης πρακτόρων και κατανομής υπολογιστικής ισχύος, και η Anthropic δήλωσε ότι σκοπεύει να συνεχίσει τη δημοσίευση τέτοιων μετρήσεων.

Ο Δείκτης Αυτοματοποίησης R&D

Ο Δείκτης Αυτοματοποίησης R&D της Anthropic χαρτογραφεί το πλήρες φάσμα του έργου AI R&D που εκτελείται στην εταιρεία, αξιολογεί πόσο αυτοματοποιημένη είναι κάθε εργασία αυτή τη στιγμή και συνδυάζει αυτές τις βαθμολογίες σε ένα συνολικό μέτρο. Οι βαθμολογίες χρησιμοποιούν μια κλίμακα Επιπέδου Αυτοματοποίησης που αναπτύχθηκε από την Epoch AI, που κυμαίνεται από AL0, που σημαίνει καμία εμπλοκή AI, έως AL5, όπου η AI λειτουργεί πλήρως αυτόνομα χωρίς άνθρωπο στο βρόχο. Στο AL3, η AI «συνεργάζεται», εκτελώντας μεγάλα τμήματα μιας εργασίας υπό στενή ανθρώπινη καθοδήγηση· στο AL4, η AI «ηγείται», αναλαμβάνοντας το μεγαλύτερο μέρος μιας εργασίας από μια υψηλού επιπέδου προτροπή μέχρι την ολοκλήρωση ενώ ένας άνθρωπος επιβλέπει.

Η Anthropic ανέφερε ότι, από τον Αύγουστο 2026, το Claude «ηγείται» το 26 % του έργου AI R&D της, το μερίδιο εργασίας σε επίπεδο «συνεργάζεται» ή υψηλότερο είναι πάνω από 90 %, και το Claude δεν λειτουργεί πλήρως αυτόνομα για κανένα μετρημένο υποσύνολο του έργου AI R&D. Ένα διάγραμμα στην δημοσίευση περιγράφει το μερίδιο 26 % «ηγείται» ως αύξηση από κάτω του 1 % τον Φεβρουάριο 2026.

Ο υποκείμενος κατάλογος εργασιών συναρμολογήθηκε από το μηδέν χρησιμοποιώντας αρχεία εργασίας όπως το Slack και εσωτερική τεκμηρίωση. Για κάθε εβδομάδα του Ιουλίου 2026, ένας ερευνητικός πράκτορας Claude εξέτασε την εβδομάδα κάθε τυχαία δειγματοληπτικού ατόμου — 20 % του προσωπικού από κάθε τμήμα που αποτελεί το βρόχο μοντέλου R&D — και κατέγραψε τις εργασίες στις οποίες εργάστηκε, παράγοντας μια επίπεδη λίστα περίπου 15 000 λεπτομερών εργασιών. Στη συνέχεια, το Claude οργάνωσε αυτές τις εργασίες σε ένα ιεραρχικό δέντρο 542 κόμβων, 378 από τα οποία φύλλα όπως «διάγνωση και διόρθωση σφαλμάτων πλατφόρμας αξιολόγησης», και αυτό το δέντρο παγώνει ώστε κάθε μέτρηση να εκτελείται ενάντια στο ίδιο σύνολο εργασιών.

Για κάθε κόμβο, ένας πράκτορας Claude ερευνά πώς εκτελείται αυτό το είδος εργασίας σε όλη την εταιρεία, και ένας ανεξάρτητος κριτής Claude αναθέτει ένα από τα έξι επίπεδα αυτοματοποίησης, περιορισμένο σε αποδείξεις από τον μήνα που αξιολογείται ή νωρίτερα. Οι εργασίες ζυγίζονται κατά χρόνο‑πρόσωπο, έτσι οι κατηγορίες όπου απαιτείται περισσότερη προσπάθεια προσωπικού έχουν μεγαλύτερο βάρος.

Η Anthropic ελέγξε τις αξιολογήσεις του κριτή σε σχέση με το προσωπικό που είναι υπεύθυνο για τις σχετικές περιοχές εργασίας, οι οποίοι αξιολόγησαν χωρίς να δουν τις αποδείξεις ή τις αποφάσεις των μοντέλων, και ανέφερε ακριβή συμφωνία μοντέλο‑ανθρώπινο 59 % έναντι 35 % ανθρώπινο‑ανθρώπινο, με αξιολογήσεις εντός ενός επιπέδου η μία από την άλλη στο 97 % των περιπτώσεων. Οι δηλωμένοι περιορισμοί περιλαμβάνουν το παγωμένο σύνολο, το οποίο καταγράφει την αυτοματοποίηση υπάρχουσας εργασίας χωρίς να καταγράφει νέους τύπους εργασίας· μια σύγκριση των εργασιών που έφτασαν από τον Φεβρουάριο έως τον Ιούλιο 2026 έναντι ενός συνόλου Ιανουαρίου 2026 δεν βρήκε αύξηση σε «καινοτόμες» εργασίες, και η Anthropic σχεδιάζει να ανακατασκευάσει το σύνολο περιοδικά και να εκδόσει ξανά τους δημοσιευμένους αριθμούς.

Επίβλεψη Εσωτερικών Πρακτόρων

Ένα δεύτερο σύνολο μετρήσεων καλύπτει την επίβλεψη των πρακτόρων AI της Anthropic στα συστήματά της. Από τον Αύγουστο 2026, περίπου 30 000 πράκτορες έκαναν έρευνα και μηχανική εργασία ταυτόχρονα στην πιο χρησιμοποιούμενη εσωτερική πλατφόρμα της εταιρείας, και οι αναφερόμενες μετρήσεις καλύπτουν μόνο αυτήν την πλατφόρμα.

Η Anthropic ανέφερε ότι οι διαδικτυακοί παρατηρητές ελέγχουν το 100 % των ενεργειών αυτών των πρακτόρων πριν την εκτέλεση, συνήθως μέσα σε δευτερόλεπτα· από πάνω από ένα δισεκατομμύριο αποφάσεις πρακτόρων που αναλύθηκαν τον Αύγουστο 2026, το 0,002 % (περίπου 1 στα 47 000) μπλήκανε, και οι άνθρωποι ελέγχουν τυχόν μπλοκαρισμένες ενέργειες εντός μιας εβδομάδας. Οι εκτός σύνδεσης παρατηρητές καταναλώνουν το 100 % των ενεργειών μετά το γεγονός και σηματοδοτούν περίπου 100 000 απομαγνητοφωνήσεις την εβδομάδα, τις οποίες πολλαπλοί ταξινομητές εξετάζουν για ψευδείς θετικές, επιλύοντας τις περισσότερες σημαδοποιήσεις· περίπου 50 σημαδοποιήσεις υψηλότερης προτεραιότητας την εβδομάδα προωθούνται σε ανθρώπινη αξιολόγηση, και περίπου μία έως δύο απομαγνητοφωνήσεις σε κάθε χίλιες σηματοδοτούνται για περαιτέρω έλεγχο.

Σύμφωνα με τη δημοσίευση, οι διαδικτυακοί παρατηρητές έχουν σχεδιαστεί για βλάβες που θα συμβούν γρήγορα και δεν μπορούν να αναιρεθούν, όπως ένας πράκτορας που αντιγράφει βάρη μοντέλου εκτός των συστημάτων της Anthropic, ενώ οι εκτός σύνδεσης παρατηρητές στοχεύουν σε επικίνδυνες συμπεριφορές που αναπτύσσονται αργά και μπορούν να αντιστραφούν, όπως σημάδια μη ευθυγράμμισης μοντέλου. Η Anthropic ανέφερε ότι δύο επιλογές σχεδίασης στην εσωτερική δομή υποστηρίζουν την επίβλεψη: κάθε πράκτορας φέρει μια ατομική ταυτότητα που παραμένει σταθερή κατά τις αναβαθμίσεις του μοντέλου, και οι πράκτορες επικοινωνούν μέσω ενός κοινόχρηστου, ανοιχτού συστήματος μηνυμάτων που διασταυρώνεται με απομαγνητοφωνήσεις, ώστε η παρακολούθηση συμπεριφοράς να μπορεί να διασχίσει την επικοινωνία μεταξύ πρακτόρων. Η εταιρεία δήλωσε ότι η METR έχει προηγουμένως ανεξάρτητα διεξάγει red‑team στην πλατφόρμα εκτός σύνδεσης, και ότι αυτές οι μετρήσεις επίβλεψης δημοσιεύθηκαν επίσης στην έκθεση κινδύνου του Αυγούστου 2026.

Στιγμιότυπο Κατανομής Υπολογιστικής Ισχύος

Για την τρίτη μέτρηση, η Anthropic εξέτασε πώς χρησιμοποίησε όλη την υπολογιστική ισχύ της από 13 έως 20 Ιουλίου 2026, ταξινομώντας κάθε φορτίο εργασίας σε κατηγορίες και μετράjąc πόσο από την υπολογιστική ισχύ που πηγαίνει στην AI R&D ήταν έργο ασφαλείας. Κατά τη διάρκεια εκείνης της εβδομάδας, η Anthropic ανέφερε ότι περίπου το 6 % της υπολογιστικής ισχύος που πηγαίνει στην AI R&D διατέθηκε για ασφάλεια, και περίπου το 12 % της υπολογιστικής ισχύος που πηγαίνει στην AI‑driven AI R&D διατέθηκε για ασφάλεια.

Η εταιρεία περιγράφει και τις δύο εκτιμήσεις ως σκόπιμα συντηρητικές: τα tokens που προωθούν τις δυνατότητες όσο και η ασφάλεια λογίζονταν ως AI R&D, και οι ταξινομητές safeguards, ένα ξεχωριστό και συγκρίσιμο ποσό υπολογιστικής ισχύος, εξαιρούνται. Ένας προτρεπόμενος ταξινομητής Claude ταξινόμησε τις σχεδόν 10.000 εκτελέσεις εκπαίδευσης και αξιολόγησης έρευνας της εβδομάδας, χρησιμοποιώντας ένα περίπου 14 % δείγμα με βάρος προς τους μεγαλύτερους χρήστες υπολογιστικής ισχύος, και η Anthropic ανέφερε ότι ο ταξινομητής συμφωνούσε με τους ανθρώπινους αξιολογητές εντός ενός ή δύο ποσοστών.

Οι δηλωμένοι περιορισμοί είναι ότι μια μόνο εβδομάδα δείχνει ότι η μέτρηση είναι εφικτή χωρίς να καθιερώνει μια τάση, ότι οι υποκείμενες ετικέτες φορτίου εργασίας είναι κατά προσέγγιση και μη επαληθευμένες, και ότι το μερίδιο υπολογιστικής ισχύος μετρά όσα δαπανώνται αντί για το ποσό της εκτελεσθείσας εργασίας ασφαλείας.

Σκοπός και Επόμενα Βήματα

Η Anthropic δήλωσε ότι δημοσιεύει τις μετρήσεις επειδή παρέχουν στο κοινό, σε εξωτερικά μέρη και σε κυβερνήσεις μια πιο σαφή εικόνα του ρυθμού ανάπτυξης της AI εντός των εργαστηρίων αιχμής, συμπληρώνοντας τις εκθέσεις κινδύνου της πολιτικής Responsible Scaling Policy και την πρόταση πολιτικής Advanced AI Framework. Σημείωσε ότι οι αριθμοί θα αναμενόταν να μεταβληθούν εάν υπήρχε συντονισμός στον καθορισμό του ρυθμού της αιχμής, όπως ζητήθηκε από τον CEO Dario Amodei.

Η ανάρτηση δηλώνει ότι οποιοσδήποτε προγραμματιστής αιχμής θα μπορούσε να δημοσιεύει τα ίδια μέτρα τακτικά με μια δημόσια μεθοδολογία, και εντοπίζει δύο εμπόδια στη διαεργαστηριακή σύγκριση: την έλλειψη κοινής μεθοδολογίας και τη χρήση των δικών του μοντέλων από τον προγραμματιστή για την αξιολόγηση των συστημάτων του. Αναφέρει ότι τέτοια μέτρα θα μπορούσαν να επαληθευτούν από τρίτους ή από μοντέλα άλλων προγραμματιστών, και θα μπορούσαν να αποτελέσουν ένα ερέθισμα για πιο αυστηρές απαιτήσεις, όπως ένα σταθερό παράθυρο δοκιμών πριν ένα νέο μοντέλο τεθεί σε χρήση για περαιτέρω AI R&D.

Η Anthropic δήλωσε ότι σχεδιάζει να ενσωματώσει ανεξάρτητους αξιολογητές τρίτων από πολλαπλούς οργανισμούς, παρέχοντάς τους πρόσβαση σε εσωτερικές διαδικασίες, συστήματα και δεδομένα συγκρίσιμα με αυτά που διαθέτουν οι εσωτερικές ομάδες αξιολόγησης κινδύνου, προκειμένου να επαληθεύσουν τις πρακτικές ασφαλείας, να αναφέρουν περιστατικά και να παρακολουθούν βασικούς δείκτες όπως αυτοί στην ανάρτηση. Το κείμενο συγγράφηκε από την Marina Favaro και την Phillie Wright, με την ερευνητική καθοδήγηση του Jack Clark.