Η METR εκτιμά ότι ο ρυθμός αύξησης των δυνατοτήτων των μοντέλων της Anthropic έχει σχεδόν διπλασιαστεί

Στις 5 Νοεμβρίου 2026, η METR δημοσίευσε ανεξάρτητη αξιολόγηση, σύμφωνα με την οποία η Anthropic πιθανότατα βελτιώνει τις δυνατότητες των μοντέλων της σε σαφώς ορισμένες εργασίες με περίπου διπλάσιο ρυθμό σε σχέση με πριν, ενώ η χρήση της τεχνητής νοημοσύνης πιθανότατα εξηγεί το μεγαλύτερο μέρος της τρέχουσας επιτάχυνσης. Τα συμπεράσματα συνοδεύονται από σημαντική αβεβαιότητα, ενώ οι διαγραφές αποκρύπτουν μεγάλο μέρος των στοιχείων στα οποία βασίζονται.

Τα στοιχεία από τις δοκιμές αναφοράς δείχνουν εντονότερη ανοδική τάση

Με βάση τον AECI, τον δείκτη δυνατοτήτων της Anthropic που βασίζεται σε δοκιμές αναφοράς, η METR εκτίμησε ότι οι βαθμολογίες στις δοκιμές αυτές αυξάνονται με ρυθμό 1,9 φορές ταχύτερο από τον Οκτώβριο του 2025, με διάστημα εμπιστοσύνης 95% από 1,5 έως 2,8 φορές. Αυτός ο ρυθμός αντιστοιχεί σε περίπου δύο χρόνια προόδου με τον προηγούμενο ρυθμό μέσα σε ένα έτος. Η ευρύτερη εκτίμηση συγκρίνει τον Οκτώβριο του 2026 με τον ρυθμό που παρατηρήθηκε από τον Μάρτιο του 2024 έως τον Οκτώβριο του 2025.

Ο υπολογισμός περιλαμβάνει μοντέλα που δεν είναι διαθέσιμα στο κοινό και χρονολογεί κάθε στιγμιότυπο με βάση το πότε μπορούσαν να το χρησιμοποιήσουν οι περισσότεροι εργαζόμενοι της Anthropic, δημιουργώντας μια κοινή βάση σύγκρισης για συστήματα που έχουν κυκλοφορήσει και για όσα δεν έχουν. Οι έλεγχοι ανθεκτικότητας της METR έδωσαν εκτιμήσεις επιτάχυνσης από 1,1 έως 2,9 φορές, ανάλογα με τις εναλλακτικές επιλογές μοντελοποίησης, καταδεικνύοντας πόσο επηρεάζονται τα αποτελέσματα από τον τρόπο αναπαράστασης της δυσκολίας των δοκιμών αναφοράς και άλλων αναλυτικών παραδοχών.

Στοιχεία για τον ρόλο της τεχνητής νοημοσύνης στην επιτάχυνση

Τα στοιχεία έπεισαν τη METR ότι η ταχύτερη αύξηση των υπολογιστικών πόρων για την εκπαίδευση δεν προκάλεσε την επιτάχυνση, αν και οι λεπτομέρειες που στηρίζουν αυτό το συμπέρασμα είχαν διαγραφεί. Παράγοντες που δεν σχετίζονται με την τεχνητή νοημοσύνη πιθανότατα έπαιξαν σημαντικό ρόλο στα τέλη του 2025, αλλά η καλύτερη διαθέσιμη εκτίμηση είναι ότι δεν εξηγούν τη διατηρούμενη επιτάχυνση.

Τα στοιχεία από το προσωπικό έδειξαν προς την ίδια κατεύθυνση, αλλά ήταν ανομοιογενή. Οι συνεντεύξεις με ερευνητές έδωσαν πολύ διαφορετικές εκτιμήσεις για μια επιτάχυνση της τάξης του διπλασιασμού. Οι ανεπίσημες δημοσκοπήσεις έδειξαν ότι τον Οκτώβριο του 2026 η μέση αυτοαναφερόμενη αύξηση της παραγωγικότητας χάρη στο ισχυρότερο εσωτερικό μοντέλο ήταν περίπου 12 φορές. Η METR προειδοποίησε ότι η συμπλήρωση των απαντήσεων απαιτούσε ελάχιστη προσπάθεια, ότι οι απαντήσεις ενδέχεται να μην αντιπροσωπεύουν το προσωπικό στο σύνολό του και ότι τα ατομικά κέρδη παραγωγικότητας δεν ισοδυναμούν άμεσα με αύξηση των δυνατοτήτων ολόκληρου του οργανισμού.

Η τρέχουσα επίδραση οφείλεται κυρίως στη βοήθεια που παρέχει η τεχνητή νοημοσύνη στους ερευνητές. Η τεχνητή νοημοσύνη δεν μπορεί ακόμη να συνεισφέρει αυτόνομα και σε σημαντικό βαθμό στις σημαντικότερες εργασίες εκπαίδευσης μοντέλων, αν και οι ερευνητές περιέγραψαν ενδείξεις ότι τέτοιες συνεισφορές θα μπορούσαν να εμφανιστούν σύντομα, με διαφορετικό βαθμό ωριμότητας ανά τομέα.

Τα σημεία συμφόρησης και η μέτρηση παραμένουν αβέβαια

Δεν προέκυψαν πειστικά στοιχεία ότι η πρόοδος των αλγορίθμων, οι υπολογιστικοί πόροι για την εκπαίδευση, οι υπολογιστικοί πόροι για τα πειράματα ή τα δεδομένα θα δημιουργούσαν σημαντικά σημεία συμφόρησης σε ορίζοντα 12 μηνών. Οι αξιολογητές άλλαξαν αρκετές φορές ερμηνεία καθώς έρχονταν στο φως νέα στοιχεία, με αποτέλεσμα να μην είναι βέβαιοι για αυτή την εκτίμηση. Παρ’ όλα αυτά, η METR έκρινε ότι η απουσία σαφών περιορισμών ή έντονα φθινουσών αποδόσεων δημιουργεί σημαντικό κίνδυνο περαιτέρω συσσώρευσης των αυξήσεων στις δυνατότητες, με αποτέλεσμα ακόμη ταχύτερη επιτάχυνση· πρόκειται για εκτίμηση μελλοντικού κινδύνου και όχι για αποτέλεσμα που έχει ήδη παρατηρηθεί.

Ο AECI δίνει έμφαση σε εργασίες με σαφείς προδιαγραφές και εύκολη αξιολόγηση, επομένως οι ταχύτερες επιδόσεις στις δοκιμές αναφοράς ενδέχεται να μην έχουν αντίστοιχο αντίκτυπο στον πραγματικό κόσμο. Η METR ανέφερε ότι η υπερπροσαρμογή, οι παράγοντες που δεν σχετίζονται με την τεχνητή νοημοσύνη ή μια ασυνήθιστα χαμηλή ιστορική βάση σύγκρισης θα μπορούσαν να οδηγήσουν σε υπερεκτίμηση, ενώ η μη καταγραφή πρόσφατης επιτάχυνσης, η ταχύτερη από την αναμενόμενη άρση των ανθρώπινων σημείων συμφόρησης ή βαθμολογίες στις δοκιμές αναφοράς που υποτιμούν τον αντίκτυπο στον πραγματικό κόσμο θα μπορούσαν να οδηγήσουν σε υποεκτίμηση. Οι βαθμολογίες του Model 4, πάνω από 50% και στις 15 δοκιμές αναφοράς που χρησιμοποιήθηκαν γι’ αυτό, ενίσχυσαν μια ξεχωριστή ανησυχία: ότι ο κορεσμός θα μπορούσε να δυσχεράνει τις μελλοντικές μετρήσεις.

Εκτεταμένη πρόσβαση, αλλά περιορισμένα δημόσια στοιχεία

Η METR διέθεσε στην αξιολόγηση, η οποία διήρκεσε έντεκα εβδομάδες, 2,5 ισοδύναμα πλήρους απασχόλησης, από τις 12 Αυγούστου 2026 έως τις 29 Οκτωβρίου 2026. Εξέτασε εσωτερικά αποτελέσματα από δοκιμές αναφοράς, μετρήσεις προεκπαίδευσης και ενισχυτικής μάθησης, μετρήσεις υπολογιστικών πόρων εκπαίδευσης, αναλύσεις για την επιτάχυνση χάρη στην τεχνητή νοημοσύνη και εσωτερικά έγγραφα, ενώ βασίστηκε και σε περίπου 15 συνεντεύξεις με βασικά στελέχη. Η ομάδα δεν είχε απρόσκοπτη πρόσβαση αντίστοιχη με εκείνη ενός εργαζομένου ούτε δοκίμασε μοντέλα που δεν ήταν διαθέσιμα στο κοινό.

Η Anthropic μπορούσε να εγκρίνει ή να απορρίπτει αιτήματα παροχής πληροφοριών και να διαγράφει μονομερώς υλικό που δεν ήταν διαθέσιμο στο κοινό. Οι διαγραφές της αφαίρεσαν από τη δημόσια έκθεση την πλειονότητα των στοιχείων που η METR θεωρούσε πιο κατατοπιστικά, μεταξύ των οποίων λεπτομερή στοιχεία για την απόδοση αποτελεσμάτων στην τεχνητή νοημοσύνη, εκτιμήσεις για την πρόοδο των αλγορίθμων, συγκεκριμένη ανάλυση των σημείων συμφόρησης και προβλέψεις για μελλοντικά μοντέλα. Η Anthropic παρουσίασε τις διαγραφές ως μέτρο προστασίας εμπιστευτικών πληροφοριών που θα μπορούσαν να επιταχύνουν την πρόοδο άλλων εταιρειών ανάπτυξης τεχνητής νοημοσύνης. Η METR διατήρησε την ευχέρεια να καθορίζει τη μεθοδολογία και τα συμπεράσματά της και δεν έλαβε αμοιβή, αν και εργάστηκε σε συσκευές της Anthropic και χρησιμοποίησε δωρεάν διακριτικά.

Η αξιολόγηση προσφέρει εκτενή εξωτερική εξέταση της επιτάχυνσης της έρευνας χάρη στην τεχνητή νοημοσύνη, χωρίς όμως να διασφαλίζει διαφάνεια ως προς τα υποκείμενα στοιχεία. Τα δημόσια αποτελέσματα στις δοκιμές αναφοράς και οι μαρτυρίες του προσωπικού στηρίζουν την εκτίμηση ότι η πρόοδος έχει επιταχυνθεί, αλλά οι διαγραφές δεν επιτρέπουν στους αναγνώστες να αξιολογήσουν ανεξάρτητα μεγάλο μέρος της τεκμηρίωσης στην οποία βασίζονται τα συμπεράσματα της METR για την απόδοση της επιτάχυνσης στην τεχνητή νοημοσύνη και για τα σημεία συμφόρησης. Επομένως, αυτά τα κεντρικά συμπεράσματα βασίζονται σε μεγάλο βαθμό στη σύνθεση των στοιχείων από τον αξιολογητή, στοιχεία τα οποία οι αναγνώστες δεν μπορούν να εξετάσουν πλήρως.