Μοντέλα και πλατφόρμες AI

Η METR διαπιστώνει ότι οι χρονικοί ορίζοντες της ΤΝ διπλασιάζονται, ενώ η ερευνητική κρίση μένει πίσω

Jonas Reeve
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΟι χρονικοί ορίζοντες των μοντέλων αιχμής διπλασιάζονται περίπου κάθε 110 ημέρες, αλλά…
Δείτε περισσότερα
  • Οι χρονικοί ορίζοντες των μοντέλων αιχμής διπλασιάζονται περίπου κάθε 110 ημέρες, αλλά η ερευνητική κρίση υστερεί σε σχέση με τα επαληθεύσιμα κέρδη.
  • Τα μοντέλα κατατάχθηκαν στο 96ο έως 98ο εκατοστημόριο σε διαγωνισμούς βελτιστοποίησης, ωστόσο υστερούσαν έναντι των κορυφαίων ανθρώπων στην αυτόνομη επιτάχυνση.
  • Οι κριτές μοντέλων υπερεκτίμησαν τις ερευνητικές εργασίες των ισχυρών μοντέλων κατά περίπου 0,2 μονάδες σε κλίμακα ενός βαθμού.

Η METR ανέφερε στις 20 Νοεμβρίου 2026 ότι οι χρονικοί ορίζοντες 50% των δημόσια διαθέσιμων μοντέλων αιχμής —η εκτιμώμενη από ανθρώπους διάρκεια μιας εργασίας, στην οποία προβλέπεται ότι ένα μοντέλο θα πετύχει στις μισές περιπτώσεις, και όχι ο χρόνος που εργάζεται το ίδιο το μοντέλο— διπλασιάζονται περίπου κάθε 110 ημέρες, με βάση τις συνδυασμένες αξιολογήσεις TH1.1 και TH2. Οι διευρυμένες δοκιμές δείχνουν σημαντική πρόοδο σε εργασίες με επαληθεύσιμο αποτέλεσμα, αλλά ασθενέστερη κρίση σε ανοιχτού τύπου έρευνα και στον σχεδιασμό αξιολογήσεων.

Η ενημέρωση καλύπτει δημόσια μοντέλα έως τα Opus 5.5 και GPT-6 Astra και εξετάζει ικανότητες σχετικές με την αυτοματοποίηση της έρευνας και ανάπτυξης (Ε&Α) στην ΤΝ. Η METR αξιολόγησε συνήθως 15 μοντέλα στα TH1.1 και TH2. Η νέα σουίτα TH2 περιλαμβάνει 36 εργασίες σε 12 οικογένειες: οκτώ οικογένειες με επαληθεύσιμα αποτελέσματα, σαφώς ορισμένους στόχους που βαθμολογούνται αυτόματα και καλύπτουν τη βελτιστοποίηση, τη μηχανική μάθηση, τους γρίφους και τα παιχνίδια, καθώς και τέσσερις οικογένειες που καλύπτουν τον εννοιολογικό συλλογισμό, την κρίση και την ανοιχτού τύπου έρευνα, χωρίς εύκολο τρόπο ελέγχου της επιτυχίας.

Δυσκολότερη σουίτα, παρόμοια τάση ανάπτυξης

Η METR εκτιμά ότι το διάστημα διπλασιασμού βρίσκεται εντός διαστήματος εμπιστοσύνης 95% από 2,08 έως 4,94 μήνες, κοντά στην προηγούμενη τάση των 105 ημερών για το TH1.1 μόνο. Επειδή το TH2 είναι δυσκολότερο για σταθερή διάρκεια ανθρώπινης εργασίας, ο χρονικός ορίζοντας 50% ενός μοντέλου στη συνδυασμένη σουίτα είναι μικρότερος από ό,τι στο TH1.1 μόνο.

Στο επαληθεύσιμο υποσύνολο του TH2, το εκτιμώμενο διάστημα διπλασιασμού μειώνεται σε 1,65 μήνες, με διάστημα εμπιστοσύνης 95% από 0,79 έως 3,99 μήνες. Η METR επισημαίνει ότι αυτό το αποτέλεσμα, που συνοδεύεται από μεγάλη αβεβαιότητα, μπορεί να οφείλεται στη σύνθεση των εργασιών, στο περιορισμένο χρονικό εύρος ή στην επιλογή εργασιών κατά την ανάπτυξή τους και όχι σε γενικευμένη επιτάχυνση. Οι λιγότερο ποικιλόμορφες ομάδες εργασιών μπορεί επίσης να οδηγούν σε ταχύτερο διπλασιασμό, επειδή οι μεγαλύτερες εργασίες απαιτούν περισσότερες από τις ίδιες δεξιότητες.

Η ανθρώπινη βαθμονόμηση είναι λιγότερο άμεση από ό,τι στην προηγούμενη εργασία της METR. Οι ερευνητές όρισαν όρια βαθμολογίας και χρόνου για 34 από τις νέες εργασίες, χρησιμοποιώντας επιτυχείς επιδόσεις ανθρώπων ως σημεία αναφοράς για τρεις και εκτιμήσεις ερευνητών για 31· άμεσα σημεία αναφοράς χρησιμοποιήθηκαν μόνο για το 9% των εκτιμήσεων της διάρκειας των εργασιών για ανθρώπους. Οι ειδικοί αμείφθηκαν με 200 έως 350 δολάρια την ώρα και μπορούσαν να χρησιμοποιήσουν το Sonnet 5 για την υλοποίηση. Η METR αναφέρει παρόμοια αποτελέσματα ως προς το διάστημα διπλασιασμού, αφού προστέθηκε θόρυβος στις εκτιμήσεις διάρκειας των εργασιών και αντικαταστάθηκαν από χρόνους ολοκλήρωσης ανθρώπων που εκτιμήθηκαν από μοντέλα· ωστόσο, παραμένει αβέβαιο κατά πόσο οι συμμετέχοντες που παρείχαν τις επιδόσεις αναφοράς ήταν συγκρίσιμοι με τους ερευνητές σε εργαστήρια αιχμής.

Υψηλές επιδόσεις, ασθενέστερη ερευνητική κρίση

Στις επαληθεύσιμες εργασίες TH2, η METR εκτιμά ότι οι χρονικοί ορίζοντες των σημερινών δημόσια διαθέσιμων μοντέλων αιχμής φτάνουν έως και τις 27 ώρες. Σε καθεμία από τις τρεις εργασίες για τις οποίες είχαν καθοριστεί επίσημα επιδόσεις αναφοράς, το καλύτερο μοντέλο ξεπέρασε όλους τους ανθρώπους που είχαν επιστρατευτεί ως συμμετέχοντες αναφοράς.

Μεγαλύτερα σύνολα δεδομένων από ανθρώπους δείχνουν ότι οι κορυφαίοι ειδικοί εξακολουθούν να μπορούν να πετυχαίνουν καλύτερες επιδόσεις. Σε 15 διαγωνισμούς βελτιστοποίησης του Al Zimmermann, η METR αναφέρει ότι τα ισχυρότερα μοντέλα κατέλαβαν, στον διάμεσο διαγωνισμό, θέση μεταξύ του 96ου και του 98ου εκατοστημορίου των ανθρώπινων συμμετεχόντων, ενώ περίπου τέσσερις άνθρωποι τα ξεπέρασαν. Οι πράκτορες είχαν στη διάθεσή τους 48 ώρες σε μηχάνημα 28 πυρήνων· οι ανθρώπινοι συμμετέχοντες είχαν περίπου τρεις μήνες και δικό τους υλικό, επομένως η κατάταξη εξαρτάται από αυτές τις διαφορετικές συνθήκες.

Στο Budget NanoGPT, η METR αναφέρει ότι η καλύτερη επιτάχυνση από αυτόνομο πράκτορα ήταν 15,7% σε 48 ώρες, έναντι επιτάχυνσης 41% σε σχέση με το προηγούμενο ρεκόρ, την οποία πέτυχε πρόσφατα ένας άνθρωπος που χρησιμοποίησε βοήθεια ΤΝ και εκτίμησε ότι αφιέρωσε περίπου 60 ώρες. Η σύγκριση είναι κατά προσέγγιση, επειδή τα ανθρώπινα ρεκόρ χτίζονται διαδοχικά πάνω σε προηγούμενες εργασίες, αλλά δείχνει ότι οι αυτόνομοι πράκτορες υπολείπονται της καλύτερης ανθρώπινης επίδοσης, ενώ ξεπερνούν πολλούς άλλους ικανούς συμμετέχοντες που επιδιώκουν ταχύτερη εκτέλεση.

Οι εργασίες που είναι δύσκολο να επαληθευτούν αναδεικνύουν έναν διαφορετικό περιορισμό. Στο Making METR Tasks, οι πράκτορες έπρεπε να σχεδιάσουν μια νέα, πληροφοριακά χρήσιμη εργασία για την ίδια τη σουίτα της METR. Η METR χαρακτήρισε ορισμένα πρόσφατα αποτελέσματα οριακά χρήσιμα, αλλά κανένα δεν κρίθηκε κατάλληλο για ένταξη στη σουίτα που χρησιμοποιήθηκε στην έκθεση. Τα μοντέλα συνήθως δημιουργούσαν εργασίες βελτιστοποίησης με αυτόματη βαθμολόγηση, ακόμη και όταν τους δινόταν η οδηγία να δώσουν έμφαση σε αποφάσεις με ανεπαρκή βραχυπρόθεσμη ανατροφοδότηση. Παρά την πρόσβαση στο διαδίκτυο, δεν διερεύνησαν αυτόνομα τι θα θεωρούσε χρήσιμο η METR, δεν παρήγαγαν πρωτότυπη μοντελοποίηση απειλών και δεν βασίστηκαν σε ιδιαίτερα διορατικές υποθέσεις σχετικά με τις ικανότητες των μοντέλων. Οι αξιολογήσεις αυτές βασίζονται στην ερευνητική κρίση και την κρίση ως προς τη μοντελοποίηση απειλών της ίδιας της METR.

Σε ένα συναφές πείραμα εξετάστηκε κατά πόσο τα μοντέλα μπορούσαν να βαθμολογούν αξιόπιστα αυτά τα αποτελέσματα. Η METR διαπίστωσε ότι οι κρίσεις των μοντέλων συμφωνούσαν περισσότερο με τις ανθρώπινες αξιολογήσεις όταν εξέταζαν αποτελέσματα ασθενέστερων μοντέλων, αλλά έδιναν αδικαιολόγητα υψηλές βαθμολογίες σε εργασίες από μοντέλα εξίσου ισχυρά ή ισχυρότερα. Το Opus 5.5, ο κριτής με τη μεγαλύτερη συμφωνία με τις ανθρώπινες αξιολογήσεις, βαθμολόγησε τις εργασίες του GPT-6 Astra περίπου 0,2 μονάδες υψηλότερα από τον άνθρωπο αξιολογητή, σε κλίμακα ενός βαθμού.

Τα αποτελέσματα αυτά δεν τεκμηριώνουν ένα καθολικό έλλειμμα κρίσης. Η METR αναφέρει ότι οι ικανότητες των μοντέλων σε εργασίες κρίσης ενδέχεται να μην αναδείχθηκαν πλήρως, επειδή τα μοντέλα δεν αξιοποίησαν αρκετά τα όρια των διαθέσιμων διακριτικών και τις διαθέσιμες δυνατότητες, ενώ σημειώνει ότι τα μοντέλα αιχμής επέδειξαν καλή κρίση, αβέβαιης γενίκευσης, σε ορισμένες εργασίες μηχανικής μάθησης που βαθμολογούνταν προγραμματιστικά.

Ακριβότερες αξιολογήσεις και το ερώτημα της επιτάχυνσης

Το πρόβλημα της μέτρησης εκτείνεται πέρα από την κρίση. Η METR ανησυχεί ότι οι αξιολογήσεις σε περιβάλλοντα με εμπορευματοκιβώτια μπορεί να μοιάζουν με τα περιβάλλοντα ενισχυτικής μάθησης που χρησιμοποιούνται για την εκπαίδευση μοντέλων, με αποτέλεσμα ενδεχομένως να υπερεκτιμώνται οι πραγματικές δυνατότητες, καθώς παρόμοια περιβάλλοντα γίνονται συνηθέστερα στην εκπαίδευση.

Το Κόστος Κύκλου Ζωής είναι ένας κατά προσέγγιση δείκτης, εκτιμώμενος από μοντέλο, για το κόστος ανάπτυξης ενός περιβάλλοντος εργασιών σε κοντέινερ και εκτέλεσης και βαθμολόγησής του 100 φορές, όχι μια άμεση εκτίμηση του κόστους που συνεπάγεται για έναν προγραμματιστή ΤΝ η δημιουργία περιβάλλοντος εκπαίδευσης. Αφού έλαβε υπόψη τη διάρκεια των εργασιών, η METR διαπίστωσε ότι το υποσύνολο υψηλότερου κόστους ήταν κατά μέσο όρο 2,9 φορές ακριβότερο από το υποσύνολο χαμηλότερου κόστους, ενώ τα μοντέλα είχαν 2,9 φορές χειρότερη επίδοση ως προς τον χρονικό ορίζοντα, διαφορά ισοδύναμη με 1,5 διπλασιασμούς. Ωστόσο, τα μοντέλα βελτιώνονταν με παρόμοιο ρυθμό και στα δύο υποσύνολα, επομένως τα δεδομένα συνδέουν το κόστος με τη δυσκολία, χωρίς να δείχνουν βραδύτερη πρόοδο στις ακριβότερες εργασίες.

Η METR αναφέρει ότι, σύμφωνα με τον ξεχωριστό δείκτη METR Capability Index, ο οποίος συνοψίζει τις επιδόσεις των μοντέλων σε κοινή κλίμακα, δεν παρατηρείται συνολικά σημαντική επιτάχυνση ή επιβράδυνση στο δημόσια διαθέσιμο σύνολο μοντέλων αιχμής που εξετάστηκε. Οι μεταβολές στην κλίση της προόδου ανά προγραμματιστή ήταν ευαίσθητες στις μεθοδολογικές επιλογές, με αποτέλεσμα η εγκυρότητά τους να παραμένει αβέβαιη.

Ωστόσο, η METR αναφέρει ότι τα τρέχοντα δημόσια διαθέσιμα στοιχεία δεν αρκούν για να αποκλειστεί το ενδεχόμενο δραστικής επιτάχυνσης της έρευνας και ανάπτυξης στον τομέα της ΤΝ τα επόμενα δύο χρόνια, η οποία ορίζεται ως τόσο ταχεία βελτίωση των δυνατοτήτων ώστε οι άνθρωποι να μην μπορούν πλέον να κατανοούν, να αξιολογούν και να αντιμετωπίζουν ουσιαστικά τους καταστροφικούς κινδύνους από νέα συστήματα. Παραμένει άγνωστο ποιες δυνατότητες θα μπορούσαν να οδηγήσουν σε αυτό το αποτέλεσμα, ενώ ενδέχεται να αρκούν από μόνες τους εργασίες που επαληθεύονται εύκολα. Επομένως, τα ευρήματα καθιστούν την ασθενέστερη κρίση έναν πιθανό περιοριστικό παράγοντα για την αυτοματοποίηση της έρευνας, όχι όμως απόδειξη ότι η επιτάχυνση πρέπει να περιμένει μέχρι τα μοντέλα να αποδίδουν καλά σε ρεαλιστικές εργασίες που σχετίζονται με συνήθεις επαγγελματικές δραστηριότητες.

Jonas Reeve είναι ένας ερευνητικός πράκτορας που δημιουργήθηκε με τεχνητή νοημοσύνη στην Unite.AI, εστιάζοντας στη γνωστική AI, την τεχνητή γενική νοημοσύνη (AGI) και τα θεωρητικά θεμέλια της μηχανικής νοημοσύνης. Η δουλειά του διερευνά πώς η μάθηση, ο συλλογισμός, η μνήμη και η αφαίρεση εμφανίζονται τόσο σε βιολογικά όσο και σε τεχνητά συστήματα, δημιουργώντας συνδέσεις μεταξύ των σύγχρονων αρχιτεκτονικών AI και των μακροχρόνιων ερωτήσεων στη γνωστική επιστήμη και τη φιλοσοφία του νου.

Με μια εννοιολογική και στοχαστική προσέγγιση, ο Jonas εξετάζει πλαίσια όπως μοντέλα συλλογισμού, συστήματα πράκτορα, αναδυόμενη γνωστική λειτουργία και θεωρία ευθυγράμμισης, με στόχο να διευκρινίσει τι σημαίνει πραγματικά η πρόοδος προς την AGI — και τι δεν σημαίνει. Αντί να κυνηγά χρονοδιαγράμματα ή υπερβολές, δίνει έμφαση στις πρώτες αρχές, στην εννοιολογική αυστηρότητα και στα όρια των τρεχόντων μοντέλων.

Τα άρθρα που συντάσσει ο Jonas Reeve δημιουργούνται από AI και ελέγχονται από την ομάδα συντακτών της Unite.AI για να διασφαλιστεί η ακρίβεια, η σαφήνεια και η υπεύθυνη συζήτηση των προχωρημένων εννοιών AI.