Η SemiAnalysis λανσάρει το GDPx, benchmark που καλύπτει 11 τομείς αυτόνομων πρακτόρων

Στις 2 Νοεμβρίου 2026, η SemiAnalysis παρουσίασε το GDPx, ένα benchmark γενικών ικανοτήτων αυτόνομων πρακτόρων που καλύπτει 11 επαγγελματικούς τομείς, με μια ανακοίνωση των Max Kan, Andrew Megalaa και Dylan Patel. Το Claude Opus 5.5 της Anthropic βρίσκεται στην κορυφή του αρχικού πίνακα κατάταξης, με βαθμολογία 12,0%.

Ο πίνακας κατάταξης της V1.0

Ο επίσημος ιστότοπος του GDPx αναφέρει ότι η πρώτη έκδοση περιλαμβάνει 206 εργασίες, οι οποίες δημιουργήθηκαν σε συνεργασία με 14 εξειδικευμένους συνεργάτες δεδομένων, ενώ στον πίνακα κατάταξης περιλαμβάνονται 13 μοντέλα. Το Claude Opus 5.5 βρίσκεται στην κορυφή, με μέσο κόστος 51,41 $ ανά εργασία και 548K tokens εξόδου. Το Gemini 4 Carbon της Google καταλαμβάνει τη δεύτερη θέση με 10,9% και κόστος 16,29 $ ανά εργασία, ενώ το GPT-6 Astra της OpenAI είναι τρίτο με 9,6% και κόστος 53,99 $ ανά εργασία. Το Muse Wonder Full της Meta βρίσκεται στην τέταρτη θέση με 9,0%, χωρίς να αναφέρεται δημόσια τιμή, ενώ το GLM 5.3 της Z.ai κατατάσσεται 13ο με 2,7%.

Η SemiAnalysis περιγράφει το GDPx ως benchmark πραγματικά κορυφαίου επιπέδου, ακριβώς επειδή η υψηλότερη βαθμολογία παραμένει τόσο χαμηλή. Η βασική βαθμολογία GDPx υπολογίζεται ως ο μέσος όρος του αποτελέσματος pass@1 κάθε μοντέλου σε τρεις προσπάθειες, με ίση στάθμιση για κάθε τομέα και με εφαρμογή της μεθόδου βαθμολόγησης που προβλέπεται για κάθε εργασία, είτε δυαδικής είτε συνεχούς.

Σχεδιασμός, συνεργάτες και μεθοδολογία

Οι τομείς είναι ο σχεδιασμός μικροτσίπ, η κυβερνοασφάλεια, η βιολογία, τα χρηματοοικονομικά, η νομική, οι ποσοτικές συναλλαγές, η αναδρομική αυτοβελτίωση (RSI), ο σχεδιασμός υλικού, η επιστήμη των υλικών, η ευθυγράμμιση και η μηχανική λογισμικού. Η SemiAnalysis αναφέρει ότι επέλεξε σκόπιμα να μην καλύψει κλάδους όπως η δημόσια διοίκηση, τα ακίνητα και οι ασφάλειες. Οι συντάκτες υποστηρίζουν ότι το πρώτο τρισεκατομμύριο δολάρια εσόδων από την ΤΝ θα συγκεντρωθεί σε τομείς που μπορούν να αξιοποιήσουν τεχνολογία αιχμής με υψηλή απόδοση επένδυσης (ROI), και ότι είναι λάθος να δημιουργηθεί ένα γενικό benchmark με βάση το μερίδιο στο ΑΕΠ ή την επαγγελματική ταξινομία SOC/O*NET.

Κάθε τομέας αναπτύχθηκε με εξειδικευμένους συνεργάτες: οι Aria, Arcverex και Ergodex για τον σχεδιασμό μικροτσίπ· η Arithmetic για την κυβερνοασφάλεια· η Latch Bio για τη βιολογία· η Living Context για τα χρηματοοικονομικά· η Chakra για τη νομική· η Third Moment για τις ποσοτικές συναλλαγές· η Extrapolate για την RSI· η Beautiful Machines για τον σχεδιασμό υλικού· οι ValenceForge και Emulated για την επιστήμη των υλικών· η Fleet για την ευθυγράμμιση· και η Datacurve για τη μηχανική λογισμικού.

Οι εργασίες έχουν προεπιλεγμένο χρονικό όριο οκτώ ωρών, ενώ τα μοντέλα εκτελούνται στο εγγενές τους περιβάλλον, όταν αυτό είναι διαθέσιμο —Claude Code για το Opus 5.5, Codex για το GPT-6 Astra και Antigravity για το Gemini 4 Carbon—, με το OpenCode ως εναλλακτική λύση. Η SemiAnalysis απαίτησε από κάθε συνεργάτη να περάσει τον αυτοματοποιημένο έλεγχο ποιότητας με την πρώτη προσπάθεια, με το πολύ μικρά λάθη, και αναφέρει ότι η ίδια διαδικασία επισημαίνει ως προβληματικό σχεδόν το 50% των εργασιών στο benchmark Terminal Bench 4.0.

Η κριτική στο GDPval

Η ανακοίνωση παρουσιάζει το GDPx ως διάδοχο του GDPval της OpenAI, το οποίο κυκλοφόρησε στις 25 Σεπτεμβρίου 2025 και, σύμφωνα με τους συντάκτες, εξακολουθεί να είναι το δημοφιλέστερο benchmark γενικής χρήσης που εμφανίζεται στις κάρτες κυκλοφορίας μεγάλων μοντέλων. Οι συντάκτες επικρίνουν τις εργασίες του GDPval επειδή δεν είναι διαδραστικές και παρέχουν στην εκφώνηση όλο το απαραίτητο πλαίσιο έτοιμο, ενώ αναφέρουν ότι η συμφωνία μεταξύ ανθρώπινων ειδικών που αξιολογούσαν ανεξάρτητα το χρυσό υποσύνολό του ήταν 71%. Αντίθετα, κάθε εργασία GDPx συνοδεύεται από ένα ρεαλιστικό περιβάλλον: για παράδειγμα, οι 24 εργασίες χρηματοοικονομικών αναπαριστούν μια πραγματική συναλλαγή ιδιωτικών επενδυτικών κεφαλαίων, στην οποία ένα fund αγοράζει περίπου το 62% ενός κατασκευαστή σνακ έναντι 880 εκατομμυρίων δολαρίων, συν πρόσθετη πληρωμή που εξαρτάται από μελλοντικές επιδόσεις, και η συναλλαγή ανασυντίθεται μέσα από περίπου 4.000 ανωνυμοποιημένα αρχεία.

Αποτελέσματα ανά τομέα και δηλωμένοι περιορισμοί

Η SemiAnalysis αναφέρει ότι το Claude Opus 5.5 είναι το καλύτερο μοντέλο συνολικά, καθώς επικρατεί στις ποσοτικές συναλλαγές, στον σχεδιασμό υλικού και στον σχεδιασμό μικροτσίπ· ότι το Gemini 4 Carbon είναι το καλύτερο μοντέλο για τη βιολογία, με οριακή νίκη στη μηχανική λογισμικού· και ότι το GPT-6 Astra επικρατεί στην RSI και στην επιστήμη των υλικών. Η εταιρεία επισημαίνει ότι οι συνολικές βαθμολογίες των Opus 5.5 και GPT-6 Astra μειώνονται τεχνητά από τους ταξινομητές ασφαλείας τους στους τομείς της κυβερνοασφάλειας, της βιολογίας και της ευθυγράμμισης, ενώ περιγράφει το Muse Wonder Full της Meta ως το καλύτερο διαθέσιμο μοντέλο κυβερνοασφάλειας, με σημαντική διαφορά από τα υπόλοιπα.

Οι εργασίες χρηματοοικονομικών και νομικής είναι τόσο δύσκολες, ώστε όλα τα μοντέλα βαθμολογούνται με μηδέν βάσει της προβλεπόμενης δυαδικής βαθμολόγησης· γι’ αυτό η SemiAnalysis αναφέρει μέσες μερικές βαθμολογίες για αυτούς τους τομείς. Στις ποσοτικές συναλλαγές, 70 από τις 111 αξιολογημένες εκτελέσεις είχαν χειρότερη επίδοση από τη στρατηγική αναφοράς που κλήθηκε να ξεπεράσει ο πράκτορας, ενώ κανένα μοντέλο δεν έλυσε τη δημόσια εργασία aapl-target-winsorization. Στις εργασίες κυβερνοασφάλειας και ευθυγράμμισης της Fleet, 196 από τις 200 εκτελέσεις παραβίασαν τουλάχιστον έναν κανόνα συμπεριφοράς και 173 παραβίασαν κανόνα που χαρακτηριζόταν ως ένδειξη σοβαρής αστοχίας ευθυγράμμισης· στις εργασίες υγειονομικής περίθαλψης, 19 από τις 100 εκτελέσεις σημείωσαν βαθμολογία πάνω από το μηδέν. Όσον αφορά το κόστος, η SemiAnalysis τοποθετεί το GPT-6 Luna και το DeepSeek στο χαμηλό άκρο του μετώπου κόστους-απόδοσης, το Opus στο υψηλό άκρο και την OpenAI στη μέση.

Η SemiAnalysis αναφέρει ότι το GDPx προορίζεται να είναι ένα benchmark που εξελίσσεται διαρκώς, με νέες εκδόσεις να προγραμματίζονται κάθε 3–6 μήνες, και παραθέτει το gdpx@semianalysis.com για εταιρείες δεδομένων που ενδιαφέρονται να συμμετάσχουν και εργαστήρια που επιδιώκουν να αξιολογήσουν μελλοντικές κυκλοφορίες.