Η Google ανοίγει διαγωνισμό και σημείο αναφοράς μηχανικής με 85 εργασίες

Η Google AI & Infrastructure ανακοίνωσε στις 3 Νοεμβρίου 2026 ότι θα διαθέσει στο κοινό 29 εργασίες, εργαλεία βαθμολόγησης και ένα κοντέινερ αξιολόγησης για το Physical-Engineering’s Last Exam (PLE), ένα σημείο αναφοράς μηχανικής με 85 εργασίες που αναπτύχθηκε σε συνεργασία με τη Mercor, καθώς και έναν ανοιχτό διαγωνισμό για πράκτορες και έναν πίνακα κατάταξης.

Το PLE ζητά από έναν πράκτορα να ολοκληρώσει επαγγελματικές εργασίες στους τομείς της μηχανολογίας, της ηλεκτρολογίας, της πολιτικής μηχανικής και της στατικής, αντί να απαντήσει σε ερωτήσεις τύπου σχολικού εγχειριδίου ή να εκτελέσει μια μεμονωμένη κλήση εργαλείου. Το σημείο αναφοράς περιλαμβάνει 30 εργασίες μηχανολογίας, 27 ηλεκτρολογίας, 18 πολιτικής μηχανικής και 10 στατικής. Η επιτυχία μετριέται με βάση παραδοτέα που πρέπει να συμμορφώνονται με τους κώδικες μηχανικής και τους φυσικούς περιορισμούς, καθώς και, στις εργασίες σχεδιασμού, με στόχους κόστους ή απόδοσης.

Η καταχώριση της δημοσίευσης στο arXiv αναφέρει ότι η αρχική υποβολή έγινε στις 21 Οκτωβρίου 2026 και η αναθεώρηση στις 30 Οκτωβρίου 2026. Η νέα εξέλιξη είναι η δημόσια διάθεση των εργασιών και των εργαλείων αξιολόγησης, καθώς και η έναρξη του διαγωνισμού, όχι η πρώτη δημοσίευση της εργασίας.

Αρχεία έργου και παραδοτέα παραγωγής

Κάθε εργασία εκτελείται σε ένα περιβάλλον έργου σε κοντέινερ, βασισμένο στο Archipelago της Mercor. Οι εργασίες περιλαμβάνουν κατά μέσο όρο 61 αρχεία και συνολικά 5.170 αρχεία σε όλο το σημείο αναφοράς, μεταξύ των οποίων PDF, υπολογιστικά φύλλα, email, δισδιάστατα σχέδια CAD, τρισδιάστατα μοντέλα BIM και παρωχημένες αναθεωρήσεις. Ο πράκτορας πρέπει να αποφασίσει ποια έγγραφα και ποιες απαιτήσεις ισχύουν, να εκτελέσει υπολογισμούς και να παραγάγει αρχεία, όπως τεχνικά σημειώματα, βιβλία υπολογισμών, καταλόγους εξοπλισμού και σχέδια, σε μορφότυπα κατάλληλα για έλεγχο από αδειοδοτημένους επαγγελματίες.

Επαγγελματίες μηχανικοί δημιούργησαν από την αρχή έως το τέλος τις 44 εργασίες που συνέταξαν ειδικοί, συμπεριλαμβανομένων των φακέλων έργου, των εκφωνήσεων και των σταθμισμένων κριτηρίων αξιολόγησης. Για τις 41 εργασίες που συντάχθηκαν από κοινού, οι μηχανικοί παρείχαν τις αρχικές περιγραφές· στη συνέχεια, μια αντιπαραθετική διαδικασία Creator–Solver δημιούργησε και δοκίμασε τα περιβάλλοντα και τα εκτελέσιμα συστήματα βαθμολόγησης, χρησιμοποιώντας πραγματικό υλικό που μπορεί να αδειοδοτηθεί. Έπειτα, ειδικοί επικύρωσαν τις εργασίες και αύξησαν τη δυσκολία τους. Η τεχνική εργασία αναφέρει ότι καμία εργασία δεν περιλαμβάνει ιδιόκτητες πληροφορίες ή πληροφορίες εμπιστευτικές για πελάτες: τα περιβάλλοντα που συνέταξαν ειδικοί γράφτηκαν από την αρχή, ενώ τα αρχεία των εργασιών που συντάχθηκαν από κοινού χρησιμοποιούν υλικό κοινής χρήσης, υλικό με άδειες που επιτρέπουν ευρεία χρήση ή υλικό που δημιουργήθηκε πρόσφατα.

Η βαθμολόγηση δίνει αντίστοιχη έμφαση στην ολοκλήρωση της εργασίας. Οι εργασίες που συνέταξαν ειδικοί αξιολογούνται με σταθμισμένα κριτήρια, τα οποία συνδέονται με τα στοιχεία που περιέχονται στα υποβληθέντα αρχεία. Οι εργασίες σχεδιασμού που συντάχθηκαν από κοινού συνδυάζουν τη συμμόρφωση με τους περιορισμούς με έναν οικονομικό στόχο ή στόχο απόδοσης, ενώ η αποτυχία σε έναν αυστηρό έλεγχο ασφάλειας ή εφικτότητας αποκλείει τον επηρεαζόμενο σχεδιασμό από τη λήψη βαθμολογίας για τον στόχο. Το σκέλος αξιολόγησης βάσει στόχου αντιμετωπίζει έναν περιορισμό της βαθμολόγησης που βασίζεται αποκλειστικά σε κριτήρια: δύο πίνακες καλωδίωσης μπορεί να περνούν τους ίδιους ελέγχους συμμόρφωσης με τους κώδικες, αλλά να διαφέρουν ως προς το κόστος εγκατάστασης.

Τα αρχικά αποτελέσματα αποκαλύπτουν κενό συμμόρφωσης

Η Google αξιολόγησε 14 μοντέλα με επτά δημόσια διαθέσιμα πλαίσια πρακτόρων, εκτελώντας κάθε εργασία τρεις φορές για κάθε διαμόρφωση. Τα κοντέινερ επίλυσης δεν είχαν πρόσβαση στο διαδίκτυο και επέτρεπαν έξι ώρες λειτουργίας του πράκτορα ανά εκτέλεση. Η αξιολόγηση βάσει κριτηρίων και η εκτελέσιμη βαθμολόγηση γίνονταν εκτός του κοντέινερ επίλυσης, ώστε τα συστήματα βαθμολόγησης και τα παραδοτέα αναφοράς να παραμένουν απρόσιτα στον πράκτορα.

Στο ιδιωτικό σύνολο δοκιμών των 56 εργασιών, η Google αναφέρει ότι κάθε μοντέλο σημείωσε κάτω από 50% στο εγγενές πλαίσιο πράκτορά του, με κορυφαίο το Claude Opus 5.5 στο Claude Code, με 48,3%. Ο πίνακας κατάταξης του διαγωνισμού κατατάσσει τα μοντέλα με βάση τα αποτελέσματα αυτών των κρυφών εργασιών.

Η ξεχωριστή αξιολόγηση της εργασίας και στις 85 εργασίες αναφέρει μέγιστη επίδοση 50,6% για το Claude Opus 5.5 στο Claude Code, με μέσο όρο 27 εκατομμύρια διακριτικά και 63 λεπτά ανά εργασία, και κόστος 17,18 δολάρια ανά εργασία στις τιμές καταλόγου. Επομένως, οι δύο κορυφαίες επιδόσεις αφορούν διαφορετικές αξιολογήσεις: η μία καλύπτει το κρυφό σύνολο δοκιμών με εγγενή πλαίσια πρακτόρων, ενώ η άλλη καλύπτει ολόκληρο το σημείο αναφοράς και τη διαμόρφωση μοντέλου-πλαισίου πράκτορα με την καλύτερη επίδοση.

Το πιο αποκαλυπτικό αποτέλεσμα αφορά τις εργασίες που συντάχθηκαν από κοινού. Η Google αναφέρει ότι η διαμόρφωση με την καλύτερη επίδοση ικανοποίησε το 91% των επιμέρους περιορισμών, αλλά μόνο το 41,3% των στοιχείων των παραδοτέων της πέρασε όλους τους αυστηρούς ελέγχους ασφάλειας και εφικτότητας που απαιτούνται για τη λήψη βαθμολογίας βάσει στόχου. Στην πράξη, οι πράκτορες συχνά ικανοποιούσαν τις περισσότερες απαιτήσεις, χωρίς όμως να παράγουν έναν πλήρως συμμορφούμενο σχεδιασμό — ακριβώς το κενό που έχει σχεδιαστεί να αναδεικνύει ο έλεγχος αυστηρών περιορισμών του PLE.

Η Google αναφέρει διαφορά περίπου 50 μονάδων μεταξύ των μοντέλων, έναντι διάμεσης διαφοράς τριών μονάδων μεταξύ των πλαισίων πράκτορα για το ίδιο μοντέλο, αν και η επιλογή πλαισίου εξακολουθούσε να επηρεάζει τόσο τις βαθμολογίες όσο και το κόστος. Τα αποτελέσματα των επιμέρους εργασιών παρουσίαζαν επίσης σημαντικές διακυμάνσεις, με μέσο εύρος 15,4 μονάδων σε τρεις εκτελέσεις για κάθε συνδυασμό εργασίας και πλαισίου πράκτορα. Αυτή η μεταβλητότητα στηρίζει την επιλογή των συγγραφέων να χρησιμοποιούν μέσους όρους επαναλαμβανόμενων εκτελέσεων αντί για μεμονωμένες προσπάθειες.

Ο διαγωνισμός δοκιμάζει το σύνολο της διαμόρφωσης του πράκτορα

Το επίσημο αποθετήριο χωρίζει το PLE σε 29 δημόσιες εργασίες ανάπτυξης και 56 κρυφές εργασίες δοκιμής. Ο διαγωνιζόμενος υποβάλλει το πλαίσιο του πράκτορά του —το λογισμικό που καθοδηγεί ένα επιλεγμένο μοντέλο κατά την εκτέλεση κάθε εργασίας— μαζί με την επιλογή μοντέλου και τα παραδοτέα που δημιουργήθηκαν στις δημόσιες εργασίες. Οι διοργανωτές βαθμολογούν αυτά τα παραδοτέα, εκτελούν ξανά το πλαίσιο σε δείγμα δημόσιων εργασιών για να ελέγξουν την αναπαραγωγιμότητα και, στη συνέχεια, το εκτελούν τρεις φορές στις κρυφές εργασίες, ώστε να καθορίσουν τη βαθμολογία στον πίνακα κατάταξης.

Οι συμμετέχοντες μπορούν να χρησιμοποιήσουν δωρεάν, στον διακομιστή αξιολόγησης, 13 μοντέλα που χρηματοδοτούνται από την Google, να δώσουν κλειδί API για εμπορικό μοντέλο ή να συνδέσουν έναν διακομιστή μοντέλου που φιλοξενούν οι ίδιοι. Το αποθετήριο, με άδεια χρήσης Apache-2.0, περιλαμβάνει αρχικά παραδείγματα για προσαρμοσμένα περιβλήματα εκτέλεσης και προσαρμογείς για υπάρχοντες πράκτορες, προσφέροντας στους συμμετέχοντες αρκετά σημεία εκκίνησης για τη δημιουργία μιας ολοκληρωμένης υποβολής.

Ο διαγωνισμός, επομένως, αξιολογεί περισσότερα από την τελική απάντηση ενός μοντέλου. Ένα υποβαλλόμενο σύστημα πρέπει να περιηγείται σε ρεαλιστικά αρχεία έργου, να αναπαράγει τα δημόσια αποτελέσματά του και να παράγει ολοκληρωμένα παραδοτέα που περνούν κρυφούς ελέγχους ασφάλειας, εφικτότητας και ποιότητας. Τα αποτελέσματα αναφοράς καθιστούν τη συμμόρφωση με όλες τις απαιτήσεις του πακέτου την κεντρική πρόκληση: η ικανοποίηση των περισσότερων επιμέρους απαιτήσεων εξακολουθεί να μην αρκεί, όταν η παραβίαση έστω και ενός αυστηρού περιορισμού μπορεί να στερήσει την αντικειμενική βαθμολογία από έναν κατά τα άλλα οικονομικά αποδοτικό σχεδιασμό.