Η OpenAI παρουσιάζει το BioBasicsBench για να δοκιμάσει πράκτορες ΤΝ σε δεδομένα εργαστηριακών πειραμάτων

Η OpenAI παρουσίασε το BioBasicsBench στις 6 Νοεμβρίου 2026, ένα benchmark 100 εργασιών που αναπτύχθηκε σε συνεργασία με την εταιρεία σχεδιασμού ενζύμων Ligo, για να δοκιμάσει αν οι πράκτορες ΤΝ μπορούν να ερμηνεύουν πρωτογενή δεδομένα από συνήθη εργαστηριακά πειράματα.

Η OpenAI παρουσιάζει τα αποτελέσματα ως μέση ανταμοιβή, δηλαδή ως τον μέσο όρο της βαθμολογίας στις εργασίες, εκφρασμένο ως ποσοστό των διαθέσιμων μονάδων. Στη ρύθμιση xhigh, την υψηλότερη ρύθμιση συλλογιστικής προσπάθειας που αναφέρθηκε για καθένα από τα επτά μοντέλα που δοκιμάστηκαν, το GPT-6 Astra πέτυχε 66,7%, με διάστημα εμπιστοσύνης 95% από 60,3% έως 73,1%, ενώ το GPT-5.6 Sol σημείωσε 43,8%, με διάστημα από 37,6% έως 50,0%. Το Astra παρήγαγε κατά μέσο όρο 4.704 tokens ανά εργασία, έναντι 9.099 για το Sol.

Βασίζεται σε δεδομένα από συνήθη πειράματα

Το BioBasicsBench αντιμετωπίζει έναν περιορισμό που εντοπίζει η OpenAI στις αξιολογήσεις οι οποίες βασίζονται σε γραφήματα και εικόνες επιλεγμένα για επιστημονικές δημοσιεύσεις: η καθημερινή εργαστηριακή εργασία περιλαμβάνει επίσης αποτυχημένα πειράματα, αμφίσημες εικόνες, αντικρουόμενες παρατηρήσεις και αντιμετώπιση προβλημάτων. Οι εργασίες ζητούν από τους πράκτορες να ερμηνεύουν πειραματικά δεδομένα, να εντοπίζουν σφάλματα και να αναγνωρίζουν πότε τα στοιχεία δεν επαρκούν για να τεκμηριώσουν ένα συμπέρασμα. Καλύπτουν μεθόδους μελέτης πρωτεϊνών, απεικόνιση και κυτταρομετρία, ποσοτικοποίηση και δοκιμασίες, μεθόδους μελέτης νουκλεϊκών οξέων και μοριακή κλωνοποίηση.

Οι επιστήμονες δημιούργησαν τις εργασίες με βάση δικά τους πειράματα και συνέταξαν κριτήρια βαθμολόγησης. Τα δεδομένα εισόδου περιλαμβάνουν εικόνες πηκτωμάτων και αποτυπωμάτων, τρυβλία με αποικίες, σειρές εικόνων μικροσκοπίας, αναγνώσεις αλληλούχισης, εξαγωγές δεδομένων από αναγνώστες μικροπλακών, φωτογραφίες εργαστηριακού πάγκου και βίντεο πρωτοκόλλων. Κάθε εργασία μπορεί να συνδυάζει διάφορα είδη στοιχείων και συνοδευτικά φύλλα αναφοράς, όπως διαγράμματα δεικτών μοριακού βάρους και χάρτες πλασμιδίων. Οι πράκτορες δίνουν δομημένα συμπεράσματα, μετρήσεις ή συστάσεις, ενώ τα κριτήρια αποδίδουν βαθμούς για στοιχεία όπως αριθμητικά αποτελέσματα, τεκμηριωμένη συλλογιστική και αναγνώριση ότι τα διαθέσιμα στοιχεία είναι ανεπαρκή.

Κάθε εργασία εξετάστηκε αρχικά εσωτερικά από επιστήμονα της Ligo που δεν την είχε συντάξει, έπειτα εξωτερικά από επιστήμονα εργαστηριακής έρευνας με διδακτορικό και, τέλος, υποβλήθηκε σε εσωτερική επανεξέταση που κάλυπτε την εκφώνηση, τα στοιχεία, τα κριτήρια βαθμολόγησης, τις σημειώσεις του συντάκτη και μία βαθμολογημένη απόπειρα μοντέλου. Η αξιολόγηση κάλυψε 37 συνδυασμούς μοντέλων και ρυθμίσεων συλλογιστικής προσπάθειας, με πέντε απόπειρες σε κάθε εργασία για κάθε συνδυασμό, παράγοντας 18.500 αποτελέσματα. Τα διαστήματα εμπιστοσύνης υπολογίστηκαν με επαναδειγματοληψία ολόκληρων εργασιών, διατηρώντας μαζί τις πέντε απόπειρες για καθεμία.

Παραδείγματα που εξηγούν τη βελτίωση του Astra

Σε μια εργασία απεικόνισης κυττάρων, το GPT-5.6 Sol ταξινόμησε τα κύτταρα ως νεκρά με βάση το σήμα μιας χρωστικής. Το Astra αναγνώρισε ότι τα επικαλυπτόμενα παράθυρα ανίχνευσης ενδέχεται να επιτρέψουν παρεμβολή από δεύτερη χρωστική και ζήτησε μάρτυρες που θα μπορούσαν να διαχωρίσουν τα σήματα. Σε μια εργασία κλωνοποίησης DNA, το Sol βασίστηκε στο ότι δεν υπήρχαν αποικίες σε τρυβλίο αρνητικού μάρτυρα, ενώ το Astra παρατήρησε ότι στο τρυβλίο αναγραφόταν καναμυκίνη και όχι η αμπικιλλίνη που χρησιμοποιήθηκε στο πείραμα και το απέρριψε ως αξιόπιστο μάρτυρα.

Μια άλλη εργασία έδειχνε κύτταρα να μπαίνουν και να βγαίνουν από την εστίαση. Το Sol αναζήτησε βιολογική εξήγηση για την φαινομενική εξαφάνισή τους, ενώ το Astra αναγνώρισε μια στοίβα εικόνων στον άξονα z, δηλαδή μια σειρά εικόνων που έχουν ληφθεί σε διαφορετικά βάθη. Η OpenAI ερμηνεύει αυτά τα παραδείγματα ως ενδείξεις καλύτερης διαχείρισης πολυτροπικών δεδομένων, αξιοποίησης του πειραματικού πλαισίου και αναγνώρισης του τι μπορούν και τι δεν μπορούν να τεκμηριώσουν τα δεδομένα, καθώς και ως ένδειξη ότι οι ισχυρότερες εγγενείς πολυτροπικές δυνατότητες μπορεί να είναι σημαντικές για τη συνήθη εργαστηριακή ανάλυση.

Πού αποκαλύπτονται οι αδυναμίες του benchmark

Η OpenAI προειδοποιεί ότι οι υψηλότερες βαθμολογίες δεν ισοδυναμούν ακόμη με αξιόπιστη εργαστηριακή κρίση. Σε μια εργασία PCR αποικιών, το Astra επέλεξε τις λωρίδες 4, 6, 7 και 8, με την παραδοχή ότι ένα μεγαλύτερο προϊόν PCR υποδήλωνε επιτυχή κλωνοποίηση· η ερμηνεία αναφοράς επέλεξε τις λωρίδες 5, 9 και 10. Αυτό το λάθος θα οδηγούσε σε καθαρισμό του λανθασμένου πλασμιδίου.

Άλλα παραδείγματα δείχνουν ότι ακόμη και οι σωστές παρατηρήσεις δεν καθορίζουν κατ’ ανάγκη την τελική απάντηση. Το Astra γενίκευσε ότι τα κενοτόπια, διαμερίσματα στο εσωτερικό των κυττάρων, είναι συνήθως πιο σκούρα από το περιβάλλον κυτταρικό υλικό, παρότι στην ίδια εικόνα τα κενοτόπια ήταν πιο ανοιχτόχρωμα. Η αλλαγή του βάθους εστίασης μπορεί να αντιστρέψει την αντίθεση, ενώ στις δικές του ενδιάμεσες παρατηρήσεις το Astra είχε σημειώσει ότι η αντίθεση μεταβαλλόταν ανάλογα με την εστίαση. Σε μια εργασία καταμέτρησης αποικιών, η OpenAI αναφέρει ότι το Astra δεν διαχώρισε τις αποικίες που βρίσκονταν κοντά η μία στην άλλη, δεν εντόπισε ορατές αποικίες και σημείωσε άγαρ χωρίς αποικίες, με αποτέλεσμα να υπερεκτιμήσει τον αριθμό κατά περίπου 12% σε σχέση με την τιμή αναφοράς του benchmark. Με σταθερό τον όγκο που επιστρώθηκε και την αραίωση, αυτή η υπερεκτίμηση διογκώνει κατά το ίδιο ποσοστό την εκτιμώμενη αποτελεσματικότητα εισαγωγής DNA.

Η OpenAI αναφέρει ότι η παρακολούθηση της ανάπτυξης αυτών των δυνατοτήτων θα συμβάλει επίσης στην αξιολόγηση των συνεπειών τους για τη βιοασφάλεια και την προστασία από βιολογικές απειλές.

Ο πρακτικός πήχης είναι, επομένως, υψηλότερος από μια καλύτερη συνολική βαθμολογία: ένας πράκτορας πρέπει να μεταφέρει τις ακριβείς παρατηρήσεις του έως το τελικό συμπέρασμα, να ελέγχει τους μάρτυρες και να μην καταλήγει σε συμπεράσματα που δεν υποστηρίζονται από τα στοιχεία. Το BioBasicsBench θέτει αυτές τις απαιτήσεις ως στόχους βελτίωσης, ενώ τα αναλυτικά παραδείγματα αποτυχιών του δείχνουν γιατί η πρόοδος προς την εργαστηριακή υποστήριξη εξακολουθεί να εξαρτάται από τη γεφύρωση του χάσματος ανάμεσα στην παρατήρηση των στοιχείων και στη λήψη ορθής πειραματικής απόφασης.