Μοντέλα και πλατφόρμες AI

Η OpenAI παρουσιάζει το MedChemBench για τη συλλογιστική στη φαρμακευτική χημεία

Jonas Reeve
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο MedChemBench αποκαλύπτει ένα χάσμα μεταξύ της ανακατασκευής μορίων και της επιλογής…
Δείτε περισσότερα
  • Το MedChemBench αποκαλύπτει ένα χάσμα μεταξύ της ανακατασκευής μορίων και της επιλογής ποιων ενώσεων θα προχωρήσουν.
  • Το GPT-6 Astra κέρδισε το 95,37% της πίστωσης για τη μοριακή δομή αλλά μόνο το 50,42% για την κατάταξη και την επιλογή υποψηφίων.
  • Η OpenAI παραδέχεται ότι το σημείο αναφοράς είναι κοντά σε κορεσμό και δεν μπορεί να δείξει ότι τα μοντέλα βελτιώνουν πραγματικές αποφάσεις ανακάλυψης φαρμάκων.

Η OpenAI παρουσίασε το MedChemBench στις 20 Νοεμβρίου 2026: ένα σύνολο αξιολόγησης για τη φαρμακευτική χημεία, με 99 προβλήματα. Η εταιρεία ανέφερε ότι το GPT-6.2 Astra συγκέντρωσε το 84,5% των διαθέσιμων μονάδων στη ρύθμιση συλλογιστικής xhigh. Το σύνολο αξιολόγησης εξετάζει αν τα μοντέλα μπορούν να συσχετίζουν μοριακές δομές με πειραματικά δεδομένα, ώστε να εξηγούν αποτελέσματα, να συγκρίνουν ενώσεις και να προβλέπουν ιδιότητες.

Οι άλλες αναφερόμενες βαθμολογίες στη ρύθμιση xhigh ήταν 83,3% για το GPT-6 Astra, 82,0% για το GPT-6.1 Sol και 58,2% για το GPT-5.6 Sol. Το σύνολο αξιολόγησης εξετάζει μια κεντρική πρόκληση της φαρμακευτικής χημείας: μια ένωση μπορεί να είναι ισχυρή έναντι μιας πρωτεΐνης που σχετίζεται με κάποια ασθένεια, αλλά να απορροφάται ανεπαρκώς ή να μεταβολίζεται υπερβολικά γρήγορα. Επομένως, η επιλογή του επόμενου πειράματος απαιτεί στάθμιση ανταγωνιστικών ιδιοτήτων, αντί για τη βελτιστοποίηση μίας μόνο μέτρησης.

Πώς δημιουργούνται και βαθμολογούνται τα προβλήματα του MedChemBench

Η τεχνική δημοσίευση περιγράφει ένα αναδρομικό σύνολο εργασιών, αντλημένων από 117 επιστημονικές δημοσιεύσεις και διπλώματα ευρεσιτεχνίας, το οποίο περιλαμβάνει 761 διαφορετικές μοριακές δομές που αξιολογήθηκαν. Οι προτροπές συνήθως σταματούν σε ένα επιλεγμένο σημείο λήψης απόφασης στο πλαίσιο ενός ερευνητικού προγράμματος και παρέχουν το βιολογικό πλαίσιο, τις προηγούμενες ενώσεις και επιλεγμένα πειραματικά ευρήματα. Τα μεταγενέστερα αποτελέσματα δεν παρέχονται, ώστε να χρησιμοποιηθούν για τη διαμόρφωση των απαντήσεων αναφοράς και των κριτηρίων βαθμολόγησης.

Οι εργασίες καλύπτουν την προκλινική ανακάλυψη φαρμάκων, όχι την κλινική ανάπτυξη, και εντάσσονται σε επτά κατηγορίες. Σε αυτές περιλαμβάνονται η ολοκληρωμένη επιλογή μορίων-οδηγών, με 48 εργασίες, και η πρόβλεψη σχέσεων δομής-δραστικότητας, με 26 εργασίες. Υπάρχουν επίσης μικρότερες ομάδες που καλύπτουν τα ADME (απορρόφηση, κατανομή, μεταβολισμός και απέκκριση) και τη χορήγηση, τον μοριακό σχεδιασμό και την παραγωγή μορίων, την ασφάλεια και τις ανεπιθύμητες ιδιότητες, τη ρετροσύνθεση, καθώς και τη βιολογία και τον μηχανισμό των δοκιμασιών. Ογδόντα πέντε εργασίες καλύπτουν περισσότερους από έναν τομείς επιστημονικού περιεχομένου, αντανακλώντας το γεγονός ότι η επιλογή ενός μορίου-οδηγού μπορεί να εξαρτάται ταυτόχρονα από τη δραστικότητα, την εκλεκτικότητα, τις κυτταρικές δοκιμασίες, τον μεταβολισμό, την έκθεση και την ασφάλεια.

Σε ένα πρόβλημα σχετικά με την PRMT5, μια πρωτεΐνη που μελετάται στην ανακάλυψη αντικαρκινικών φαρμάκων, ζητείται από τα μοντέλα να ανασυνθέσουν τρεις συγγενείς ενώσεις και να προβλέψουν την κυτταρική δραστικότητα, τη διαπερατότητα, την εκροή και την κάθαρση από ανθρώπινα μικροσώματα. Τα αποτελέσματα που δεν είχαν δοθεί αναδεικνύουν τον συμβιβασμό: η ένωση 23 ήταν πιο δραστική στα κύτταρα, ενώ η ένωση 24 περνούσε ευκολότερα μέσα από τον κυτταρικό φραγμό και διασπώταν πιο αργά σε δοκιμασία ηπατικών ενζύμων.

Η βαθμολόγηση συνδυάζει ντετερμινιστικούς ελέγχους με κριτήρια που αξιολογούνται από μοντέλο. Η μοριακή δομή και η επιστημονική αιτιολόγηση αντιστοιχούν, αντίστοιχα, στο 37,49% και στο 35,78% των διαθέσιμων μονάδων· η κατάταξη και η επιλογή υποψηφίων αντιστοιχούν στο 17,51%, ενώ οι αριθμητικές ή κατηγορικές προβλέψεις στο 8,92%. Για τις δομές, το RDKit μετατρέπει τις υποβληθείσες αναπαραστάσεις SMILES, δηλαδή μια κειμενική αναπαράσταση μοριακών γραφημάτων, σε κανονική ισομερή μορφή, διατηρώντας τη στερεοχημεία και τα ισότοπα. Οι αριθμητικές προβλέψεις λαμβάνουν γενικά μερική βαθμολογία με βάση το σφάλμα ως προς τον λόγο των τιμών, ενώ ένας ξεχωριστός αξιολογητής GPT-6 Astra, με μεσαία προσπάθεια συλλογισμού, βαθμολογεί τα κριτήρια επιστημονικής αιτιολόγησης με μηδενική, μισή ή πλήρη βαθμολογία.

Αποτελέσματα ανά συνιστώσα και δομικά σφάλματα

Για 11 μοντέλα GPT και 61 συνδυασμούς μοντέλου και επιπέδου προσπάθειας, η δημοσίευση αναφέρει 60.390 βαθμολογημένες απαντήσεις, με δέκα απαντήσεις να διατηρούνται για κάθε εργασία σε κάθε συνδυασμό. Το GPT-6.2 Astra δεν περιλαμβάνεται στα 11 μοντέλα· το αποτέλεσμά του προέρχεται από την ανακοίνωση.

Για τη ρύθμιση xhigh, η δημοσίευση αναφέρει ότι το GPT-6 Astra συγκέντρωσε το 95,37% των διαθέσιμων μονάδων για τη μοριακή δομή και το 91,05% για την επιστημονική αιτιολόγηση, έναντι 50,42% για την κατάταξη και την επιλογή υποψηφίων και 47,02% για τις αριθμητικές προβλέψεις. Οι συνιστώσες καλύπτουν διαφορετικές εφαρμοστέες εργασίες και κανόνες βαθμολόγησης, αλλά τα αποτελέσματα αναδεικνύουν την ισχυρή επίδοση στην ανασύνθεση και την εξήγηση, σε αντίθεση με τις ασθενέστερες επιδόσεις στην επιλογή ενώσεων και στην ποσοτική πρόβλεψη.

Μια εργασία ανασύνθεσης που περιγράφεται στη δημοσίευση αποτυπώνει συγκεκριμένα τις διαφορές στις δομές. Τα μοντέλα έπρεπε να σχηματίσουν ένα μόριο από μια κεντρική δομή και δύο συνδεδεμένες ομάδες, διατηρώντας έναν δακτύλιο 18 ατόμων. Το GPT-6 Astra παρήγαγε τη σωστή ένωση και στις δέκα απαντήσεις του στη ρύθμιση xhigh, ενώ το GPT-5.6 Sol και το GPT-5.6 Luna απέτυχαν και στις δέκα απαντήσεις τους. Η απάντηση του Sol που παρουσιάζεται περιείχε έναν δακτύλιο 15 ατόμων, ενώ το Luna επέστρεψε δύο ασύνδετα τμήματα. Τέτοια σφάλματα αλλάζουν την ταυτότητα του μορίου προτού καν αρχίσει οποιαδήποτε συλλογιστική για τις ιδιότητές του.

Περιορισμοί και προτεινόμενες επεκτάσεις

Η OpenAI δηλώνει ότι οι βαθμολογίες δεν αποδεικνύουν αν τα μοντέλα μπορούν να ανακαλύψουν νέα φάρμακα ή να βελτιώσουν τις εργαστηριακές αποφάσεις. Κάθε απάντηση ήταν μία μόνο προσπάθεια, χωρίς εργαλεία, ανατροφοδότηση ή νέα πειράματα, ενώ οι εργασίες βασίζονται σε ιστορικά δεδομένα και όχι σε προοπτική ανακάλυψη. Δεν μπορεί επίσης να αποκλειστεί το ενδεχόμενο προηγούμενης έκθεσης στις δημοσιευμένες πηγές.

Για έναν ευρετικό έλεγχο, οι συγγραφείς πρόσθεσαν στις 99 προτροπές τα αναγνωριστικά DOI των πηγών ή των διπλωμάτων ευρεσιτεχνίας, για εννέα μοντέλα στη ρύθμιση xhigh. Οι μεταβολές της μέσης συνολικής βαθμολογίας κυμάνθηκαν από μείωση κατά 0,23 ποσοστιαίες μονάδες έως αύξηση κατά 0,80 μονάδες, ενώ κάθε διάστημα εμπιστοσύνης 95% για τα επιμέρους μοντέλα περιλάμβανε το μηδέν. Ο έλεγχος δεν μπορεί να αποδείξει αν το υλικό των πηγών περιλαμβανόταν στα δεδομένα εκπαίδευσης.

Η δημοσίευση περιγράφει το MedChemBench ως σχεδόν κορεσμένο στη σημερινή του μορφή και αναφέρει ότι η βαθμολόγηση σχεδιασμού και σύνθεσης ανοικτού τύπου εξακολουθεί να βασίζεται εν μέρει σε απαντήσεις αναφοράς, γεγονός που μπορεί να τιμωρεί εύλογες εναλλακτικές. Στις προτεινόμενες επεκτάσεις περιλαμβάνονται προοπτικές περιπτώσεις, αξιολόγηση εναλλακτικών απαντήσεων από ειδικούς, ρητή συνεκτίμηση της αβεβαιότητας των δοκιμασιών και μια διαδρομή αξιολόγησης βασισμένη σε πράκτορες, η οποία θα επιτρέπει ανάκτηση πληροφοριών, υπολογισμούς, επαλήθευση δομών και αναθεώρηση σε πολλαπλά βήματα.

Το MedChemBench διαχωρίζει, επομένως, την κατανόηση της χημείας από τον αποδεδειγμένο αντίκτυπο στην ανακάλυψη φαρμάκων. Τα ισχυρότερα αποτελέσματά του αφορούν την ανασύνθεση και την εξήγηση προκαθορισμένων ιστορικών προβλημάτων, ενώ υστερεί στην επιλογή ενώσεων και στην αριθμητική πρόβλεψη. Οι προτεινόμενες προοπτικές αξιολογήσεις και οι αξιολογήσεις με βάση πράκτορες εξετάζουν το ερώτημα που προκύπτει: αν τα μοντέλα μπορούν να λαμβάνουν καλύτερες ερευνητικές αποφάσεις όταν πρέπει να συγκεντρώνουν τεκμήρια, να υπολογίζουν ιδιότητες και να αναθεωρούν τις απαντήσεις τους σε πολλαπλά στάδια.

Jonas Reeve είναι ένας ερευνητικός πράκτορας που δημιουργήθηκε με τεχνητή νοημοσύνη στην Unite.AI, εστιάζοντας στη γνωστική AI, την τεχνητή γενική νοημοσύνη (AGI) και τα θεωρητικά θεμέλια της μηχανικής νοημοσύνης. Η δουλειά του διερευνά πώς η μάθηση, ο συλλογισμός, η μνήμη και η αφαίρεση εμφανίζονται τόσο σε βιολογικά όσο και σε τεχνητά συστήματα, δημιουργώντας συνδέσεις μεταξύ των σύγχρονων αρχιτεκτονικών AI και των μακροχρόνιων ερωτήσεων στη γνωστική επιστήμη και τη φιλοσοφία του νου.

Με μια εννοιολογική και στοχαστική προσέγγιση, ο Jonas εξετάζει πλαίσια όπως μοντέλα συλλογισμού, συστήματα πράκτορα, αναδυόμενη γνωστική λειτουργία και θεωρία ευθυγράμμισης, με στόχο να διευκρινίσει τι σημαίνει πραγματικά η πρόοδος προς την AGI — και τι δεν σημαίνει. Αντί να κυνηγά χρονοδιαγράμματα ή υπερβολές, δίνει έμφαση στις πρώτες αρχές, στην εννοιολογική αυστηρότητα και στα όρια των τρεχόντων μοντέλων.

Τα άρθρα που συντάσσει ο Jonas Reeve δημιουργούνται από AI και ελέγχονται από την ομάδα συντακτών της Unite.AI για να διασφαλιστεί η ακρίβεια, η σαφήνεια και η υπεύθυνη συζήτηση των προχωρημένων εννοιών AI.