Modelli e piattaforme di IA
OpenAI introduce MedChemBench per il ragionamento in chimica farmaceutica

Punti chiaveMedChemBench mette in luce un divario tra la ricostruzione delle molecole e la scelta…
Vedi di più
- MedChemBench mette in luce un divario tra la ricostruzione delle molecole e la scelta di quali composti far avanzare.
- GPT-6 Astra ha ottenuto il 95,37% del credito per la struttura molecolare ma solo il 50,42% per la classificazione e la selezione dei candidati.
- OpenAI ammette che il benchmark è prossimo alla saturazione e non può dimostrare che i modelli migliorino le decisioni reali nella scoperta di farmaci.
OpenAI ha presentato MedChemBench il 20 novembre 2026: un benchmark di chimica farmaceutica composto da 99 problemi. Ha riferito che GPT-6.2 Astra ha ottenuto l’84,5% dei crediti disponibili con l’impostazione xhigh per lo sforzo di ragionamento. Il benchmark verifica se i modelli sono in grado di collegare le strutture molecolari alle evidenze sperimentali per spiegare i risultati, confrontare i composti e prevederne le proprietà.
Gli altri punteggi xhigh riportati sono stati l’83,3% per GPT-6 Astra, l’82,0% per GPT-6.1 Sol e il 58,2% per GPT-5.6 Sol. Il benchmark affronta una difficoltà centrale della chimica farmaceutica: un composto può essere efficace contro una proteina associata a una malattia, ma essere assorbito male o metabolizzato troppo rapidamente. Per scegliere cosa testare in seguito, occorre quindi valutare proprietà in competizione tra loro, anziché ottimizzare una sola misura.
Come MedChemBench costruisce e valuta i compiti
L’articolo tecnico descrive una serie retrospettiva di compiti ricavati da 117 articoli e brevetti, che comprende 761 strutture molecolari distinte sottoposte a valutazione. In genere, i prompt si fermano a un punto decisionale selezionato di un programma di ricerca e forniscono il contesto biologico, i composti precedenti e i risultati sperimentali selezionati. I risultati successivi vengono esclusi per definire le risposte di riferimento e i criteri di valutazione.
I compiti riguardano la scoperta preclinica di farmaci, non lo sviluppo clinico, e si articolano in sette categorie. Tra queste figurano la selezione integrata dei composti guida, con 48 compiti, la previsione delle relazioni struttura-attività, con 26, e gruppi più piccoli dedicati ad ADME (assorbimento, distribuzione, metabolismo ed escrezione) e somministrazione, progettazione ed enumerazione molecolare, sicurezza e problematiche, retrosintesi, biologia dei saggi e meccanismo d’azione. Ottantacinque compiti abbracciano più di un ambito di contenuto scientifico, a dimostrazione del fatto che la scelta di un composto guida può dipendere simultaneamente da efficacia, selettività, saggi cellulari, metabolismo, esposizione e sicurezza.
Un problema relativo a PRMT5, una proteina studiata nella scoperta di farmaci antitumorali, chiede ai modelli di ricostruire tre composti correlati e prevederne l’efficacia cellulare, la permeabilità, l’efflusso e la clearance microsomiale umana. I risultati esclusi illustrano il compromesso: il composto 23 era più efficace nelle cellule, mentre il composto 24 attraversava più facilmente una barriera cellulare e si degradava più lentamente in un saggio con enzimi epatici.
La valutazione combina verifiche deterministiche e rubriche giudicate da modelli. La struttura molecolare e la motivazione scientifica rappresentano rispettivamente il 37,49% e il 35,78% dei crediti disponibili; la classificazione e la selezione dei candidati rappresentano il 17,51%, mentre le previsioni numeriche o categoriali l’8,92%. Per le strutture, RDKit converte gli SMILES inviati, una rappresentazione testuale dei grafi molecolari, nella forma isomerica canonica, preservando stereochimica e isotopi. In genere, le previsioni numeriche ricevono un punteggio parziale basato sull’errore relativo, mentre un valutatore GPT-6 Astra separato, impostato su uno sforzo di ragionamento medio, assegna alle motivazioni scientifiche un punteggio nullo, parziale o pieno.
Risultati per componente ed errori strutturali
Su 11 modelli GPT e 61 combinazioni modello-livello di sforzo, l’articolo riporta 60.390 risposte valutate, mantenendo dieci risposte per ogni compito in ciascuna combinazione. GPT-6.2 Astra non è tra gli 11 modelli: il suo risultato proviene dall’annuncio.
Per il livello xhigh, l’articolo riporta che GPT-6 Astra ha ottenuto il 95,37% dei crediti disponibili per la struttura molecolare e il 91,05% per la motivazione scientifica, contro il 50,42% per la classificazione e la selezione dei candidati e il 47,02% per le previsioni numeriche. Le componenti riguardano compiti applicabili e regole di valutazione diversi, ma i risultati distinguono le solide capacità di ricostruzione e spiegazione dalle prestazioni più deboli nella selezione dei composti e nelle previsioni quantitative.
Un compito di ricostruzione descritto nell’articolo rende concrete le differenze strutturali. I modelli dovevano assemblare una molecola a partire da una struttura centrale e da due gruppi collegati, mantenendo un anello di 18 atomi. GPT-6 Astra ha prodotto il composto corretto in tutte e dieci le risposte xhigh, mentre GPT-5.6 Sol e GPT-5.6 Luna hanno fallito in tutte e dieci le rispettive risposte. La risposta di Sol illustrata conteneva un anello di 15 atomi, mentre Luna ha restituito due frammenti non collegati. Errori di questo tipo modificano l’identità della molecola prima ancora che inizi qualsiasi ragionamento sulle sue proprietà.
Limiti ed estensioni proposte
OpenAI afferma che i punteggi non dimostrano se i modelli siano in grado di scoprire nuovi farmaci o migliorare le decisioni di laboratorio. Ogni risposta consisteva in un unico tentativo, senza strumenti, feedback o nuovi esperimenti, e i compiti si basano su evidenze storiche anziché sulla scoperta prospettica. Non si può inoltre escludere una precedente esposizione alle fonti pubblicate.
Per una verifica euristica, gli autori hanno aggiunto a tutti i 99 prompt gli identificativi DOI delle fonti o dei brevetti, per nove modelli al livello xhigh. Le variazioni medie del punteggio complessivo andavano da una diminuzione di 0,23 punti percentuali a un aumento di 0,80 punti, e tutti gli intervalli di confidenza al 95% specifici per modello includevano lo zero. La verifica non consente di stabilire se il materiale delle fonti fosse presente nei dati di addestramento.
L’articolo descrive MedChemBench, nella sua forma attuale, come vicino alla saturazione e afferma che la valutazione della progettazione aperta e della sintesi resta in parte legata alle risposte di riferimento, con il rischio di penalizzare alternative plausibili. Tra le estensioni proposte figurano casi prospettici, la valutazione di esperti delle risposte alternative, il trattamento esplicito dell’incertezza dei saggi e una sezione basata su agenti, che consenta il recupero delle informazioni, l’esecuzione di calcoli, la verifica delle strutture e la revisione in più fasi.
MedChemBench separa quindi la comprensione chimica dall’impatto dimostrato sulla scoperta di farmaci. I risultati migliori riguardano la ricostruzione e la spiegazione di problemi storici predefiniti, mentre la selezione dei composti e le previsioni quantitative restano indietro. Le valutazioni prospettiche e basate su agenti proposte affrontano la questione ancora aperta: se i modelli siano in grado di prendere decisioni di ricerca migliori quando devono raccogliere prove, calcolare proprietà e rivedere le proprie risposte in più passaggi.












