OpenAI presenta BioBasicsBench per testare gli agenti IA sui dati di laboratorio

OpenAI ha presentato BioBasicsBench il 6 novembre 2026: un benchmark composto da 100 attività, sviluppato in collaborazione con Ligo, azienda specializzata nella progettazione di enzimi, per verificare se gli agenti IA sono in grado di interpretare prove grezze provenienti da esperimenti di laboratorio di routine.

OpenAI esprime i risultati come ricompensa media, ovvero il punteggio medio delle attività espresso in percentuale dei punti disponibili. Con xhigh, il livello di impegno di ragionamento più elevato riportato per tutti e sette i modelli testati, GPT-6 Astra ha raggiunto il 66,7%, con un intervallo di confidenza del 95% compreso tra il 60,3% e il 73,1%, mentre GPT-5.6 Sol ha ottenuto il 43,8%, con un intervallo compreso tra il 37,6% e il 50,0%. Astra ha prodotto in media 4.704 token per attività, rispetto ai 9.099 di Sol.

Basato su prove sperimentali di routine

BioBasicsBench affronta un limite che OpenAI individua nelle valutazioni basate su grafici e immagini selezionati per articoli scientifici: il lavoro quotidiano in laboratorio comporta anche esperimenti falliti, immagini ambigue, osservazioni contrastanti e attività di risoluzione dei problemi. Le attività chiedono agli agenti di interpretare dati sperimentali, individuare errori e riconoscere quando le prove non consentono di giungere a una conclusione. Coprono metodi per lo studio delle proteine, imaging e citometria, quantificazione e saggi, metodi per gli acidi nucleici e clonaggio molecolare.

Gli scienziati hanno creato le attività sulla base dei propri esperimenti e ne hanno redatto i criteri di valutazione. Gli input comprendono immagini di gel ed esperimenti di blot, piastre con colonie, serie di immagini microscopiche, letture di sequenziamento, dati esportati dai lettori di micropiastre, fotografie del banco di laboratorio e video di protocolli. Le singole attività possono combinare diversi tipi di prove e schede di riferimento, come grafici delle scale di peso molecolare e mappe plasmidiche. Gli agenti restituiscono conclusioni, misurazioni o raccomandazioni strutturate; i criteri assegnano punti per elementi quali i risultati numerici, il ragionamento a sostegno e il riconoscimento dell’insufficienza delle prove.

Ogni attività è stata sottoposta a una revisione interna da parte di uno scienziato di Ligo che non l’aveva scritta, a una revisione esterna da parte di uno scienziato con un dottorato di ricerca e competenze di laboratorio, e a una revisione interna finale che ha esaminato la consegna, le prove, i criteri di valutazione, le note dell’autore e un tentativo valutato di un modello. La valutazione ha riguardato 37 combinazioni di modello e livello di impegno di ragionamento; per ciascuna combinazione sono stati effettuati cinque tentativi per ogni attività, per un totale di 18.500 risultati. Gli intervalli di confidenza sono stati calcolati ricampionando attività intere e mantenendo insieme i cinque tentativi di ciascuna attività.

Esempi alla base dei miglioramenti di Astra

In un’attività di imaging cellulare, GPT-5.6 Sol ha classificato le cellule come morte sulla base del segnale di un colorante. Astra ha riconosciuto che la sovrapposizione delle finestre di rilevamento poteva consentire l’interferenza di un secondo colorante e ha richiesto controlli in grado di distinguere i segnali. In un’attività di clonaggio del DNA, Sol ha basato le proprie conclusioni sull’assenza di colonie su una piastra di controllo negativo, mentre Astra ha notato che la piastra era contrassegnata per la kanamicina, anziché per l’ampicillina usata nell’esperimento, e l’ha quindi esclusa come controllo affidabile.

Un’altra attività mostrava cellule che entravano e uscivano dal piano di messa a fuoco. Sol ha cercato una spiegazione biologica della loro apparente scomparsa, mentre Astra ha identificato una pila Z, cioè una serie di immagini acquisite a profondità diverse. OpenAI interpreta questi esempi come prova di una migliore gestione multimodale, di un uso più efficace del contesto sperimentale e della capacità di riconoscere ciò che i dati possono o non possono dimostrare; li considera inoltre un’indicazione del possibile ruolo importante di capacità multimodali native più avanzate nell’analisi di routine del lavoro di laboratorio.

Dove il benchmark mette in luce gli errori

OpenAI avverte che punteggi più alti non equivalgono ancora a un giudizio di laboratorio affidabile. In un’attività di PCR su colonie, Astra ha selezionato le corsie 4, 6, 7 e 8, supponendo che un prodotto PCR più grande indicasse un clonaggio riuscito; l’interpretazione di riferimento selezionava invece le corsie 5, 9 e 10. L’errore avrebbe portato a purificare il plasmide sbagliato.

Altri esempi mostrano come osservazioni corrette non riescano a guidare la risposta finale. Astra ha generalizzato affermando che i vacuoli, compartimenti interni alle cellule, sono in genere più scuri del materiale cellulare circostante, nonostante nell’immagine fossero presenti vacuoli più chiari. La variazione della profondità focale può invertire il contrasto e le osservazioni intermedie dello stesso Astra rilevavano che il contrasto variava con la messa a fuoco. In un’attività di conteggio delle colonie, secondo OpenAI Astra non è riuscito a separare le colonie vicine, ne ha trascurate alcune visibili e ha contrassegnato aree di agar vuote, sovrastimando il conteggio di circa il 12% rispetto al riferimento del benchmark. A parità di volume seminato e diluizione, una sovrastima di tale entità gonfia nella stessa misura la stima dell’efficienza di introduzione del DNA.

OpenAI afferma che seguire lo sviluppo di queste capacità contribuirà anche a valutare le relative conseguenze per la biosicurezza e la sicurezza biologica.

L’asticella pratica è quindi più alta di un punteggio aggregato migliore: un agente deve tradurre osservazioni accurate in conclusioni coerenti, verificare i controlli e astenersi dal trarre conclusioni che le prove non possono sostenere. BioBasicsBench trasforma questi requisiti in obiettivi di miglioramento e gli errori documentati mostrano perché i progressi verso l’assistenza in laboratorio dipendano ancora dal colmare il divario tra osservare le prove e prendere una decisione sperimentale fondata.