OpenAI introduceert BioBasicsBench om AI-agenten te testen met gegevens uit natte-labexperimenten

OpenAI introduceerde BioBasicsBench op 6 november 2026: een benchmark met 100 taken, ontwikkeld in samenwerking met het bedrijf Ligo, dat enzymen ontwerpt, om te testen of AI-agenten ruwe gegevens uit routinematige natte-labexperimenten kunnen interpreteren.

OpenAI rapporteert de resultaten als gemiddelde beloning: de gemiddelde score op de taken, uitgedrukt als percentage van de beschikbare punten. Bij xhigh, de hoogste instelling voor redeneerinspanning die voor alle zeven geteste modellen is gerapporteerd, behaalde GPT-6 Astra 66,7%, met een betrouwbaarheidsinterval van 95% van 60,3–73,1%. GPT-5.6 Sol scoorde 43,8%, met een interval van 37,6–50,0%. Astra produceerde gemiddeld 4.704 uitvoertokens per taak, tegenover 9.099 voor Sol.

Gebouwd op routinematige experimentele gegevens

BioBasicsBench pakt een beperking aan die OpenAI constateert bij evaluaties die zijn gebaseerd op grafieken en afbeeldingen die voor wetenschappelijke publicaties zijn geselecteerd: in het dagelijkse laboratoriumwerk zijn ook mislukte experimenten, onduidelijke beelden, tegenstrijdige waarnemingen en probleemoplossing aan de orde. De taken vragen agenten om experimentele gegevens te interpreteren, fouten op te sporen en te herkennen wanneer het bewijs geen conclusie rechtvaardigt. Ze bestrijken eiwitmethoden, beeldvorming en cytometrie, kwantificering en assays, nucleïnezuurmethoden en moleculair kloneren.

Wetenschappers stelden de taken op aan de hand van hun eigen experimenten en schreven beoordelingsrubrieken. De invoer omvat gel- en blotafbeeldingen, kolonieschalen, microscopiestapels, sequencing-reads, exports van plaatlezers, foto’s van laboratoriumwerkbanken en video’s van protocollen. Afzonderlijke taken kunnen verschillende soorten bewijs en ondersteunende referentiebladen combineren, zoals ladderdiagrammen en plasmidekaarten. Agenten geven gestructureerde conclusies, metingen of aanbevelingen; de rubrieken kennen punten toe voor onder meer numerieke resultaten, onderbouwing en het herkennen dat het bewijs ontoereikend is.

Elke taak werd intern beoordeeld door een Ligo-wetenschapper die de taak niet had geschreven, extern door een wetenschapper met een PhD die in een nat laboratorium werkt, en ten slotte intern beoordeeld op de opdracht, het bewijs, de beoordelingsrubriek, de aantekeningen van de auteur en een beoordeelde modelpoging. De evaluatie omvatte 37 combinaties van model en redeneerinspanning, met vijf pogingen voor elke taak per combinatie, wat 18.500 resultaten opleverde. De betrouwbaarheidsintervallen werden berekend door volledige taken opnieuw te trekken, waarbij de vijf pogingen voor elke taak bij elkaar werden gehouden.

Voorbeelden van Astra’s vooruitgang

Bij een taak voor celbeeldvorming classificeerde GPT-5.6 Sol cellen als dood op basis van een signaal van een kleurstof. Astra zag in dat overlappende detectievensters interferentie van een tweede kleurstof konden veroorzaken en vroeg om controles waarmee de signalen van elkaar konden worden onderscheiden. Bij een taak over DNA-klonering baseerde Sol zijn conclusies op het ontbreken van kolonies op een negatieve-controleschaal. Astra merkte daarentegen op dat de schaal was gelabeld met kanamycine, terwijl in het experiment ampicilline was gebruikt, en verwierp de schaal als betrouwbare controle.

Bij een andere taak waren cellen te zien die in en uit focus bewogen. Sol zocht naar een biologische verklaring voor hun schijnbare verdwijning, terwijl Astra een z-stack herkende: een reeks beelden die op verschillende diepten is vastgelegd. OpenAI ziet deze voorbeelden als bewijs van betere verwerking van meerdere modaliteiten, het gebruik van experimentele context en het herkennen van wat gegevens wel en niet kunnen aantonen. Ze wijzen er volgens OpenAI ook op dat sterkere, van nature multimodale mogelijkheden belangrijk kunnen zijn voor routinematige analyses in natte laboratoria.

Waar de benchmark tekortkomingen blootlegt

OpenAI waarschuwt dat hogere scores nog niet neerkomen op betrouwbaar laboratoriumoordeel. Bij een taak met kolonie-PCR selecteerde Astra banen 4, 6, 7 en 8, omdat het ervan uitging dat een groter PCR-product op succesvolle klonering wees. Volgens de referentie-interpretatie waren banen 5, 9 en 10 juist. Die fout zou ertoe leiden dat het verkeerde plasmide wordt gezuiverd.

Andere voorbeelden laten zien dat correcte waarnemingen niet altijd bepalend zijn voor het uiteindelijke antwoord. Astra generaliseerde dat vacuolen, compartimenten in cellen, doorgaans donkerder zijn dan het omringende celmateriaal, hoewel de vacuolen in hetzelfde beeld lichter waren. Een verandering van de focusdiepte kan het contrast omkeren, en in Astra’s eigen tussentijdse waarnemingen stond dat het contrast varieerde met de focus. Bij een taak voor het tellen van kolonies meldt OpenAI dat Astra dicht bij elkaar liggende kolonies niet van elkaar wist te onderscheiden, zichtbare kolonies miste en lege agar als kolonie markeerde. Daardoor telde het ongeveer 12% meer kolonies dan de benchmarkreferentie. Omdat het uitgeplaatste volume en de verdunning vaststaan, leidt zo’n overschatting tot een evenredig hogere schatting van de efficiëntie van DNA-introductie.

OpenAI zegt dat het volgen van de ontwikkeling van deze mogelijkheden ook zal bijdragen aan de beoordeling van de gevolgen ervan voor de bioveiligheid en biologische beveiliging.

De lat ligt in de praktijk dus hoger dan een betere totaalscore: een agent moet nauwkeurige waarnemingen doortrekken naar zijn conclusie, controles verifiëren en geen conclusies trekken die niet door het bewijs worden ondersteund. BioBasicsBench maakt van die vereisten verbeterdoelen. De uitgewerkte voorbeelden van fouten laten zien waarom vooruitgang richting laboratoriumondersteuning nog altijd afhangt van het dichten van de kloof tussen bewijs waarnemen en een deugdelijke experimentele beslissing nemen.