OpenAI lancerer BioBasicsBench til at teste AI-agenter på data fra vådlaboratorier

OpenAI lancerede BioBasicsBench den 6. november 2026. Benchmarket består af 100 opgaver og er udviklet sammen med enzymdesignvirksomheden Ligo for at teste, om AI-agenter kan fortolke rå evidens fra rutinemæssige vådlaboratorieeksperimenter.

OpenAI opgør resultaterne som gennemsnitlig belønning, dvs. den gennemsnitlige opgavescore udtrykt som en procentdel af de tilgængelige point. Ved xhigh, den højeste indstilling for ræsonneringsindsats, som blev rapporteret for alle syv testede modeller, opnåede GPT-6 Astra 66,7 % med et 95 % konfidensinterval på 60,3–73,1 %, mens GPT-5.6 Sol scorede 43,8 % med et interval på 37,6–50,0 %. Astra brugte i gennemsnit 4.704 outputtokens pr. opgave sammenlignet med 9.099 for Sol.

Bygget på rutinemæssig eksperimentel evidens

BioBasicsBench adresserer en begrænsning, som OpenAI peger på ved evalueringer baseret på diagrammer og billeder udvalgt til videnskabelige artikler: Hverdagen i laboratoriet omfatter også mislykkede eksperimenter, tvetydige billeder, modstridende observationer og fejlfinding. Opgaverne beder agenterne om at fortolke eksperimentelle data, opdage fejl og erkende, når evidensen ikke kan underbygge en konklusion. De dækker proteinmetoder, billeddannelse og cytometri, kvantificering og analyser, nukleinsyremetoder samt molekylær kloning.

Forskere udarbejdede opgaverne på grundlag af deres egne eksperimenter og skrev bedømmelseskriterierne. Input omfatter gel- og blotbilleder, koloniplader, mikroskopistakke, sekventeringsreads, eksportfiler fra pladelæsere, fotos fra laboratoriebænken og protokolvideoer. De enkelte opgaver kan kombinere flere typer evidens og supplerende referenceark, f.eks. markørdiagrammer og plasmidkort. Agenterne leverer strukturerede konklusioner, målinger eller anbefalinger, og bedømmelseskriterierne tildeler point for blandt andet numeriske resultater, begrundelser og erkendelse af, at evidensen er utilstrækkelig.

Hver opgave blev først gennemgået internt af en Ligo-forsker, som ikke havde skrevet den, derefter eksternt af en vådlaboratorieforsker på ph.d.-niveau og til sidst internt igen. Den afsluttende gennemgang omfattede prompten, evidensen, bedømmelseskriterierne, forfatternotaterne og et bedømt modelresultat. Evalueringen omfattede 37 kombinationer af model og ræsonneringsindsats, med fem forsøg på hver opgave for hver kombination, hvilket gav 18.500 resultater. Konfidensintervallerne blev beregnet ved at genudtrække hele opgaver og holde de fem forsøg for hver opgave samlet.

Eksempler på, hvad der ligger bag Astras forbedring

I en opgave om cellebilleddannelse klassificerede GPT-5.6 Sol celler som døde ud fra et farvesignal. Astra indså, at overlappende detektionsvinduer kunne medføre interferens fra et andet farvestof, og efterlyste kontroller, der kunne adskille signalerne. I en opgave om DNA-kloning baserede Sol sine konklusioner på, at der ikke var nogen kolonier på en negativ kontrolplade, mens Astra bemærkede, at pladen var mærket med kanamycin i stedet for det ampicillin, der blev brugt i eksperimentet, og afviste den som en pålidelig kontrol.

En anden opgave viste celler, der bevægede sig ind og ud af fokus. Sol søgte en biologisk forklaring på, at de tilsyneladende forsvandt, mens Astra identificerede en z-stak, dvs. en serie billeder optaget i forskellige dybder. OpenAI fortolker eksemplerne som tegn på bedre håndtering af flere modaliteter, brug af eksperimentel kontekst og forståelse af, hvad data kan og ikke kan fastslå. De indikerer også, at stærkere indbyggede multimodale egenskaber kan være vigtige for rutinemæssig analyse i vådlaboratorier.

Hvor benchmarket afdækker fejl

OpenAI advarer om, at højere scorer endnu ikke er ensbetydende med pålidelig laboratoriefaglig dømmekraft. I en opgave om koloni-PCR valgte Astra banerne 4, 6, 7 og 8 ud fra den antagelse, at et større PCR-produkt var tegn på vellykket kloning; referencefortolkningen valgte banerne 5, 9 og 10. Fejlen ville føre til oprensning af det forkerte plasmid.

Andre eksempler viser, at korrekte observationer ikke altid præger det endelige svar. Astra generaliserede, at vakuoler, rum inde i celler, som regel er mørkere end det omgivende cellemateriale, selv om vakuolerne i det samme billede var lysere. Ændringer i fokuseringsdybden kan vende kontrasten, og Astras egne mellemliggende observationer bemærkede, at kontrasten varierede med fokus. I en opgave om kolonitælling rapporterer OpenAI, at Astra ikke fik adskilt kolonier, der lå tæt på hinanden, overså synlige kolonier og markerede tom agar. Resultatet var en overvurdering på cirka 12 % i forhold til benchmarkets reference. Når det udsåede volumen og fortyndingen holdes fast, overvurderer en sådan optælling effektiviteten af DNA-introduktion med samme andel.

OpenAI siger, at det også vil bruge opfølgningen på udviklingen af disse egenskaber til at vurdere deres konsekvenser for biosikkerhed og biosikring.

Den praktiske målestok er derfor højere end en bedre samlet score: En agent skal føre præcise observationer videre til sin konklusion, kontrollere kontrollerne og undlade at drage konklusioner, som evidensen ikke kan underbygge. BioBasicsBench gør disse krav til mål for forbedring, og de konkrete eksempler på fejl viser, hvorfor fremskridt mod laboratorieassistance stadig afhænger af at mindske afstanden mellem at observere evidens og at træffe en velbegrundet eksperimentel beslutning.