OpenAI introduserer BioBasicsBench for å teste AI-agenter på data fra våtlaboratorier

OpenAI introduserte BioBasicsBench 6. november 2026. Testsettet består av 100 oppgaver og er utviklet sammen med enzymdesignselskapet Ligo for å teste om AI-agenter kan tolke rådata fra rutinemessige våtlaboratorieeksperimenter.

OpenAI rapporterer resultatene som gjennomsnittlig belønning, altså den gjennomsnittlige oppgaveskåren uttrykt som en prosentandel av den tilgjengelige poengsummen. Ved xhigh, den høyeste innstillingen for resonneringsinnsats som er rapportert for alle de sju testede modellene, oppnådde GPT-6 Astra 66,7 %, med et 95 % konfidensintervall på 60,3–73,1 %, mens GPT-5.6 Sol fikk 43,8 %, med et intervall på 37,6–50,0 %. Astra brukte i gjennomsnitt 4 704 genererte token per oppgave, mot 9 099 for Sol.

Bygget på rutinemessige eksperimentelle data

BioBasicsBench tar for seg en begrensning OpenAI peker på ved evalueringer basert på diagrammer og bilder som er valgt ut til vitenskapelige artikler: Hverdagsarbeid i laboratoriet omfatter også mislykkede eksperimenter, tvetydige bilder, motstridende observasjoner og feilsøking. Oppgavene ber agentene tolke eksperimentelle data, oppdage feil og forstå når dokumentasjonen ikke gir grunnlag for en konklusjon. De dekker proteinmetoder, avbildning og cytometri, kvantifisering og analyser, nukleinsyremetoder og molekylær kloning.

Forskere utformet oppgavene med utgangspunkt i egne eksperimenter og laget vurderingskriterier. Inndataene omfatter gel- og blotbilder, koloniplater, mikroskopiserier, sekvenseringsavlesninger, datafiler fra platelesere, bilder fra laboratoriebenken og videoer av protokoller. Enkeltoppgaver kan kombinere flere typer dokumentasjon og tilhørende referanseark, for eksempel markørdiagrammer og plasmidkart. Agentene leverer strukturerte konklusjoner, målinger eller anbefalinger, og vurderingskriteriene gir uttelling for blant annet numeriske resultater, begrunnelse og forståelse av at dokumentasjonen er utilstrekkelig.

Hver oppgave ble først gjennomgått internt av en Ligo-forsker som ikke hadde skrevet den, deretter eksternt av en våtlaboratorieforsker på ph.d.-nivå og til slutt internt på nytt. Den siste gjennomgangen omfattet instruksjonen, dokumentasjonen, vurderingskriteriene, forfatternotatene og et vurdert modelforsøk. Evalueringen omfattet 37 kombinasjoner av modeller og innstillinger for resonneringsinnsats, med fem forsøk på hver oppgave for hver kombinasjon, noe som ga 18 500 resultater. Konfidensintervallene ble beregnet ved å trekke nye utvalg av hele oppgaver, samtidig som de fem forsøkene for hver oppgave ble holdt samlet.

Eksempler på forbedringene hos Astra

I en oppgave med celleavbildning klassifiserte GPT-5.6 Sol celler som døde på grunnlag av et fargesignal. Astra innså at overlappende deteksjonsvinduer kunne føre til interferens fra et annet fargestoff, og ba om kontroller som kunne skille signalene fra hverandre. I en oppgave om DNA-kloning baserte Sol konklusjonene på at det ikke var noen kolonier på en negativ kontrollplate. Astra la derimot merke til at platen var merket med kanamycin, ikke ampicillin, som ble brukt i eksperimentet, og avviste den som en pålitelig kontroll.

I en annen oppgave beveget cellene seg inn og ut av fokus. Sol lette etter en biologisk forklaring på at de tilsynelatende forsvant, mens Astra identifiserte en z-stakk, det vil si en serie bilder tatt ved ulike dybder. OpenAI tolker disse eksemplene som tegn på bedre håndtering av flere modaliteter, bedre bruk av eksperimentell kontekst og bedre forståelse av hva data kan og ikke kan fastslå. De tyder også på at sterkere innebygde multimodale egenskaper kan bli viktige for rutineanalyser i våtlaboratorier.

Der testsettet avdekker svikt

OpenAI understreker at høyere poengsummer ennå ikke innebærer pålitelig dømmekraft i laboratoriet. I en oppgave med koloni-PCR valgte Astra brønnene 4, 6, 7 og 8 etter å ha antatt at et større PCR-produkt tydet på vellykket kloning. Referansetolkningen valgte brønnene 5, 9 og 10. Denne feilen ville ført til at feil plasmid ble renset ut.

Andre eksempler viser at riktige observasjoner ikke nødvendigvis styrer det endelige svaret. Astra generaliserte at vakuoler, rom inne i celler, vanligvis er mørkere enn det omkringliggende cellematerialet, selv om vakuolene i det samme bildet var lysere. Når fokusdybden endres, kan kontrasten snu, og Astras egne mellomliggende observasjoner påpekte at kontrasten varierte med fokus. I en oppgave med kolonitelling klarte Astra ifølge OpenAI ikke å skille kolonier som lå tett inntil hverandre, overså synlige kolonier og markerte tom agar. Resultatet var en overvurdering på omtrent 12 % sammenlignet med referansen i testsettet. Når det utsådde volumet og fortynningen er faste, fører en slik overvurdering til at den estimerte effektiviteten av DNA-innføring overvurderes i samme grad.

OpenAI sier at oppfølging av utviklingen av disse egenskapene også vil gi grunnlag for å vurdere konsekvensene for biosikkerhet og biologisk sikkerhet.

Den praktiske målestokken er derfor høyere enn en bedre samlet poengsum: En agent må videreføre nøyaktige observasjoner til konklusjonen, kontrollere kontrollene og avstå fra konklusjoner som dokumentasjonen ikke gir grunnlag for. BioBasicsBench gjør disse kravene til konkrete forbedringsmål, og eksemplene på feil viser hvorfor framgang mot laboratorieassistanse fortsatt avhenger av å tette gapet mellom å observere dokumentasjon og å ta en faglig forsvarlig eksperimentell beslutning.