OpenAI introducerar BioBasicsBench för att testa AI-agenter på våtlabbsdata

OpenAI introducerade BioBasicsBench den 6 november 2026. Det är ett riktmärke med 100 uppgifter, utvecklat tillsammans med enzymdesignföretaget Ligo för att testa om AI-agenter kan tolka rådata från rutinmässiga våtlabbsförsök.

OpenAI redovisar resultaten som genomsnittlig belöning: den genomsnittliga uppgiftspoängen uttryckt som en procentandel av den tillgängliga poängen. Vid xhigh, den högsta nivån av resonemangsinsats som rapporterades för samtliga sju testade modeller, nådde GPT-6 Astra 66,7 % med ett 95-procentigt konfidensintervall på 60,3–73,1 %, medan GPT-5.6 Sol fick 43,8 % med ett intervall på 37,6–50,0 %. Astra genererade i genomsnitt 4 704 utmatningstoken per uppgift, jämfört med 9 099 för Sol.

Bygger på rutinmässiga experimentella data

BioBasicsBench tar itu med en begränsning som OpenAI pekar på i utvärderingar baserade på diagram och bilder utvalda för vetenskapliga artiklar: vardagligt laboratoriearbete innefattar också misslyckade experiment, tvetydiga bilder, motstridiga observationer och felsökning. Uppgifterna går ut på att agenter ska tolka experimentella data, upptäcka fel och inse när beläggen inte räcker för att dra en slutsats. De omfattar proteinmetoder, bildanalys och cytometri, kvantifiering och analyser, nukleinsyrametoder samt molekylär kloning.

Forskare skapade uppgifterna utifrån sina egna experiment och tog fram bedömningskriterier. Indata omfattar bilder av geler och blottar, odlingsplattor med kolonier, mikroskopiserier, sekvenseringsresultat, avläsningar från plattläsare, fotografier från laboratoriebänken och videor av protokoll. Enskilda uppgifter kan kombinera flera typer av belägg och kompletterande referensblad, till exempel stegscheman och plasmidkartor. Agenterna lämnar strukturerade slutsatser, mätresultat eller rekommendationer, och bedömningskriterierna ger poäng för bland annat numeriska resultat, underbyggda resonemang och insikten att beläggen är otillräckliga.

Varje uppgift granskades internt av en Ligo-forskare som inte hade skrivit den, externt av en våtlaboratorieforskare på doktorandnivå och slutligen internt med fokus på prompten, beläggen, bedömningskriterierna, författaranteckningarna och ett bedömt modellsvar. Utvärderingen omfattade 37 kombinationer av modell och resonemangsinsats, med fem försök på varje uppgift för varje kombination, vilket gav 18 500 resultat. Konfidensintervallen beräknades genom att hela uppgifter samplades om, samtidigt som varje uppgifts fem försök hölls samman.

Exempel på vad som ligger bakom Astras förbättring

I en uppgift om cellavbildning klassificerade GPT-5.6 Sol celler som döda utifrån en färgsignal. Astra insåg att överlappande detektionsfönster kunde medföra störningar från ett andra färgämne och efterfrågade kontroller som kunde skilja signalerna åt. I en uppgift om DNA-kloning grundade Sol sina slutsatser på att inga kolonier syntes på en negativ kontrollplatta. Astra lade däremot märke till att plattan var märkt med kanamycin i stället för det ampicillin som användes i experimentet och avfärdade den som en tillförlitlig kontroll.

En annan uppgift visade celler som rörde sig in och ut ur fokus. Sol sökte en biologisk förklaring till att de tycktes försvinna, medan Astra identifierade en z-stack, det vill säga en serie bilder tagna på olika djup. OpenAI tolkar exemplen som belägg för bättre multimodal hantering, användning av experimentell kontext och förståelse för vad data kan och inte kan visa. De tyder också på att starkare inbyggda multimodala förmågor kan vara viktiga för rutinmässig våtlabbsanalys.

Där riktmärket blottlägger brister

OpenAI varnar för att högre poäng ännu inte innebär tillförlitligt laboratorieomdöme. I en uppgift om kolonipcr valde Astra banorna 4, 6, 7 och 8 efter att ha antagit att en större PCR-produkt tydde på lyckad kloning. Referenstolkningen valde banorna 5, 9 och 10. Misstaget skulle leda till att fel plasmid renades fram.

Andra exempel visar hur korrekta observationer ändå inte styr det slutliga svaret. Astra drog den generella slutsatsen att vakuoler, utrymmen inne i celler, vanligtvis är mörkare än omgivande cellmaterial, trots att vakuolerna i samma bild var ljusare. Ändrat fokuseringsdjup kan vända på kontrasten, och Astras egna mellanliggande observationer noterade att kontrasten varierade med fokus. I en uppgift om koloniräkning rapporterar OpenAI att Astra inte lyckades skilja närliggande kolonier åt, missade synliga kolonier och markerade tomma delar av agarplattan. Resultatet blev en överskattning på cirka 12 % jämfört med riktmärkets referens. När den utpläterade volymen och spädningen hålls konstanta leder en sådan överskattning till att den uppskattade effektiviteten vid DNA-införing överskattas i samma utsträckning.

OpenAI säger att uppföljning av hur dessa förmågor utvecklas också kommer att påverka företagets bedömning av konsekvenserna för biosäkerhet och biologisk säkerhet.

Den praktiska ribban ligger alltså högre än att bara få ett bättre sammanlagt resultat: en agent måste föra korrekta observationer hela vägen fram till sin slutsats, kontrollera kontrollerna och avstå från slutsatser som beläggen inte stöder. BioBasicsBench gör dessa krav till mål för förbättring, och de konkreta exemplen på misslyckanden visar varför framsteg mot laboratorieassistans fortfarande förutsätter att klyftan mellan att observera belägg och att fatta välgrundade experimentella beslut överbryggas.