OpenAI představuje BioBasicsBench, který testuje agenty AI na datech z mokré laboratoře

OpenAI představila BioBasicsBench 6. listopadu 2026. Jde o benchmark se 100 úlohami, vyvinutý ve spolupráci se společností Ligo, která se zabývá návrhem enzymů, a jeho cílem je otestovat, zda agenti AI dokážou interpretovat nezpracované důkazy z běžných experimentů v mokré laboratoři.

OpenAI uvádí výsledky jako průměrnou odměnu, tedy průměrné skóre za úlohu vyjádřené jako procento dostupného počtu bodů. Při nastavení xhigh, tedy nejvyšší úrovni úsilí při uvažování uváděné u všech sedmi testovaných modelů, dosáhl GPT-6 Astra skóre 66,7 % s 95% intervalem spolehlivosti 60,3–73,1 %, zatímco GPT-5.6 Sol dosáhl 43,8 % s intervalem 37,6–50,0 %. Astra v průměru vygenerovala 4 704 výstupních tokenů na úlohu, oproti 9 099 u modelu Sol.

Vychází z běžných experimentálních důkazů

BioBasicsBench řeší omezení, které OpenAI spatřuje v hodnoceních založených na grafech a obrázcích vybraných pro vědecké články: každodenní laboratorní práce zahrnuje také neúspěšné experimenty, nejednoznačné snímky, rozporná pozorování a řešení problémů. Úlohy po agentech vyžadují, aby interpretovali experimentální data, odhalovali chyby a rozpoznali, kdy důkazy neumožňují vyvodit závěr. Pokrývají proteinové metody, zobrazování a cytometrii, kvantifikaci a testy, metody práce s nukleovými kyselinami a molekulární klonování.

Vědci vytvořili úlohy na základě vlastních experimentů a sepsali hodnoticí kritéria. Vstupní data zahrnují snímky gelů a blotů, kultivační misky s koloniemi, mikroskopické záznamy pořízené v různých rovinách, sekvenační čtení, exporty z čteček mikrodestiček, fotografie z laboratoře a videa pracovních postupů. Jednotlivé úlohy mohou kombinovat několik typů důkazů a podpůrné referenční materiály, například schémata velikostních markerů a mapy plazmidů. Agenti vracejí strukturované závěry, měření nebo doporučení a hodnoticí kritéria přidělují body za prvky, jako jsou číselné výsledky, podpůrné zdůvodnění a rozpoznání, že důkazy nejsou dostačující.

Každou úlohu interně zkontroloval vědec ze společnosti Ligo, který ji nenapsal, poté ji externě posoudil vědec s doktorátem pracující v mokré laboratoři a nakonec proběhla interní kontrola zadání, důkazů, hodnoticích kritérií, poznámek autora a jednoho hodnoceného pokusu modelu. Hodnocení zahrnovalo 37 kombinací modelů a úrovní úsilí při uvažování; pro každou kombinaci proběhlo pět pokusů na každé úloze, celkem tedy 18 500 výsledků. Intervaly spolehlivosti byly vypočítány opakovaným výběrem celých úloh, přičemž všech pět pokusů pro každou úlohu zůstalo pohromadě.

Příklady dokládající zlepšení modelu Astra

V úloze zaměřené na zobrazování buněk GPT-5.6 Sol klasifikoval buňky jako mrtvé na základě signálu barviva. Astra rozpoznala, že překrývající se detekční rozsahy mohou umožnit interferenci druhého barviva, a požadovala kontrolní testy, které by signály od sebe odlišily. V úloze zaměřené na klonování DNA model Sol vycházel z toho, že na misce s negativní kontrolou nebyly žádné kolonie. Astra si však všimla, že miska byla označena pro kanamycin, zatímco v experimentu se používal ampicilin, a odmítla ji proto považovat za spolehlivou kontrolu.

V další úloze se buňky pohybovaly dovnitř a ven z roviny zaostření. Sol hledal biologické vysvětlení jejich zdánlivého mizení, zatímco Astra rozpoznala z-sérii, tedy soubor snímků pořízených v různých hloubkách. OpenAI tyto příklady interpretuje jako důkaz lepšího zpracování multimodálních dat, využívání experimentálního kontextu a rozpoznávání toho, co data mohou a nemohou doložit. Zároveň podle ní naznačují, že pro běžnou analýzu v mokré laboratoři mohou být důležité pokročilejší nativní multimodální schopnosti.

Kde benchmark odhaluje nedostatky

OpenAI upozorňuje, že vyšší skóre zatím neznamená spolehlivý úsudek při laboratorní práci. V úloze PCR kolonií Astra předpokládala, že větší produkt PCR svědčí o úspěšném klonování, a vybrala dráhy 4, 6, 7 a 8; referenční interpretace vybrala dráhy 5, 9 a 10. Tato chyba by vedla k purifikaci nesprávného plazmidu.

Další příklady ukazují, že správná pozorování se ne vždy promítnou do konečné odpovědi. Astra zobecnila, že vakuoly, tedy oddíly uvnitř buněk, bývají obvykle tmavší než okolní buněčná hmota, přestože na stejném snímku byly vakuoly světlejší. Změna hloubky zaostření může kontrast obrátit a Astra ve vlastních průběžných pozorováních uvedla, že se kontrast měnil podle zaostření. V úloze počítání kolonií podle OpenAI Astra nedokázala oddělit těsně sousedící kolonie, přehlédla viditelné kolonie a označila prázdný agar, což vedlo k nadhodnocení počtu přibližně o 12 % oproti referenční hodnotě benchmarku. Při neměnném objemu naneseném na misku a stejném ředění takové nadhodnocení ve stejné míře zvyšuje odhadovanou účinnost zavedení DNA.

OpenAI uvádí, že sledování vývoje těchto schopností jí také pomůže posuzovat jejich důsledky pro biologickou bezpečnost a biologické zabezpečení.

Praktická laťka je tedy výše než pouhé zlepšení souhrnného skóre: agent musí na přesných pozorováních založit své závěry, ověřovat kontroly a nevynášet závěry, které důkazy nepodporují. BioBasicsBench tyto požadavky stanovuje jako cíle pro další zlepšování a příklady selhání ukazují, proč pokrok směrem k laboratorní asistenci stále závisí na překlenutí propasti mezi pozorováním důkazů a správným experimentálním rozhodnutím.