OpenAI przedstawia BioBasicsBench do testowania agentów AI na danych z eksperymentów laboratoryjnych

OpenAI przedstawiło BioBasicsBench 6 listopada 2026 r. — benchmark obejmujący 100 zadań, opracowany we współpracy z firmą Ligo, zajmującą się projektowaniem enzymów, aby sprawdzić, czy agenci AI potrafią interpretować surowe dane z rutynowych eksperymentów laboratoryjnych.

OpenAI przedstawia wyniki jako średnią nagrodę — średni wynik z zadań wyrażony jako odsetek dostępnej punktacji. Przy ustawieniu xhigh, czyli najwyższym poziomie nakładu na rozumowanie uwzględnionym w wynikach dla wszystkich siedmiu testowanych modeli, GPT-6 Astra uzyskał 66,7% przy 95-procentowym przedziale ufności wynoszącym 60,3–73,1%, natomiast GPT-5.6 Sol zdobył 43,8% przy przedziale 37,6–50,0%. Astra generował średnio 4 704 tokeny wyjściowe na zadanie, a Sol — 9 099.

Oparty na rutynowych danych eksperymentalnych

BioBasicsBench odpowiada na ograniczenie, które OpenAI dostrzega w ewaluacjach opartych na wykresach i obrazach wybranych do publikacji naukowych: codzienna praca laboratoryjna obejmuje również nieudane eksperymenty, niejednoznaczne obrazy, sprzeczne obserwacje i rozwiązywanie problemów. Zadania wymagają od agentów interpretowania danych eksperymentalnych, wykrywania błędów i rozpoznawania sytuacji, w których dowody nie uzasadniają wyciągnięcia wniosków. Obejmują metody pracy z białkami, obrazowanie i cytometrię, oznaczenia ilościowe i testy, metody pracy z kwasami nukleinowymi oraz klonowanie molekularne.

Naukowcy opracowali zadania na podstawie własnych eksperymentów i przygotowali kryteria oceniania. Dane wejściowe obejmują obrazy żeli i blotów, płytki z koloniami, stosy obrazów mikroskopowych, odczyty sekwencjonowania, eksporty danych z czytników mikropłytek, zdjęcia ze stanowisk laboratoryjnych i nagrania protokołów. Pojedyncze zadania mogą łączyć kilka rodzajów dowodów i pomocnicze materiały referencyjne, takie jak wykresy markerów wielkości i mapy plazmidów. Agenci przedstawiają uporządkowane wnioski, pomiary lub zalecenia, a kryteria oceniania przyznają punkty za takie elementy jak wyniki liczbowe, uzasadnienie oraz rozpoznanie, że dowody są niewystarczające.

Każde zadanie sprawdził wewnętrznie naukowiec z Ligo, który go nie opracował, a następnie zewnętrznie naukowiec pracujący w laboratorium, mający stopień doktora. Przeprowadzono też końcowy przegląd wewnętrzny, obejmujący polecenie, dowody, kryteria oceniania, notatki autora i ocenioną próbę modelu. Ewaluacja objęła 37 konfiguracji modelu i nakładu na rozumowanie; dla każdej konfiguracji wykonano pięć prób każdego zadania, uzyskując 18 500 wyników. Przedziały ufności obliczono przez ponowne losowanie całych zadań, zachowując razem pięć prób dla każdego zadania.

Przykłady pokazujące postęp Astry

W zadaniu dotyczącym obrazowania komórek GPT-5.6 Sol sklasyfikował komórki jako martwe na podstawie sygnału barwnika. Astra zauważył, że nakładające się zakresy detekcji mogłyby dopuścić interferencję ze strony drugiego barwnika, i zażądał kontroli pozwalających rozdzielić sygnały. W zadaniu dotyczącym klonowania DNA Sol oparł wnioski na braku kolonii na płytce kontroli negatywnej, podczas gdy Astra zwrócił uwagę, że płytkę oznaczono jako zawierającą kanamycynę, a nie ampicylinę stosowaną w eksperymencie, i odrzucił ją jako wiarygodną kontrolę.

W innym zadaniu komórki znikały z pola ostrości i ponownie się w nim pojawiały. Sol szukał biologicznego wyjaśnienia ich pozornego znikania, natomiast Astra rozpoznał stos obrazów w osi Z, czyli serię obrazów zarejestrowanych na różnych głębokościach. OpenAI interpretuje te przykłady jako dowód lepszego przetwarzania multimodalnego, wykorzystywania kontekstu eksperymentalnego oraz rozpoznawania, co można, a czego nie można ustalić na podstawie danych. Zdaniem OpenAI wskazują one również, że lepsze natywne zdolności multimodalne mogą mieć istotne znaczenie w rutynowej analizie laboratoryjnej.

Gdzie benchmark ujawnia błędy

OpenAI zastrzega, że wyższe wyniki nie oznaczają jeszcze wiarygodnego osądu laboratoryjnego. W zadaniu dotyczącym PCR kolonii Astra wybrał ścieżki 4, 6, 7 i 8, zakładając, że większy produkt PCR wskazuje na udane klonowanie; w interpretacji referencyjnej wybrano ścieżki 5, 9 i 10. Taki błąd doprowadziłby do oczyszczenia niewłaściwego plazmidu.

Inne przykłady pokazują, że prawidłowe obserwacje nie zawsze znajdują odzwierciedlenie w odpowiedzi końcowej. Astra uogólnił, że wakuole — przedziały wewnątrz komórek — są zazwyczaj ciemniejsze od otaczającego je materiału komórkowego, mimo że na tym samym obrazie widoczne były jaśniejsze wakuole. Zmiana głębi ostrości może odwrócić kontrast, a własne obserwacje pośrednie Astry wskazywały, że kontrast zmieniał się w zależności od ostrości. W zadaniu polegającym na liczeniu kolonii, jak podaje OpenAI, Astra nie rozdzielił blisko położonych kolonii, pominął widoczne kolonie i oznaczył puste podłoże agarowe, zawyżając wynik o około 12% względem wartości referencyjnej benchmarku. Przy niezmienionej objętości wysianej próbki i stałym rozcieńczeniu takie zawyżenie podnosi o ten sam odsetek szacowaną wydajność wprowadzania DNA.

OpenAI informuje, że śledzenie rozwoju tych zdolności pomoże również ocenić ich konsekwencje dla bezpieczeństwa biologicznego i ochrony biologicznej.

W praktyce poprzeczka jest więc ustawiona wyżej niż uzyskanie lepszego wyniku zbiorczego: agent musi na podstawie trafnych obserwacji wyciągać właściwe wnioski, sprawdzać kontrole i powstrzymywać się od wnioskowania, którego nie uzasadniają dowody. BioBasicsBench przekłada te wymagania na cele doskonalenia, a opisane błędy pokazują, dlaczego postęp w kierunku wspomagania pracy laboratoryjnej nadal zależy od wypełnienia luki między obserwowaniem dowodów a podejmowaniem trafnych decyzji eksperymentalnych.