OpenAI esittelee BioBasicsBenchin tekoälyagenttien testaamiseen laboratoriokokeista saatavalla datalla

OpenAI esitteli BioBasicsBenchin 6. marraskuuta 2026. Se on Ligo-entsyymisuunnitteluyrityksen kanssa kehitetty 100 tehtävän vertailutesti, jolla selvitetään, pystyvätkö tekoälyagentit tulkitsemaan rutiininomaisista laboratoriokokeista saatavaa raakadataa.

OpenAI raportoi tulokset keskimääräisenä palkkiona, joka kuvaa tehtävien keskimääräistä pistemäärää prosentteina saatavilla olevista pisteistä. Xhigh-asetuksella, joka on kaikille seitsemälle testatulle mallille ilmoitettu korkein päättelypanostuksen taso, GPT-6 Astra sai 66,7 % (95 prosentin luottamusväli 60,3–73,1 %), kun taas GPT-5.6 Sol sai 43,8 % (luottamusväli 37,6–50,0 %). Astra tuotti tehtävää kohti keskimäärin 4 704 tulostokenia, kun Solin vastaava määrä oli 9 099.

Rakennettu rutiinikokeista saatavan näytön pohjalta

BioBasicsBench vastaa rajoitukseen, jonka OpenAI on tunnistanut tieteellisiin julkaisuihin valikoitujen kaavioiden ja kuvien ympärille rakennetuissa arvioinneissa: arkiseen laboratoriotyöhön kuuluu myös epäonnistuneita kokeita, monitulkintaisia kuvia, ristiriitaisia havaintoja ja ongelmanratkaisua. Tehtävissä agenttien on tulkittava kokeellista dataa, havaittava virheitä ja tunnistettava tilanteet, joissa näyttö ei riitä johtopäätöksen tekemiseen. Tehtävät kattavat proteiinimenetelmiä, kuvantamista ja sytometriaa, kvantifiointia ja määrityksiä, nukleiinihappomenetelmiä sekä molekyylikloonausta.

Tutkijat laativat tehtävät omien kokeidensa pohjalta ja kirjoittivat niiden arviointikriteerit. Syötteisiin kuuluu geeli- ja blot-kuvia, pesäkemaljoja, mikroskopiakuvien pinoja, sekvensointilukemia, mikrolevylukijan vientitiedostoja, valokuvia laboratoriotyöskentelystä ja protokollavideoita. Yksittäisissä tehtävissä voidaan yhdistää useita näyttötyyppejä ja niitä tukevia viiteaineistoja, kuten kokostandardikaavioita ja plasmidikarttoja. Agentit palauttavat jäsenneltyjä johtopäätöksiä, mittaustuloksia tai suosituksia. Arviointikriteereissä annetaan pisteitä esimerkiksi numeerisista tuloksista, niitä tukevista perusteluista ja sen tunnistamisesta, ettei näyttö ole riittävää.

Jokaisen tehtävän tarkasti sisäisesti Ligo-tutkija, joka ei ollut laatinut sitä. Lisäksi tehtävän arvioi ulkopuolinen tohtoritason laboratoriotutkija, minkä jälkeen tehtävä käytiin vielä sisäisesti läpi. Lopputarkastuksessa käsiteltiin kehotetta, näyttöä, arviointikriteerejä, laatijan huomautuksia ja yhden mallivastauksen arviointia. Arvioinnissa oli mukana 37 malli- ja päättelypanostusasetelmaa, joista jokaisessa jokainen tehtävä suoritettiin viisi kertaa. Tuloksia kertyi yhteensä 18 500. Luottamusvälit laskettiin otostamalla kokonaisia tehtäviä uudelleen niin, että kunkin tehtävän viisi suorituskertaa pysyivät yhdessä.

Esimerkkejä Astran parannusten taustalta

Sol luokitteli solukuvantamiseen liittyvässä tehtävässä solut kuolleiksi väriaineesta saadun signaalin perusteella. GPT-5.6 Sol Astra puolestaan tunnisti, että havaintoalueiden päällekkäisyys saattoi aiheuttaa toisen väriaineen häiriön, ja vaati kontrolleja, joilla signaalit voitaisiin erottaa toisistaan. DNA:n kloonausta koskevassa tehtävässä Sol perusteli päätelmänsä sillä, ettei negatiivisen kontrollin maljalla näkynyt pesäkkeitä. Astra huomasi, että maljaan oli merkitty kanamysiini, vaikka kokeessa käytettiin ampisilliinia, ja hylkäsi sen luotettavana kontrollina.

Eräässä toisessa tehtävässä solut liikkuivat tarkennuksen sisään ja ulos. Sol etsi biologista selitystä niiden näennäiselle katoamiselle, kun taas Astra tunnisti kyseessä olevan z-pino eli eri syvyyksiltä tallennettujen kuvien sarja. OpenAI pitää näitä esimerkkejä osoituksena paremmasta multimodaalisesta käsittelystä, kokeellisen kontekstin hyödyntämisestä ja sen tunnistamisesta, mitä datasta voidaan ja ei voida päätellä. Ne viittaavat myös siihen, että vahvemmat natiivit multimodaaliset kyvykkyydet voivat olla tärkeitä rutiininomaisessa laboratorioanalyysissä.

Missä vertailutesti paljastaa virheitä

OpenAI varoittaa, etteivät paremmat pisteet vielä merkitse luotettavaa laboratoriotyöskentelyyn liittyvää harkintakykyä. Pesäke-PCR-tehtävässä Astra valitsi kaistat 4, 6, 7 ja 8 olettaen, että suurempi PCR-tuote osoitti kloonauksen onnistuneen. Vertailutulkinnassa oikeiksi valittiin kaistat 5, 9 ja 10. Virheen seurauksena puhdistettaisiin väärä plasmidi.

Muut esimerkit osoittavat, etteivät oikeat havainnot aina ohjaa lopullista vastausta. Astra yleisti, että solunsisäiset rakkulat eli vakuolit ovat yleensä ympäröivää solumateriaalia tummempia, vaikka samassa kuvassa vakuolit olivat vaaleampia. Tarkennussyvyyden muuttaminen voi kääntää kontrastin päinvastaiseksi, ja Astran omissa välivaiheen havainnoissa todettiin kontrastin vaihtelevan tarkennuksen mukaan. Pesäkkeiden laskentatehtävässä Astra ei OpenAI:n mukaan onnistunut erottamaan lähekkäin olevia pesäkkeitä toisistaan, jätti näkyviä pesäkkeitä huomaamatta ja merkitsi tyhjää agaria pesäkkeiksi. Näin tulos oli noin 12 % vertailuarvoa suurempi. Kun maljalle levitetty tilavuus ja laimennus pidetään samoina, tällainen ylilaskenta kasvattaa DNA:n siirtotehokkuuden arviota samassa suhteessa.

OpenAI kertoo, että näiden kyvykkyyksien kehityksen seuraaminen auttaa myös arvioimaan niiden vaikutuksia bioturvallisuuteen ja bioturvaan.

Käytännössä vaatimustaso on siis korkeampi kuin pelkkä parempi kokonaistulos: agentin on vietävä tarkat havainnot johdonmukaisesti johtopäätökseen asti, tarkistettava kontrollit ja jätettävä johtopäätös tekemättä, jos näyttö ei tue sitä. BioBasicsBench tekee näistä vaatimuksista kehitystavoitteita. Sen esimerkit epäonnistumisista osoittavat, miksi edistyminen laboratoriotyötä tukevissa sovelluksissa edellyttää yhä kuilun kuromista umpeen näyttöön perustuvien havaintojen ja kokeellisesti perusteltujen päätösten välillä.