OpenAI lansează BioBasicsBench pentru a testa agenții IA pe date din experimente de laborator umed

OpenAI a lansat BioBasicsBench pe 6 noiembrie 2026, un set de evaluare cu 100 de sarcini, dezvoltat împreună cu Ligo, o companie specializată în proiectarea enzimelor, pentru a testa dacă agenții IA pot interpreta dovezi brute din experimente obișnuite de laborator umed.

OpenAI raportează rezultatele ca recompensă medie, adică scorul mediu obținut la sarcini, exprimat ca procent din punctajul disponibil. La xhigh, cel mai ridicat nivel de efort de raționare raportat pentru toate cele șapte modele testate, GPT-6 Astra a obținut 66.7%, cu un interval de încredere de 95% cuprins între 60.3% și 73.1%, în timp ce GPT-5.6 Sol a obținut 43.8%, cu un interval cuprins între 37.6% și 50.0%. Astra a generat în medie 4,704 de tokeni per sarcină, față de 9,099 în cazul lui Sol.

Construit pe baza dovezilor experimentale obișnuite

BioBasicsBench abordează o limitare pe care OpenAI o identifică în evaluările bazate pe grafice și imagini selectate pentru lucrări științifice: activitatea obișnuită de laborator implică și experimente eșuate, imagini ambigue, observații contradictorii și depanare. Sarcinile le cer agenților să interpreteze date experimentale, să identifice erori și să recunoască situațiile în care dovezile nu permit formularea unei concluzii. Acestea acoperă metode de analiză a proteinelor, imagistică și citometrie, cuantificare și teste, metode de analiză a acizilor nucleici și clonare moleculară.

Oamenii de știință au creat sarcinile pe baza propriilor experimente și au redactat baremele de evaluare. Datele de intrare includ imagini de geluri și bloturi, plăci cu colonii, serii de imagini microscopice, date de secvențiere, exporturi de la cititoare de plăci, fotografii de laborator și înregistrări video ale protocoalelor. Sarcinile individuale pot combina mai multe tipuri de dovezi și fișe de referință, precum diagrame ale markerilor de greutate moleculară și hărți de plasmide. Agenții furnizează concluzii, măsurători sau recomandări într-un format structurat, iar baremele acordă punctaj pentru elemente precum rezultatele numerice, raționamentul care le susține și recunoașterea faptului că dovezile sunt insuficiente.

Fiecare sarcină a fost verificată intern de un cercetător de la Ligo care nu o redactase, apoi extern de un cercetător cu doctorat care lucrează în laborator umed și, în final, din nou intern, printr-o verificare a instrucțiunilor, dovezilor, baremului, notelor autorului și a unei încercări evaluate a unui model. Evaluarea a acoperit 37 de combinații de modele și niveluri de efort de raționare, cu cinci încercări pentru fiecare sarcină și fiecare combinație, rezultând 18,500 de rezultate. Intervalele de încredere au fost calculate prin reeșantionarea unor sarcini întregi, păstrând împreună cele cinci încercări pentru fiecare sarcină.

Exemple care stau la baza îmbunătățirii obținute de Astra

Într-o sarcină de imagistică celulară, GPT-5.6 Sol a clasificat celulele drept moarte pe baza semnalului unui colorant. Astra și-a dat seama că ferestrele de detecție suprapuse puteau permite interferența unui al doilea colorant și a solicitat controale care să distingă semnalele. Într-o sarcină de clonare a ADN-ului, Sol și-a bazat concluziile pe faptul că nu observase colonii pe o placă de control negativ, în timp ce Astra a remarcat că placa era etichetată pentru kanamicină, nu pentru ampicilina folosită în experiment, și a respins-o ca pe un control fiabil.

O altă sarcină prezenta celule care intrau și ieșeau din focalizare. Sol a căutat o explicație biologică pentru dispariția lor aparentă, în timp ce Astra a identificat o serie Z, adică o succesiune de imagini captate la adâncimi diferite. OpenAI interpretează aceste exemple ca dovezi ale unei gestionări multimodale mai bune, ale folosirii contextului experimental și ale recunoașterii a ceea ce datele pot și nu pot demonstra; ele indică, de asemenea, că niște capacități multimodale native mai avansate ar putea fi importante pentru analiza obișnuită a activității de laborator umed.

Unde evaluarea scoate la iveală eșecuri

OpenAI avertizează că scorurile mai mari nu echivalează încă cu o judecată de laborator fiabilă. Într-o sarcină de PCR pe colonii, Astra a selectat godeurile 4, 6, 7 și 8, presupunând că un produs PCR mai mare indica o clonare reușită; interpretarea de referință a selectat godeurile 5, 9 și 10. Această greșeală ar duce la purificarea plasmidei greșite.

Alte exemple arată că observațiile corecte nu se reflectă întotdeauna în răspunsul final. Astra a generalizat că vacuolele, compartimente din interiorul celulelor, sunt în general mai întunecate decât materialul celular din jur, deși în aceeași imagine apăreau vacuole mai deschise la culoare. Schimbarea adâncimii de focalizare poate inversa contrastul, iar observațiile intermediare ale Astrei menționau chiar că acesta varia în funcție de focalizare. Într-o sarcină de numărare a coloniilor, OpenAI arată că Astra nu a separat coloniile apropiate, a omis colonii vizibile și a marcat zone goale de agar, ceea ce a dus la o supraestimare de aproximativ 12% față de valoarea de referință a evaluării. Dacă volumul însămânțat și diluția rămân neschimbate, o astfel de supraestimare mărește în aceeași proporție eficiența estimată a introducerii ADN-ului.

OpenAI afirmă că urmărirea dezvoltării acestor capacități va contribui și la evaluarea consecințelor lor pentru biosiguranță și biosecuritate.

Prin urmare, standardul practic este mai ridicat decât obținerea unui scor general mai bun: un agent trebuie să-și păstreze observațiile corecte până la formularea concluziei, să verifice controalele și să se abțină de la concluzii pe care dovezile nu le susțin. BioBasicsBench transformă aceste cerințe în obiective de îmbunătățire, iar eșecurile prezentate în detaliu arată de ce progresul către asistență în laborator depinde în continuare de eliminarea decalajului dintre observarea dovezilor și luarea unei decizii experimentale bine fundamentate.