OpenAI Memperkenalkan BioBasicsBench untuk Menguji Agen AI dengan Data Laboratorium Basah

OpenAI memperkenalkan BioBasicsBench pada 6 November 2026, sebuah tolok ukur yang terdiri atas 100 tugas dan dikembangkan bersama Ligo, perusahaan desain enzim, untuk menguji apakah agen AI dapat menafsirkan bukti mentah dari eksperimen laboratorium basah rutin.

OpenAI melaporkan hasil sebagai imbalan rata-rata, yakni skor tugas rata-rata yang dinyatakan sebagai persentase dari kredit yang tersedia. Pada xhigh, tingkat upaya penalaran tertinggi yang dilaporkan untuk ketujuh model yang diuji, GPT-6 Astra mencapai 66,7% dengan interval kepercayaan 95% sebesar 60,3–73,1%, sedangkan GPT-5.6 Sol memperoleh skor 43,8% dengan interval 37,6–50,0%. Rata-rata, Astra menghasilkan 4.704 token keluaran per tugas, dibandingkan dengan 9.099 token untuk Sol.

Dibangun dari Bukti Eksperimen Rutin

BioBasicsBench mengatasi keterbatasan yang diidentifikasi OpenAI dalam evaluasi yang mengandalkan bagan dan gambar pilihan dari makalah ilmiah: pekerjaan laboratorium sehari-hari juga melibatkan eksperimen yang gagal, gambar yang ambigu, pengamatan yang bertentangan, dan pemecahan masalah. Tugas-tugasnya meminta agen menafsirkan data eksperimen, menemukan kesalahan, serta mengenali saat bukti tidak cukup untuk mendukung suatu kesimpulan. Cakupannya meliputi metode protein, pencitraan dan sitometri, kuantifikasi dan uji, metode asam nukleat, serta kloning molekuler.

Para ilmuwan menyusun tugas-tugas tersebut berdasarkan eksperimen mereka sendiri dan menulis rubrik penilaiannya. Masukannya mencakup gambar gel dan blot, cawan koloni, tumpukan citra mikroskopi, hasil pembacaan sekuensing, hasil ekspor pembaca pelat, foto meja kerja laboratorium, serta video protokol. Setiap tugas dapat menggabungkan beberapa jenis bukti dan lembar referensi pendukung, seperti bagan penanda ukuran dan peta plasmid. Agen memberikan kesimpulan, pengukuran, atau rekomendasi terstruktur, sementara rubrik memberikan nilai untuk unsur-unsur seperti hasil numerik, penalaran pendukung, dan pengenalan bahwa bukti yang tersedia tidak memadai.

Setiap tugas ditinjau secara internal oleh ilmuwan Ligo yang tidak menyusunnya, ditinjau secara eksternal oleh ilmuwan laboratorium basah bergelar doktor, lalu menjalani tinjauan internal terakhir yang mencakup perintah, bukti, rubrik, catatan penulis, dan satu contoh jawaban model yang telah dinilai. Evaluasi ini mencakup 37 kombinasi model dan tingkat upaya penalaran, dengan lima percobaan untuk setiap tugas pada setiap kombinasi, sehingga menghasilkan 18.500 hasil. Interval kepercayaan dihitung dengan mengambil sampel ulang seluruh tugas, sambil mempertahankan kelima percobaan untuk setiap tugas secara bersama-sama.

Contoh di Balik Peningkatan Astra

Dalam tugas pencitraan sel, GPT-5.6 Sol menggolongkan sel sebagai mati berdasarkan sinyal zat warna. Astra menyadari bahwa jendela deteksi yang tumpang tindih dapat menyebabkan gangguan dari zat warna kedua, lalu meminta kontrol yang dapat memisahkan sinyal-sinyal tersebut. Dalam tugas kloning DNA, Sol mendasarkan kesimpulannya pada tidak ditemukannya koloni di cawan kontrol negatif, sedangkan Astra melihat bahwa cawan itu diberi label kanamisin, bukan ampisilin yang digunakan dalam eksperimen, dan menolaknya sebagai kontrol yang dapat diandalkan.

Tugas lain menampilkan sel yang bergerak keluar-masuk fokus. Sol mencari penjelasan biologis atas sel yang tampak menghilang, sedangkan Astra mengenali bahwa gambar tersebut merupakan tumpukan z, yaitu rangkaian gambar yang diambil pada kedalaman berbeda. OpenAI menafsirkan contoh-contoh ini sebagai bukti penanganan multimodal yang lebih baik, pemanfaatan konteks eksperimen, dan pengenalan atas hal-hal yang dapat maupun tidak dapat disimpulkan dari data. OpenAI juga melihatnya sebagai indikasi bahwa kemampuan multimodal bawaan yang lebih kuat mungkin penting untuk analisis laboratorium basah rutin.

Kegagalan yang Terungkap oleh Tolok Ukur

OpenAI mengingatkan bahwa skor yang lebih tinggi belum berarti penilaian laboratorium yang andal. Dalam tugas PCR koloni, Astra memilih lajur 4, 6, 7, dan 8 setelah berasumsi bahwa produk PCR yang lebih besar menandakan keberhasilan kloning; sementara itu, interpretasi acuan memilih lajur 5, 9, dan 10. Kesalahan itu akan menyebabkan plasmid yang keliru dimurnikan.

Contoh lain menunjukkan bahwa pengamatan yang benar tidak selalu tercermin dalam jawaban akhir. Astra menggeneralisasi bahwa vakuola, yaitu kompartemen di dalam sel, biasanya lebih gelap daripada materi sel di sekitarnya, padahal dalam gambar yang sama vakuolanya tampak lebih terang. Perubahan kedalaman fokus dapat membalikkan kontras, dan pengamatan sementara Astra sendiri mencatat bahwa kontras berubah seiring fokus. Dalam tugas penghitungan koloni, OpenAI melaporkan bahwa Astra gagal memisahkan koloni-koloni yang berdekatan, tidak menghitung koloni yang terlihat, dan menandai agar yang kosong, sehingga jumlahnya sekitar 12% lebih tinggi daripada acuan tolok ukur. Jika volume yang disebarkan dan pengenceran tetap, kelebihan hitung sebesar itu akan menaikkan perkiraan efisiensi pemasukan DNA dalam proporsi yang sama.

OpenAI menyatakan bahwa memantau perkembangan kemampuan ini juga akan membantu penilaiannya atas konsekuensi keselamatan hayati dan keamanan hayati.

Karena itu, standar praktisnya lebih tinggi daripada sekadar skor agregat yang lebih baik: agen harus mempertahankan keakuratan pengamatan hingga kesimpulan, memeriksa kontrol, dan menahan diri dari menarik kesimpulan yang tidak didukung bukti. BioBasicsBench menjadikan persyaratan tersebut sebagai sasaran peningkatan, dan contoh kegagalannya menunjukkan mengapa kemajuan menuju bantuan laboratorium masih bergantung pada upaya menjembatani kesenjangan antara mengamati bukti dan mengambil keputusan eksperimen yang tepat.