Yapay zeka modelleri ve platformları
OpenAI, Yapay Zekâ Ajanlarını Islak Laboratuvar Verileriyle Sınamak İçin BioBasicsBench’i Tanıttı
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
OpenAI, 6 Kasım 2026’da, yapay zekâ ajanlarının rutin ıslak laboratuvar deneylerinden elde edilen ham kanıtları yorumlayıp yorumlayamadığını sınamak üzere enzim tasarımı şirketi Ligo ile geliştirdiği 100 görevlik kıyaslama aracını tanıttı: BioBasicsBench.
OpenAI, sonuçları ortalama ödül olarak raporluyor; bu, görev başına ortalama puanın mevcut kredinin yüzdesi olarak ifade edilmesidir. Test edilen yedi modelin tümü için bildirilen en yüksek akıl yürütme eforu ayarı olan xhigh düzeyinde GPT-6 Astra, %95 güven aralığı %60,3–73,1 olmak üzere %66,7’ye ulaşırken GPT-5.6 Sol, %37,6–50,0 aralığında %43,8 puan aldı. Astra, görev başına ortalama 4.704 çıktı tokenı kullandı; Sol’da bu sayı 9.099’du.
Rutin Deneysel Kanıtlardan Yola Çıkılarak Geliştirildi
BioBasicsBench, OpenAI’nin bilimsel makaleler için seçilmiş çizelge ve görseller etrafında tasarlanan değerlendirmelerde saptadığı bir sınırlamayı ele alıyor: günlük laboratuvar çalışmaları başarısız deneyleri, belirsiz görüntüleri, çelişkili gözlemleri ve sorun gidermeyi de içeriyor. Görevlerde ajanlardan deneysel verileri yorumlamaları, hataları fark etmeleri ve kanıtların bir sonuca varmayı haklı çıkarmadığı durumları tanımaları isteniyor. Görevler protein yöntemlerini, görüntüleme ve sitometriyi, miktar tayini ve analizleri, nükleik asit yöntemlerini ve moleküler klonlamayı kapsıyor.
Bilim insanları görevleri kendi deneylerinden yola çıkarak oluşturdu ve puanlama ölçütlerini yazdı. Girdiler arasında jel ve blot görüntüleri, koloni plakları, mikroskopi görüntü dizileri, dizileme okumaları, plaka okuyucu çıktıları, laboratuvar tezgâhında çekilmiş fotoğraflar ve protokol videoları bulunuyor. Tekil görevlerde, merdiven çizelgeleri ve plazmit haritaları gibi destekleyici referans sayfalarının yanı sıra birden fazla kanıt türü bir araya gelebiliyor. Ajanlar yapılandırılmış sonuçlar, ölçümler veya öneriler sunuyor; puanlama ölçütleri ise sayısal sonuçlar, bunları destekleyen akıl yürütme ve kanıtların yetersiz olduğunu fark etme gibi unsurlara puan veriyor.
Her görev, görevi yazmamış bir Ligo bilim insanı tarafından kurum içinde, doktora düzeyinde bir ıslak laboratuvar bilim insanı tarafından kurum dışında ve son olarak istemi, kanıtları, puanlama ölçütlerini, yazar notlarını ve puanlanmış bir model denemesini kapsayan bir kurum içi incelemeden geçirildi. Değerlendirme, 37 model ve akıl yürütme eforu ayarını kapsadı; her ayarda her görev beş kez denendi ve toplam 18.500 sonuç elde edildi. Güven aralıkları, her görevin beş denemesini bir arada tutarak görevlerin tamamı yeniden örneklenmek suretiyle hesaplandı.
Astra’nın Gelişimini Gösteren Örnekler
Hücre görüntüleme görevlerinden birinde GPT-5.6 Sol, boya sinyaline dayanarak hücreleri ölü olarak sınıflandırdı. Astra, örtüşen algılama aralıklarının ikinci bir boyadan kaynaklanan girişime yol açabileceğini fark etti ve sinyalleri birbirinden ayırabilecek kontroller istedi. DNA klonlama görevinde Sol, negatif kontrol plakasında koloni görülmemesini temel alarak sonuçlara vardı. Astra ise plakanın, deneyde kullanılan ampisilin yerine kanamisin için etiketlendiğini fark ederek bu plakayı güvenilir bir kontrol olarak kabul etmedi.
Başka bir görevde hücreler odak dışına girip çıkıyordu. Sol, hücrelerin görünürde kaybolmasına biyolojik bir açıklama ararken Astra, farklı derinliklerde çekilmiş bir dizi görüntüden oluşan z-yığınını tanıdı. OpenAI, bu örnekleri çoklu kipli verileri daha iyi işleme, deney bağlamını kullanma ve verilerin neyi ortaya koyup neyi koyamayacağını anlama becerisinin kanıtı olarak yorumluyor; ayrıca rutin ıslak laboratuvar analizlerinde daha güçlü yerleşik çoklu kipli yeteneklerin önemli olabileceğine işaret ettiğini belirtiyor.
Kıyaslama Aracının Ortaya Çıkardığı Hatalar
OpenAI, daha yüksek puanların henüz güvenilir laboratuvar muhakemesi anlamına gelmediği konusunda uyarıyor. Koloni PCR görevinde Astra, daha büyük bir PCR ürününün başarılı klonlamaya işaret ettiğini varsayarak 4, 6, 7 ve 8 numaralı kuyucukları seçti; referans yorumda ise 5, 9 ve 10 numaralı kuyucuklar seçilmişti. Bu hata, yanlış plazmidin saflaştırılmasına yol açardı.
Diğer örneklerde, doğru gözlemlerin nihai yanıtı belirleyemediği görülüyor. Astra, aynı görüntüde daha açık renkli kofullar bulunmasına rağmen hücre içindeki bölmeler olan kofulların genellikle çevrelerindeki hücre materyalinden daha koyu renkte olduğunu genelledi. Odak derinliğinin değiştirilmesi kontrastı tersine çevirebilir; Astra’nın kendi ara gözlemlerinde de kontrastın odağa göre değiştiği belirtilmişti. Koloni sayma görevinde OpenAI’nin bildirdiğine göre Astra birbirine yakın kolonileri ayıramadı, görünür kolonileri gözden kaçırdı ve boş agarı işaretledi; bunun sonucunda kıyaslama referansına göre yaklaşık %12 fazla sayım yaptı. Ekilen hacim ve seyreltme sabit olduğunda bu fazla sayım, DNA aktarım verimliliği tahminini de aynı oranda yükseltir.
OpenAI, bu yeteneklerin gelişimini takip etmenin biyogüvenlik ve biyolojik emniyet üzerindeki sonuçlarına ilişkin değerlendirmelerini de şekillendireceğini söylüyor.
Dolayısıyla uygulamadaki çıta, genel puanı yükseltmekten daha yüksek: bir ajanın doğru gözlemleri vardığı sonuca yansıtması, kontrolleri doğrulaması ve kanıtların destekleyemeyeceği sonuçlara varmaktan kaçınması gerekiyor. BioBasicsBench, bu gereklilikleri geliştirilmesi gereken hedeflere dönüştürüyor; örneklerdeki başarısızlıklar da laboratuvar desteğine doğru ilerlemenin, kanıtları gözlemlemekle sağlam bir deneysel karar vermek arasındaki açığı kapatmaya hâlâ bağlı olduğunu gösteriyor.
