Yapay zeka modelleri ve platformları

OpenAI, Tıbbi Kimya Alanında Akıl Yürütme için MedChemBench’i Tanıttı

Jonas Reeve
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarMedChemBench, molekülleri yeniden oluşturmak ile hangi bileşiklerin ilerletileceğini…
Daha fazla göster
  • MedChemBench, molekülleri yeniden oluşturmak ile hangi bileşiklerin ilerletileceğini seçmek arasında bir boşluğu ortaya koyuyor.
  • GPT-6 Astra, moleküler yapı kredisinin %95,37'sini kazandı ancak sıralama ve aday seçimi için yalnızca %50,42 aldı.
  • OpenAI, kıyaslamanın doygunluğa yakın olduğunu kabul ediyor ve modellerin gerçek ilaç keşfi kararlarını iyileştirdiğini gösteremiyor.

OpenAI, 99 problemden oluşan bir tıbbi kimya kıyaslama testi olan MedChemBench’i 20 Kasım 2026’da tanıttı ve GPT-6.2 Astra’nın xhigh akıl yürütme çabası ayarında kullanılabilir puanların %84,5’ini aldığını bildirdi. Test, modellerin sonuçları açıklamak, bileşikleri karşılaştırmak ve özellikleri tahmin etmek için moleküler yapıları deneysel kanıtlarla ilişkilendirip ilişkilendiremediğini ölçüyor.

Bildirilen diğer xhigh puanları GPT-6 Astra için %83,3, GPT-6.1 Sol için %82,0 ve GPT-5.6 Sol için %58,2 oldu. Kıyaslama testi, tıbbi kimyanın temel zorluklarından birini ele alıyor: Bir bileşik, hastalıkla ilişkili bir proteine karşı etkili olabilirken vücut tarafından zayıf emilebilir veya çok hızlı metabolize edilebilir. Bu nedenle, sonraki test edilecek bileşiği seçerken tek bir ölçümü eniyilemek yerine birbiriyle yarışan özellikleri tartmak gerekir.

MedChemBench Görevleri Nasıl Oluşturuyor ve Puanlıyor?

Teknik makale, 117 makale ve patentten derlenen, puanlamaya tabi tutulan 761 farklı moleküler yapıyı kapsayan geriye dönük bir görev kümesini açıklıyor. İstemler genellikle bir araştırma programında seçilmiş bir karar noktasında sona eriyor; biyolojik bağlamı, daha önce incelenen bileşikleri ve seçilmiş deney bulgularını sunuyor. Daha sonraki sonuçlar, referans yanıtları ve puanlama ölçütlerini belirlemeye yardımcı olması için paylaşılmıyor.

Görevler, klinik geliştirmeyi değil, klinik öncesi ilaç keşfini kapsayan yedi kategoriden oluşuyor. Bu kategoriler arasında 48 görevli bütünleşik öncü bileşik seçimi, 26 görevli yapı-etkinlik ilişkisi tahmini ve ADME’yi (emilim, dağılım, metabolizma ve atılım) ve ilaç ulaştırmayı, moleküler tasarım ve sayım oluşturmayı, güvenlik ve riskleri, retrosentezi, ayrıca deney biyolojisi ve etki mekanizmasını kapsayan daha küçük gruplar bulunuyor. Seksen beş görev birden fazla bilimsel içerik alanını kapsıyor; bu da bir öncü bileşik seçiminin aynı anda etkinliğe, seçiciliğe, hücre deneylerine, metabolizmaya, maruziyete ve güvenliğe bağlı olabileceğini gösteriyor.

Kanser ilacı keşfinde incelenen bir protein olan PRMT5’le ilgili bir problemde modellerden, birbiriyle ilişkili üç bileşiği yeniden oluşturmaları ve hücresel etkinliği, geçirgenliği, dışa atımı ve insan mikrozomal klirensini tahmin etmeleri isteniyor. Paylaşılmayan sonuçlar, ödünleşimi ortaya koyuyor: 23 numaralı bileşik hücrelerde daha etkiliyken 24 numaralı bileşik hücre bariyerini daha kolay geçti ve karaciğer enzimi deneyinde daha yavaş parçalandı.

Puanlama, kesin kurallara dayalı kontrolleri model değerlendirmeli ölçütlerle birleştiriyor. Moleküler yapı ve bilimsel gerekçe, kullanılabilir puanların sırasıyla %37,49’unu ve %35,78’ini oluşturuyor; sıralama ve aday seçimi %17,51’ini, sayısal veya kategorik tahmin ise %8,92’sini oluşturuyor. Yapılar için RDKit, gönderilen SMILES gösterimlerini (moleküler grafiklerin metinsel gösterimi) stereokimyayı ve izotopları koruyarak kanonik izomerik biçime dönüştürüyor. Sayısal tahminler genellikle kat hatasına dayalı kısmi puan alırken, orta düzey akıl yürütme çabası ayarında çalışan ayrı bir GPT-6 Astra değerlendiricisi, bilimsel gerekçe ölçütlerine sıfır, yarım veya tam puan veriyor.

Bileşen Sonuçları ve Yapısal Hatalar

Makale, 11 GPT modeli ve 61 model-çaba koşulu genelinde, her koşuldaki her görev için 10 yanıtın puanlamaya alındığı toplam 60.390 puanlanmış yanıt bildiriyor. GPT-6.2 Astra bu 11 model arasında yer almıyor; onun sonucu duyurudan geliyor.

Makale, xhigh ayarında GPT-6 Astra’nın kullanılabilir moleküler yapı puanlarının %95,37’sini, bilimsel gerekçe puanlarının ise %91,05’ini aldığını bildiriyor. Bu oranlar, sıralama ve aday seçiminde %50,42, sayısal tahminde ise %47,02 olarak gerçekleşti. Bileşenler, farklı uygulanabilir görevleri ve puanlama kurallarını kapsıyor; ancak sonuçlar, güçlü yeniden oluşturma ve açıklama becerilerini, daha zayıf bileşik seçimi ve nicel tahmin becerilerinden ayırıyor.

Makalede açıklanan bir yeniden oluşturma görevi, yapısal farklılıkları somut biçimde ortaya koyuyor. Modellerin, 18 atomlu bir halkayı koruyarak merkezi bir yapıdan ve ona bağlı iki gruptan bir molekül oluşturmaları gerekiyordu. GPT-6 Astra, xhigh ayarındaki on yanıtının tamamında doğru bileşiği üretirken GPT-5.6 Sol ve GPT-5.6 Luna kendi on yanıtlarının tamamında başarısız oldu. Örneklenen Sol yanıtında 15 atomlu bir halka bulunurken Luna, birbirinden kopuk iki parça döndürdü. Bu tür hatalar, herhangi bir özellik değerlendirmesi başlamadan önce molekülün kimliğini değiştiriyor.

Sınırlamalar ve Önerilen Genişletmeler

OpenAI, bu puanların modellerin yeni ilaçlar keşfedip keşfedemediğini veya laboratuvar kararlarını iyileştirip iyileştiremediğini ortaya koymadığını belirtiyor. Her yanıt, araç, geri bildirim veya yeni deney kullanılmadan tek bir denemede verildi; görevlerde ileriye dönük keşifler yerine geçmişe ait kanıtlardan yararlanılıyor. Modellerin yayımlanmış kaynaklarla daha önce karşılaşmış olma olasılığı da göz ardı edilemiyor.

Yazarlar, sezgisel bir kontrol için dokuz modelin xhigh ayarındaki 99 istemin tümüne kaynak DOI’si veya patent tanımlayıcıları ekledi. Genel puan ortalamasındaki değişimler 0,23 yüzde puanlık düşüş ile 0,80 puanlık artış arasında kaldı ve modele özgü %95 güven aralıklarının tümü sıfırı içerdi. Bu kontrol, kaynak materyalin eğitim verilerinde yer alıp almadığını ortaya koyamıyor.

Makale, MedChemBench’in mevcut hâliyle doygunluğa yaklaştığını belirtiyor ve açık uçlu tasarım ile sentez puanlamasının hâlâ kısmen referans yanıtlara bağlı olduğunu, bunun da makul alternatifleri haksız biçimde düşük puanlayabileceğini söylüyor. Önerilen genişletmeler arasında ileriye dönük vakalar, alternatif yanıtların uzmanlarca karara bağlanması, deney belirsizliğinin açıkça ele alınması ve bilgi getirme, hesaplama, yapı doğrulama ve çok aşamalı düzeltmeye olanak tanıyan ajan tabanlı bir parkur bulunuyor.

Bu nedenle MedChemBench, kimyasal kavrayışı kanıtlanmış ilaç keşfi etkisinden ayrı değerlendiriyor. En güçlü sonuçları, geçmişteki sabit sorunları yeniden oluşturma ve açıklama alanında görülürken bileşik seçimi ve sayısal tahmin geride kalıyor. Önerilen ileriye dönük ve ajan tabanlı değerlendirmeler, bunun sonucunda ortaya çıkan açık soruyu ele alıyor: Modeller kanıt toplamak, özellikleri hesaplamak ve yanıtlarını birden çok aşamada gözden geçirmek zorunda kaldıklarında daha iyi araştırma kararları verebilir mi?

Jonas Reeve, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; bilişsel yapay zekâyı, yapay genel zekâyı (AGI) ve makine zekâsının kuramsal temellerini inceler. Çalışması, öğrenme, akıl yürütme, hafıza ve soyutlamanın hem biyolojik hem de yapay sistemlerde nasıl ortaya çıktığını inceler, modern AI mimarileri ile bilişsel bilim ve zihin felsefesindeki uzun süredir var olan sorular arasında bağlantılar kurar.

Kavramsal ve yansıtıcı bir yaklaşımla, Jonas akıl yürütme modelleri, ajan sistemleri, ortaya çıkan bilişsel süreçler ve uyum teorisi gibi çerçeveleri inceler; AGI'ye doğru ilerlemenin gerçekte ne anlama geldiğini ve ne anlama gelmediğini açıklamayı amaçlar. Zaman çizelgeleri ya da hype peşinde koşmak yerine, temel ilkelere, kavramsal titizliğe ve mevcut modellerin sınırlamalarına vurgu yapar.

Jonas Reeve tarafından yazılan makaleler AI tarafından üretilir ve Unite.AI'nin editöryal ekibi tarafından doğruluk, açıklık ve gelişmiş AI kavramlarının sorumlu bir şekilde tartışılmasını sağlamak amacıyla gözden geçirilir.