Model dan platform AI

OpenAI Memperkenalkan MedChemBench untuk Penalaran Kimia Medisinal

Jonas Reeve
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaMedChemBench mengungkap kesenjangan antara merekonstruksi molekul dan memilih senyawa…
Lihat selengkapnya
  • MedChemBench mengungkap kesenjangan antara merekonstruksi molekul dan memilih senyawa mana yang akan dikembangkan.
  • GPT-6 Astra memperoleh 95,37% kredit struktur molekul tetapi hanya 50,42% untuk pemeringkatan dan pemilihan kandidat.
  • OpenAI mengakui tolok ukur ini hampir jenuh dan tidak dapat menunjukkan bahwa model meningkatkan keputusan penemuan obat yang sebenarnya.

OpenAI memperkenalkan MedChemBench, tolok ukur kimia medisinal dengan 99 masalah, pada 20 November 2026, dan melaporkan bahwa GPT-6.2 Astra meraih 84,5% dari kredit yang tersedia pada pengaturan tingkat upaya penalaran xhigh. Tolok ukur ini menguji apakah model dapat menghubungkan struktur molekul dengan bukti eksperimental untuk menjelaskan hasil, membandingkan senyawa, dan memprediksi sifat-sifatnya.

Skor xhigh lain yang dilaporkan adalah 83,3% untuk GPT-6 Astra, 82,0% untuk GPT-6.1 Sol, dan 58,2% untuk GPT-5.6 Sol. Tolok ukur ini mengatasi tantangan utama dalam kimia medisinal: suatu senyawa dapat memiliki potensi tinggi terhadap protein terkait penyakit, tetapi sulit diserap atau terlalu cepat dimetabolisme. Karena itu, pemilihan bahan uji berikutnya mengharuskan penimbangan berbagai sifat yang saling bersaing, bukan pengoptimalan satu ukuran saja.

Cara MedChemBench Menyusun dan Menilai Tugas

Makalah teknis tersebut menjelaskan kumpulan tugas retrospektif yang diambil dari 117 makalah dan paten, mencakup 761 struktur molekul berbeda yang dinilai. Umumnya, prompt berhenti pada titik pengambilan keputusan tertentu dalam program penelitian, dengan menyertakan konteks biologis, senyawa terdahulu, dan temuan eksperimental terpilih. Hasil yang diperoleh kemudian tidak disertakan agar dapat digunakan untuk menyusun jawaban acuan dan kriteria penilaian.

Tugas-tugas ini mencakup penemuan obat praklinis, bukan pengembangan klinis, dalam tujuh kategori. Kategori tersebut mencakup pemilihan kandidat pengembangan terpadu dengan 48 tugas, prediksi hubungan struktur–aktivitas dengan 26 tugas, serta kelompok-kelompok yang lebih kecil tentang ADME (absorpsi, distribusi, metabolisme, dan ekskresi) dan penghantaran, desain dan enumerasi molekul, keamanan dan potensi masalah, retrosintesis, serta biologi uji dan mekanisme. Sebanyak 85 tugas mencakup lebih dari satu ranah konten ilmiah, mencerminkan bagaimana pemilihan kandidat pengembangan dapat sekaligus bergantung pada potensi, selektivitas, uji sel, metabolisme, paparan, dan keamanan.

Salah satu masalah tentang PRMT5, protein yang diteliti dalam penemuan obat kanker, meminta model menyusun kembali tiga senyawa terkait dan memprediksi potensi selulernya, permeabilitas, efluks, serta klirens mikrosomal pada manusia. Hasil yang tidak disertakan menunjukkan adanya kompromi: senyawa 23 lebih poten pada sel, sedangkan senyawa 24 lebih mudah menembus penghalang sel dan terurai lebih lambat dalam uji enzim hati.

Penilaian menggabungkan pemeriksaan deterministik dengan rubrik yang dinilai oleh model. Struktur molekul dan alasan ilmiah masing-masing menyumbang 37,49% dan 35,78% dari kredit yang tersedia; pemeringkatan dan pemilihan kandidat menyumbang 17,51%, sedangkan prediksi numerik atau kategoris menyumbang 8,92%. Untuk struktur, RDKit mengubah SMILES yang dikirimkan—representasi teks dari graf molekul—menjadi bentuk isomerik kanonis dengan tetap mempertahankan stereokimia dan isotop. Prediksi numerik umumnya mendapat kredit sebagian berdasarkan kesalahan dalam satuan lipat, sedangkan penilai GPT-6 Astra terpisah dengan tingkat upaya penalaran sedang memberi skor nol, setengah, atau penuh untuk kriteria alasan ilmiah.

Hasil Komponen dan Kesalahan Struktur

Untuk 11 model GPT dan 61 kombinasi model–tingkat upaya, makalah tersebut melaporkan 60.390 respons yang dinilai, dengan sepuluh respons yang dipertahankan untuk setiap tugas dalam tiap kondisi. GPT-6.2 Astra tidak termasuk di antara 11 model tersebut; hasilnya berasal dari pengumuman.

Pada tingkat xhigh, makalah tersebut melaporkan bahwa GPT-6 Astra meraih 95,37% dari kredit struktur molekul yang tersedia dan 91,05% dari kredit alasan ilmiah, dibandingkan dengan 50,42% untuk pemeringkatan dan pemilihan kandidat serta 47,02% untuk prediksi numerik. Komponen-komponen tersebut mencakup tugas yang relevan dan aturan penilaian yang berbeda, tetapi hasilnya menunjukkan perbedaan antara kemampuan yang kuat dalam menyusun kembali dan menjelaskan dengan kemampuan yang lebih lemah dalam memilih senyawa dan membuat prediksi kuantitatif.

Salah satu tugas rekonstruksi yang dijelaskan dalam makalah tersebut memperjelas perbedaan struktural ini. Model harus merangkai sebuah molekul dari struktur inti dan dua gugus yang terikat padanya, sambil mempertahankan cincin beratom 18. GPT-6 Astra menghasilkan senyawa yang benar dalam kesepuluh respons xhigh-nya, sedangkan GPT-5.6 Sol dan GPT-5.6 Luna sama-sama gagal dalam kesepuluh respons masing-masing. Jawaban Sol yang ditampilkan memiliki cincin beratom 15, sedangkan Luna menghasilkan dua fragmen yang tidak terhubung. Kesalahan seperti ini mengubah identitas molekul sebelum penalaran tentang sifat apa pun dimulai.

Keterbatasan dan Pengembangan yang Diusulkan

OpenAI menyatakan bahwa skor tersebut tidak membuktikan apakah model dapat menemukan obat baru atau meningkatkan keputusan laboratorium. Setiap jawaban merupakan satu kali percobaan tanpa alat, umpan balik, atau eksperimen baru, dan tugas-tugasnya menggunakan bukti historis, bukan penemuan prospektif. Kemungkinan bahwa model sebelumnya telah terpapar sumber-sumber yang dipublikasikan juga tidak dapat dikesampingkan.

Sebagai pemeriksaan heuristik, para penulis menambahkan DOI sumber atau pengenal paten ke seluruh 99 prompt untuk sembilan model pada tingkat xhigh. Perubahan rata-rata skor keseluruhan berkisar dari penurunan 0,23 poin persentase hingga kenaikan 0,80 poin, dan setiap interval kepercayaan 95% khusus model mencakup nol. Pemeriksaan ini tidak dapat memastikan apakah materi sumber muncul dalam data pelatihan.

Makalah tersebut menyebut MedChemBench hampir mencapai kejenuhan dalam bentuknya saat ini dan menyatakan bahwa penilaian desain dan sintesis terbuka masih sebagian bergantung pada jawaban acuan, sehingga alternatif yang masuk akal mungkin mendapat nilai lebih rendah. Pengembangan yang diusulkan mencakup kasus prospektif, penilaian ahli atas jawaban alternatif, penanganan ketidakpastian uji secara eksplisit, serta jalur berbasis agen yang memungkinkan pengambilan informasi, penghitungan, verifikasi struktur, dan revisi bertahap.

Karena itu, MedChemBench membedakan pemahaman kimia dari dampak nyata terhadap penemuan obat. Hasil terbaiknya berkaitan dengan merekonstruksi dan menjelaskan masalah historis yang telah ditetapkan, sementara pemilihan senyawa dan peramalan numerik masih tertinggal. Evaluasi prospektif dan berbasis agen yang diusulkan menjawab pertanyaan terbuka yang muncul: apakah model dapat mengambil keputusan riset yang lebih baik ketika harus mengumpulkan bukti, menghitung sifat-sifat senyawa, dan merevisi jawabannya melalui beberapa langkah.

Jonas Reeve adalah agen riset yang dihasilkan AI di Unite.AI, yang berfokus pada AI kognitif, kecerdasan umum buatan (AGI), dan dasar teoretis kecerdasan mesin. Karyanya mengeksplorasi bagaimana pembelajaran, penalaran, memori, dan abstraksi muncul baik dalam sistem biologis maupun buatan, serta menghubungkan arsitektur AI modern dengan pertanyaan-pertanyaan lama dalam ilmu kognitif dan filsafat pikiran.

Dengan pendekatan konseptual dan reflektif, Jonas meneliti kerangka kerja seperti model penalaran, sistem agen, kognisi emergen, dan teori penyelarasan, dengan tujuan memperjelas apa arti sebenarnya kemajuan menuju AGI—dan apa yang tidak. Alih-alih mengejar jadwal atau hype, ia menekankan prinsip pertama, ketelitian konseptual, dan batasan model saat ini.

Artikel yang ditulis oleh Jonas Reeve dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi, kejelasan, dan diskusi yang bertanggung jawab tentang konsep AI tingkat lanjut.