AIモデルとプラットフォーム
OpenAI、医薬化学の推論を評価するMedChemBenchを発表

要点MedChemBenchは、分子を再構築することと、どの化合物を前進させるかを選択することの間のギャップを明らかにしている。
もっと見る
- MedChemBenchは、分子を再構築することと、どの化合物を前進させるかを選択することの間のギャップを明らかにしている。
- GPT-6 Astraは分子構造の評価で95.37%の得点を獲得したが、ランキングと候補選択では50.42%にとどまった。
- OpenAIは、このベンチマークが飽和に近づいており、モデルが実際の創薬の意思決定を改善することを示せないと認めている。
OpenAIは2026年11月20日、99問からなる医薬化学ベンチマーク「MedChemBench」を発表し、GPT-6.2 Astraが推論努力の設定「xhigh」で、獲得可能なクレジットの84.5%を獲得したと報告した。このベンチマークでは、モデルが分子構造と実験的証拠を関連づけ、結果を説明し、化合物を比較して特性を予測できるかを検証する。
そのほかに報告された「xhigh」でのスコアは、GPT-6 Astraが83.3%、GPT-6.1 Solが82.0%、GPT-5.6 Solが58.2%だった。このベンチマークは、医薬化学における重要な課題に取り組む。化合物は、疾患に関連するタンパク質に対して高い効力を示す一方で、吸収されにくかったり、代謝が速すぎたりすることがある。そのため、次に何を試験するかを選ぶには、単一の測定値を最適化するのではなく、相反する特性を比較検討する必要がある。
MedChemBenchのタスク作成と評価方法
技術論文によると、117本の論文と特許から抽出した回顧的タスク群を用いており、評価対象となる分子構造は761種類に及ぶ。プロンプトは通常、研究プログラムの特定の意思決定時点で区切られ、生物学的背景、それ以前の化合物、選定された実験結果が提示される。後続の結果は、模範解答と採点基準の作成に用いるため、提示されない。
タスクは臨床開発ではなく前臨床の創薬を対象とし、7つのカテゴリーにわたる。内訳には、48件の統合的なリード化合物選定、26件の構造活性相関予測のほか、ADME(吸収、分布、代謝、排泄)とドラッグデリバリー、分子設計と列挙、安全性と懸念事項、逆合成、アッセイ生物学と作用機序を扱う少数のタスク群が含まれる。85件のタスクは複数の科学的内容領域にまたがっており、リード化合物の選択が効力、選択性、細胞アッセイ、代謝、曝露、安全性に同時に左右されることを反映している。
がん創薬で研究されているタンパク質PRMT5に関する問題では、モデルに対し、関連する3つの化合物を再構成し、細胞内効力、透過性、排出、ヒト肝ミクロソームクリアランスを予測するよう求める。非公開の結果は、トレードオフを示している。化合物23は細胞内でより高い効力を示した一方、化合物24は細胞障壁をより通過しやすく、肝酵素アッセイでより分解されにくかった。
採点では、決定論的なチェックとモデルが評価するルーブリックを組み合わせる。獲得可能なクレジットのうち、分子構造が37.49%、科学的根拠が35.78%を占め、順位付けと候補選定が17.51%、数値またはカテゴリーによる予測が8.92%を占める。構造の評価では、RDKitを使って、分子グラフをテキストで表現するSMILESを正準異性体形式に変換し、立体化学と同位体を保持する。数値予測には通常、誤差倍率に基づく部分点が与えられる。一方、別のGPT-6 Astra判定モデルが中程度の推論努力で科学的根拠の基準を評価し、0点、半分、または満点を付与する。
各要素の結果と構造上の誤り
論文によると、GPTモデル11種と、モデルと推論努力の組み合わせ61条件を通じて、評価済みの回答は合計60,390件に上り、各条件の各タスクについて回答を10件ずつ採用した。GPT-6.2 Astraはこの11モデルには含まれておらず、その結果は発表時に報告されたものだ。
論文の報告では、「xhigh」においてGPT-6 Astraは、獲得可能な分子構造クレジットの95.37%、科学的根拠のクレジットの91.05%を獲得した。これに対し、順位付けと候補選定では50.42%、数値予測では47.02%だった。各評価項目の対象タスクと採点規則は異なるものの、この結果は、構造の再構成と説明では高い能力を示す一方、化合物の選定と定量的な予測では相対的に弱いことを示している。
論文で紹介された再構成タスクは、構造上の違いを具体的に示している。モデルは、中心構造と2つの結合基から分子を組み立て、18原子の環を保つ必要があった。GPT-6 Astraは「xhigh」での回答10件すべてで正しい化合物を生成したが、GPT-5.6 SolとGPT-5.6 Lunaは、それぞれ10件すべてで失敗した。図示されたSolの回答では環が15原子だった一方、Lunaは互いにつながっていない2つの断片を返した。このような誤りは、特性を推論する前の段階で分子の同一性を変えてしまう。
限界と今後の拡張案
OpenAIは、今回のスコアから、モデルが新薬を発見できるか、あるいは研究室での意思決定を改善できるかは判断できないとしている。すべての回答は、ツールやフィードバック、新たな実験を用いない単発の試行であり、タスクには前向きな創薬ではなく過去の証拠が使われている。また、公開済みの情報源に事前に触れていた可能性も排除できない。
ヒューリスティックな確認として、著者らは9つのモデルの「xhigh」での全99件のプロンプトに、情報源のDOIまたは特許識別子を追加した。全体スコアの平均変化は、0.23パーセントポイントの低下から0.80ポイントの上昇までの範囲に収まり、モデルごとの95%信頼区間はいずれもゼロを含んでいた。この確認では、情報源の内容が学習データに含まれていたかどうかは判断できない。
論文は、現状のMedChemBenchは飽和に近いと述べている。また、自由形式の設計と合成の採点は今も一部が模範解答に依存しており、妥当な別解を不利に評価するおそれがあるという。今後の拡張案には、前向きな事例の導入、別解に対する専門家の判定、アッセイの不確実性の明示的な扱い、さらに情報検索、計算、構造検証、複数段階にわたる回答の修正を可能にするエージェント型の評価トラックが含まれる。
したがってMedChemBenchは、化学的理解と、創薬への効果が実証されていることを区別している。最も優れた結果が得られているのは、過去の特定の問題を再構成して説明する課題であり、化合物の選定や数値予測では成績が劣る。提案されている前向き評価とエージェントベースの評価は、そこから生じる未解決の問い、すなわち、モデルが証拠を集め、物性を計算し、複数の段階を経て回答を修正しなければならない状況で、より優れた研究上の判断を下せるのかを検証する。












