AI 模型与平台
OpenAI推出用于药物化学推理的MedChemBench

要点MedChemBench揭示了在重建分子与选择推进哪些化合物之间存在差距。
查看更多
- MedChemBench揭示了在重建分子与选择推进哪些化合物之间存在差距。
- GPT-6 Astra在分子结构方面获得了95.37%的分数,但在排序和候选选择方面仅获得50.42%的分数。
- OpenAI承认该基准已接近饱和,无法证明模型能改善真实的药物发现决策。
OpenAI于2026年11月20日推出MedChemBench。这是一项包含99道题目的药物化学基准测试。OpenAI称,GPT-6.2 Astra在xhigh推理强度档位获得了可得分数的84.5%。该基准测试考察模型能否将分子结构与实验依据联系起来,以解释结果、比较化合物并预测性质。
其他公布的xhigh成绩为:GPT-6 Astra得分83.3%,GPT-6.1 Sol得分82.0%,GPT-5.6 Sol得分58.2%。这项基准测试聚焦于药物化学中的一个核心难题:一种化合物可能对与疾病相关的蛋白质具有较强效力,却难以被吸收,或被代谢得过快。因此,选择下一步要测试的化合物,需要权衡彼此竞争的性质,而不是只优化一项指标。
MedChemBench如何构建任务并评分
技术论文介绍了一组回溯性任务,这些任务取材于117篇论文和专利,涵盖761种不同的评分分子结构。提示通常将研究进程截取在一个选定的决策节点,提供生物学背景、先前研究的化合物以及选定的实验结果。后续结果则被暂不提供,用于制定参考答案和评分标准。
这些任务涵盖临床前药物发现,不涉及临床开发,共分为七类。其中包括48项综合先导化合物筛选任务、26项构效关系预测任务,以及数量较少的其他任务,涉及ADME(吸收、分布、代谢和排泄)与药物递送、分子设计与枚举、安全性与风险、逆合成,以及检测生物学与作用机制。85项任务横跨多个科学内容领域,反映出先导化合物的选择可能同时取决于效力、选择性、细胞检测、代谢、暴露量和安全性。
其中一道关于PRMT5的题目要求模型重建三种相关化合物,并预测它们的细胞效力、渗透性、外排以及在人肝微粒体中的清除率。PRMT5是一种在癌症药物发现研究中受到关注的蛋白质。暂不提供的结果体现了其中的权衡:化合物23在细胞中的效力更强,而化合物24更容易穿过细胞屏障,并且在肝酶检测中分解得更慢。
评分结合确定性检查和由模型判定的评分规则。分子结构和科学依据分别占可得分数的37.49%和35.78%;排序与候选物筛选占17.51%,数值或类别预测占8.92%。对于分子结构,RDKit会将提交的SMILES(一种以文本表示分子图的格式)转换为规范的异构形式,同时保留立体化学信息和同位素信息。数值预测通常根据倍数误差给予部分分数;另有一个以中等推理强度运行的GPT-6 Astra评审模型,按照科学依据的评分标准给出零分、半分或满分。
分项结果与结构错误
论文报告称,在11个GPT模型和61种模型—推理强度组合下,共评定了60,390份回答;每种组合中的每项任务均保留了10份回答。GPT-6.2 Astra不在这11个模型之列;其成绩来自发布公告。
论文报告称,在xhigh档位下,GPT-6 Astra获得了可得分子结构分数的95.37%和科学依据分数的91.05%;相比之下,其排序与候选物筛选得分为50.42%,数值预测得分为47.02%。各分项涉及的适用任务和评分规则并不相同,但结果显示,模型在结构重建和解释方面表现出色,在化合物筛选和定量预测方面则相对较弱。
论文介绍的一道结构重建任务具体呈现了这些差异。模型需要将一个中心结构与两个相连基团组合成一个分子,同时保留一个由18个原子构成的环。GPT-6 Astra在全部10次xhigh回答中都给出了正确化合物,而GPT-5.6 Sol和GPT-5.6 Luna在各自的10次回答中均未能做到。图示中的Sol答案包含一个由15个原子构成的环,而Luna则给出了两个彼此断开的片段。在开始推理任何性质之前,这类错误就已改变了分子的身份。
局限性与拟议扩展
OpenAI表示,这些分数并不能证明模型能够发现新药或改善实验室决策。每个答案都只是一次作答,没有使用工具、获得反馈或开展新实验;任务依据的是历史证据,而非前瞻性发现。此外,也无法排除模型此前接触过已发表资料的可能性。
作为一项启发式检查,作者为9个模型在xhigh档位下的全部99道提示添加了来源DOI或专利标识符。总体平均分的变化幅度从下降0.23个百分点到上升0.80个百分点不等,且每个模型各自的95%置信区间都包含零。这项检查无法确定相关来源材料是否出现在训练数据中。
论文称,MedChemBench以目前的形式已接近饱和;同时指出,开放式设计和合成的评分仍在一定程度上依赖参考答案,因此可能会对合理的替代方案不利。拟议的扩展包括加入前瞻性案例、由专家裁定替代答案、明确处理检测不确定性,以及增设基于智能体的赛道,允许模型检索信息、计算、核验结构并进行多步修订。
因此,MedChemBench 将化学理解与已证实的药物发现成效区分开来。它表现最出色的方面是重现并解释既定的历史问题,而在化合物筛选和数值预测方面则表现较弱。拟议中的前瞻性评估和基于智能体的评估,旨在回答由此产生的开放性问题:当模型必须通过多个步骤收集证据、计算性质并修正答案时,能否做出更好的研究决策?












