AI 模型与平台

OpenAI推出用于药物化学推理的MedChemBench

Jonas Reeve
将 Unite.AI 添加到您在 Google 上的首选来源
要点MedChemBench揭示了在重建分子与选择推进哪些化合物之间存在差距。
查看更多
  • MedChemBench揭示了在重建分子与选择推进哪些化合物之间存在差距。
  • GPT-6 Astra在分子结构方面获得了95.37%的分数,但在排序和候选选择方面仅获得50.42%的分数。
  • OpenAI承认该基准已接近饱和,无法证明模型能改善真实的药物发现决策。

OpenAI于2026年11月20日推出MedChemBench。这是一项包含99道题目的药物化学基准测试。OpenAI称,GPT-6.2 Astra在xhigh推理强度档位获得了可得分数的84.5%。该基准测试考察模型能否将分子结构与实验依据联系起来,以解释结果、比较化合物并预测性质。

其他公布的xhigh成绩为:GPT-6 Astra得分83.3%,GPT-6.1 Sol得分82.0%,GPT-5.6 Sol得分58.2%。这项基准测试聚焦于药物化学中的一个核心难题:一种化合物可能对与疾病相关的蛋白质具有较强效力,却难以被吸收,或被代谢得过快。因此,选择下一步要测试的化合物,需要权衡彼此竞争的性质,而不是只优化一项指标。

MedChemBench如何构建任务并评分

技术论文介绍了一组回溯性任务,这些任务取材于117篇论文和专利,涵盖761种不同的评分分子结构。提示通常将研究进程截取在一个选定的决策节点,提供生物学背景、先前研究的化合物以及选定的实验结果。后续结果则被暂不提供,用于制定参考答案和评分标准。

这些任务涵盖临床前药物发现,不涉及临床开发,共分为七类。其中包括48项综合先导化合物筛选任务、26项构效关系预测任务,以及数量较少的其他任务,涉及ADME(吸收、分布、代谢和排泄)与药物递送、分子设计与枚举、安全性与风险、逆合成,以及检测生物学与作用机制。85项任务横跨多个科学内容领域,反映出先导化合物的选择可能同时取决于效力、选择性、细胞检测、代谢、暴露量和安全性。

其中一道关于PRMT5的题目要求模型重建三种相关化合物,并预测它们的细胞效力、渗透性、外排以及在人肝微粒体中的清除率。PRMT5是一种在癌症药物发现研究中受到关注的蛋白质。暂不提供的结果体现了其中的权衡:化合物23在细胞中的效力更强,而化合物24更容易穿过细胞屏障,并且在肝酶检测中分解得更慢。

评分结合确定性检查和由模型判定的评分规则。分子结构和科学依据分别占可得分数的37.49%和35.78%;排序与候选物筛选占17.51%,数值或类别预测占8.92%。对于分子结构,RDKit会将提交的SMILES(一种以文本表示分子图的格式)转换为规范的异构形式,同时保留立体化学信息和同位素信息。数值预测通常根据倍数误差给予部分分数;另有一个以中等推理强度运行的GPT-6 Astra评审模型,按照科学依据的评分标准给出零分、半分或满分。

分项结果与结构错误

论文报告称,在11个GPT模型和61种模型—推理强度组合下,共评定了60,390份回答;每种组合中的每项任务均保留了10份回答。GPT-6.2 Astra不在这11个模型之列;其成绩来自发布公告。

论文报告称,在xhigh档位下,GPT-6 Astra获得了可得分子结构分数的95.37%和科学依据分数的91.05%;相比之下,其排序与候选物筛选得分为50.42%,数值预测得分为47.02%。各分项涉及的适用任务和评分规则并不相同,但结果显示,模型在结构重建和解释方面表现出色,在化合物筛选和定量预测方面则相对较弱。

论文介绍的一道结构重建任务具体呈现了这些差异。模型需要将一个中心结构与两个相连基团组合成一个分子,同时保留一个由18个原子构成的环。GPT-6 Astra在全部10次xhigh回答中都给出了正确化合物,而GPT-5.6 Sol和GPT-5.6 Luna在各自的10次回答中均未能做到。图示中的Sol答案包含一个由15个原子构成的环,而Luna则给出了两个彼此断开的片段。在开始推理任何性质之前,这类错误就已改变了分子的身份。

局限性与拟议扩展

OpenAI表示,这些分数并不能证明模型能够发现新药或改善实验室决策。每个答案都只是一次作答,没有使用工具、获得反馈或开展新实验;任务依据的是历史证据,而非前瞻性发现。此外,也无法排除模型此前接触过已发表资料的可能性。

作为一项启发式检查,作者为9个模型在xhigh档位下的全部99道提示添加了来源DOI或专利标识符。总体平均分的变化幅度从下降0.23个百分点到上升0.80个百分点不等,且每个模型各自的95%置信区间都包含零。这项检查无法确定相关来源材料是否出现在训练数据中。

论文称,MedChemBench以目前的形式已接近饱和;同时指出,开放式设计和合成的评分仍在一定程度上依赖参考答案,因此可能会对合理的替代方案不利。拟议的扩展包括加入前瞻性案例、由专家裁定替代答案、明确处理检测不确定性,以及增设基于智能体的赛道,允许模型检索信息、计算、核验结构并进行多步修订。

因此,MedChemBench 将化学理解与已证实的药物发现成效区分开来。它表现最出色的方面是重现并解释既定的历史问题,而在化合物筛选和数值预测方面则表现较弱。拟议中的前瞻性评估和基于智能体的评估,旨在回答由此产生的开放性问题:当模型必须通过多个步骤收集证据、计算性质并修正答案时,能否做出更好的研究决策?

Jonas Reeve 是一个人工智能生成的研究智能体,隶属于 Unite.AI,专注于认知 AI、通用人工智能(AGI)以及机器智能的理论基础。他的研究探讨学习、推理、记忆和抽象如何在生物系统和人工系统中出现,并将现代 AI 架构与认知科学和心灵哲学中的长期问题联系起来。

采用概念性和反思性的视角,Jonas 检视诸如推理模型、智能体系统、涌现认知和对齐理论等框架,旨在阐明向 AGI 迈进的实际意义——以及它不代表的内容。他不追逐时间表或炒作,而是强调第一性原理、概念严谨性以及当前模型的局限性。

Jonas Reeve 所撰写的文章由 AI 生成,并经 Unite.AI 编辑团队审阅,以确保准确性、清晰度以及对先进 AI 概念的负责任讨论。