OpenAI推出BioBasicsBench，利用湿实验数据测试AI智能体

OpenAI于2026年11月6日推出BioBasicsBench。这是一项包含100项任务的基准测试，由OpenAI与酶设计公司Ligo共同开发，旨在测试AI智能体能否解读常规湿实验中的原始证据。

OpenAI以平均奖励值报告结果，即将任务平均得分表示为可获总分的百分比。在xhigh这一推理力度最高的设置下（该设置适用于测试的全部七个模型），GPT-6 Astra的得分为66.7%，95%置信区间为60.3–73.1%；GPT-5.6 Sol的得分则为43.8%，置信区间为37.6–50.0%。Astra每项任务平均生成4,704个输出词元，Sol则为9,099个。

基于常规实验中的证据

BioBasicsBench针对OpenAI指出的一项评估局限：现有评估主要使用为科学论文挑选的图表和图像，而日常实验室工作还会遇到实验失败、图像模糊不清、观察结果相互矛盾以及故障排查等情况。测试任务要求智能体解读实验数据、发现错误，并判断现有证据是否足以支持结论。任务涵盖蛋白质实验方法、成像与流式细胞术、定量分析与检测、核酸实验方法以及分子克隆。

科学家根据自己的实验设计了这些任务，并编写了评分细则。输入材料包括凝胶和印迹图像、菌落平板、显微图像堆栈、测序读段、酶标仪导出数据、实验台照片以及实验方案视频。单项任务可以结合多种证据类型和辅助参考资料，例如分子量标准图表和质粒图谱。智能体需返回结构化的结论、测量结果或建议；评分细则则会针对多项内容给分，包括数值结果、支持结论的推理，以及识别出证据不足。

每项任务都经过三轮审核：先由一名未参与编写该任务的Ligo科学家进行内部审核，再由一名博士级湿实验科学家进行外部审核，最后由内部人员审核任务提示、证据、评分细则、作者注释以及一次已评分的模型作答。评估涵盖37种模型与推理力度设置，每种设置下的每项任务都尝试五次，共产生18,500条结果。计算置信区间时，研究人员以完整任务为单位进行重采样，并将每项任务的五次尝试作为一个整体保留。

Astra表现提升的实例

在一项细胞成像任务中，GPT-5.6 Sol根据染料信号将细胞判定为死亡细胞。Astra则意识到，检测窗口重叠可能导致第二种染料产生干扰，因此要求加入能够区分两种信号的对照。在一项DNA克隆任务中，Sol根据阴性对照平板上没有菌落得出结论；Astra则注意到，该平板标记的是卡那霉素，而实验使用的是氨苄青霉素，因此认定它不能作为可靠的对照。

另一项任务展示了细胞在焦点内外移动的情况。Sol试图为细胞看似消失寻找生物学解释，而Astra则识别出图像是一个Z轴堆栈，即在不同深度拍摄的一系列图像。OpenAI认为，这些实例表明模型在多模态处理、运用实验背景以及识别数据能够和不能证明什么方面有所进步；同时也说明，更强的原生多模态能力或许对常规湿实验分析至关重要。

基准测试揭示的失误

OpenAI提醒，得分提高并不意味着模型已经具备可靠的实验室判断能力。在一项菌落PCR任务中，Astra误以为PCR产物越大，就越能说明克隆成功，因此选中了4、6、7和8号泳道；参考判读结果选中的则是5、9和10号泳道。这一错误会导致研究人员纯化出错误的质粒。

其他实例表明，即使观察正确，也未必能影响最终答案。Astra笼统地认为，液泡（细胞内部的区室）通常比周围的细胞物质颜色更深，尽管同一张图像中的液泡实际上颜色更浅。改变焦平面深度可能会反转这种对比，而Astra在自己的中间观察中也指出，对比度会随焦点变化。在一项菌落计数任务中，OpenAI报告称，Astra未能区分彼此靠近的菌落，漏掉了可见菌落，还把空白琼脂标记为有菌落，导致计数结果比基准参考值高出约12%。在铺板体积和稀释倍数固定的情况下，这种高估会使DNA导入效率的估算值也按相同比例虚高。

OpenAI表示，持续关注这些能力的发展，也将有助于评估其对生物安全和生物安保造成的影响。

因此，实际要求远不止取得更高的总体得分：智能体必须将准确观察落实到结论中，核查对照，并避免作出证据无法支持的结论。BioBasicsBench将这些要求列为改进目标，而其中展示的失败案例也说明，要实现实验室辅助，仍须弥合观察证据与作出可靠实验判断之间的差距。