OpenAI、実験室で得られたデータを用いてAIエージェントを評価するBioBasicsBenchを発表

OpenAIはBioBasicsBenchを発表しました。2026年11月6日に発表されたこのベンチマークは、酵素設計企業Ligoと共同で開発された全100タスクで構成され、AIエージェントが日常的なウェットラボ実験で得られる生データを解釈できるかを評価します。

OpenAIは、平均報酬を結果として報告しています。これは、利用可能な得点に対する割合で示したタスクスコアの平均です。テスト対象となった7モデルすべてについて報告された、推論努力の設定のうち最も高いxhighでは、GPT-6 Astraが66.7%を記録し、95%信頼区間は60.3～73.1%でした。一方、GPT-5.6 Solは43.8%で、信頼区間は37.6～50.0%でした。Astraのタスクあたりの出力トークン数は平均4,704で、Solの9,099と比べて少なくなりました。

日常的な実験で得られるデータを基に構築

BioBasicsBenchは、科学論文向けに選ばれた図表や画像を中心とする評価について、OpenAIが指摘する限界に対処します。日常的な実験室の作業には、実験の失敗、解釈が難しい画像、相反する観察結果、問題の解決といった状況も伴います。このベンチマークのタスクでは、エージェントに実験データの解釈や誤りの発見、証拠から結論を導けない場合の認識を求めます。対象分野は、タンパク質関連の手法、イメージングとサイトメトリー、定量分析とアッセイ、核酸関連の手法、分子クローニングに及びます。

科学者が自らの実験を基にタスクを作成し、採点基準も用意しました。入力には、ゲル画像やブロット画像、コロニープレート、顕微鏡画像のスタック、シーケンシングリード、プレートリーダーの出力データ、実験台の写真、プロトコルの動画が含まれます。個々のタスクでは、複数種類の証拠と、ラダーチャートやプラスミドマップなどの参考資料を組み合わせることがあります。エージェントは、構造化された結論、測定値、推奨事項を返します。採点基準では、数値結果、根拠に基づく推論、証拠が不十分であるとの認識などの要素に点数が与えられます。

各タスクについて、作成者ではないLigoの科学者による社内レビュー、博士号取得者レベルのウェットラボ研究者による外部レビューに加え、プロンプト、証拠、採点基準、作成者の注記、モデルの採点済み回答例を対象とする最終的な社内レビューが行われました。評価では、モデルと推論努力の設定を組み合わせた37通りについて、各設定で全タスクに5回ずつ回答させ、合計18,500件の結果を得ました。信頼区間の算出には、タスクごとの5回の試行をまとめたまま、タスク全体を再サンプリングする方法が用いられました。

Astraの改善を示す事例

細胞イメージングのタスクで、GPT-5.6 Solは染色剤のシグナルを根拠に、細胞を死細胞と判定しました。Astraは、検出範囲が重なっているため、別の染色剤の干渉を受ける可能性があると認識し、シグナルを切り分けられる対照実験を求めました。DNAクローニングのタスクでは、Solは陰性対照プレートにコロニーが見られないことを根拠に結論を出しました。一方、Astraは、実験で使用したのがアンピシリンであるのに対し、プレートにはカナマイシン用と表示されていることに気づき、信頼できる対照としては不適切だと判断しました。

別のタスクでは、細胞が焦点の合う位置から外れたり、再び焦点に入ったりする様子が示されました。Solは細胞が見かけ上消えることに生物学的な説明を求めましたが、Astraは、異なる深さで撮影した画像を連ねたzスタックだと特定しました。OpenAIは、これらの事例を、多様な形式のデータをより適切に扱う能力、実験の文脈を利用する能力、データから何が明らかになり何が明らかにならないかを認識する能力が向上した証拠と解釈しています。また、日常的なウェットラボ分析では、ネイティブのマルチモーダル機能の強化が重要になり得ることを示すものだとしています。

ベンチマークが明らかにする失敗

OpenAIは、スコアが高くなっても、実験室で信頼できる判断を下せる段階にはまだ達していないと注意を促しています。コロニーPCRのタスクでは、AstraはPCR産物が大きいほどクローニングに成功した可能性が高いと考え、レーン4、6、7、8を選びましたが、参照用の判定ではレーン5、9、10が選ばれていました。この誤りにより、誤ったプラスミドを精製することになります。

ほかの事例では、観察自体は正しくても、最終回答に反映されないケースが示されています。Astraは、画像内では周囲より明るく見える液胞があるにもかかわらず、細胞内の区画である液胞は一般に細胞の周囲の物質より暗いと一般化しました。焦点の深さを変えるとコントラストが逆転することがあり、Astra自身の途中の観察でも、焦点に応じてコントラストが変わると指摘されていました。コロニー計数のタスクでは、Astraは近接したコロニーを別々に数えられず、目視できるコロニーを見落とし、何もない寒天培地にも印を付けたため、ベンチマークの参照値に対して約12%過大に数えたとOpenAIは報告しています。プレートに播いた液量と希釈率が一定であれば、この過大計数によってDNA導入効率の推定値も同じ割合だけ高くなります。

OpenAIによると、こうした能力の開発状況を追うことは、それらがバイオセーフティとバイオセキュリティにもたらす影響の評価にも役立ちます。

したがって、実用化に求められる水準は、総合スコアの向上よりも高いものです。エージェントには、正確な観察結果を結論に反映し、対照実験を確認し、証拠で裏付けられない結論を控えることが求められます。BioBasicsBenchは、こうした要件を改善目標として明確にし、具体的な失敗例を通じて、実験室での支援を実現するには、証拠を観察することと妥当な実験上の判断を下すことの隔たりを埋める必要があると示しています。