Anthropicの寄稿論文、AIに科学モデルの候補群を返すよう提言

Anthropicは2026年11月6日、研究者による寄稿エッセイを公開した。AI for Scienceの助成を受けるJakob Macke、Daniel Gedon、Stefan Wahlは、LLMエージェントは最もよく適合する単一のモデルではなく、妥当な科学モデルの確率重み付き分布を返すべきだと論じている。著者らはELLIS Institute TübingenとUniversity of Tübingenの研究者である。

著者らが重視するのは、観測結果を再現することと、システムを理解することの違いだ。多くのパラメーター設定が同じ出力を生み出し得るほか、異なる方程式の構造で同じ測定結果を説明できる場合もある。そのため、妥当な答えを一つだけ返すエージェントは、異なるメカニズムや予測を裏付ける可能性のある別の候補を覆い隠してしまう。

モデルの構築・制約・解釈

このエッセイでは、科学的モデリングを、モデルの構成要素と方程式を組み立てること、測定値を用いて調整可能なパラメーターに制約を与えること、そして結果が現実のシステムについて何を示すかを解釈すること、という3つの反復的な段階に分けている。歴史的な例として挙げられているのは、HodgkinとHuxleyによる神経細胞モデルだ。より単純な形式ではデータへの適合度が低かったため、2人は4乗項を採用した。一方、Huxleyは、1951年にCambridge Universityのコンピューターが故障した後、手回し式計算機を使って方程式を解くのに3週間以上を費やした。

棄却された候補をめぐるこの経緯こそが、重要な点だ。4乗項は、膜のゲートに複数の可動部分があるという仮説を裏付けた。より低いべき乗では適合しなかったと知らなければ、数値上の適合だけではその解釈を正当化できなかっただろう。著者らはこの例をもとに、AIが満たすべき基準を示している。つまり、モデリングの過程で明らかになることを、棄却された候補や残された不確実性も含めて保持することだ。

パラメーター分布からモデル分布へ

ベイズ推論は、データへの適合度と事前知識を反映した確率分布によって妥当な設定を表すことで、パラメーターに関する問題に対処する。機構論的シミュレーターでは、従来の尤度計算はしばしば実行困難だ。2020年のPNASレビューによると、尤度の計算ではシミュレーター内で起こり得るあらゆる実行経路を暗黙的に積分する必要がある。

これに対し、シミュレーションベース推論では、パラメーターをサンプリングしてシミュレーターを実行し、合成データを使ってニューラル推定器を学習させる。SNPE法に必要なのは、実行可能なモデル、事前のパラメーター制約、そして観測データまたは要約特徴量であり、尤度の評価や微分可能なモデルコードは必要ない。Hodgkin-Huxleyモデルを用いたシミュレーション実験では、1回のラウンドで10万回のシミュレーションを行い、7つの電圧特徴量から8つの生物物理学的パラメーターを推定した。特徴量を追加すると事後分布が狭まり、観測値によってどのパラメーターが強く、または弱く制約されるかが明らかになった。初期のシミュレーションと学習を終えれば、学習済みの代理モデルを使って新たなデータを効率的に評価できる。

このエッセイは、この考え方をパラメーターからモデル構造へと広げている。LLMエージェントは、候補となるシミュレーターのコードを作成し、実行してパラメーターに制約を与え、出力を観測値と比較したうえで方程式を修正できる。別々の実行では、異なっていても同等に妥当な構造が得られることがあるため、提案されている出力は重み付きの候補群だ。各候補はデータによる裏付けに応じて重みを得る一方、過度に柔軟な適合には低い評価が与えられ、有力な候補はさらなる変種を生み出す起点となる。残ったモデルに共通する特徴は証拠が支持する内容を示し、モデル間の不一致は証拠が乏しい箇所や、次に行う実験の候補を明らかにする。

ModelSMCが実行可能なモデルを探索

2026年に発表された先行研究ModelSMCの論文で、WahlらはMackeとGedonを含む研究チームとともに、このアプローチを、実行可能なシミュレーター・プログラムを対象とする確率的推論として定式化した。各候補は、LLMが先行する実装、評価からのフィードバック、タスクの文脈を用いて提案または改良する粒子である。尤度に基づく重み付けと再サンプリングによって、有望な構造に候補群を絞り込む一方、探索中は構造ごとに最適化した単一の推定値へとパラメーターを縮約せず、周辺化する。この研究では、2025年5月5日に開始されたAnthropicのAI for Scienceプログラムを通じたAPI利用クレジットへの謝辞も記されている。同プログラムの対象は、特定の機関に所属する研究者で、特に生物学と生命科学に重点を置いている。

実験では、合成した疫学的動態、腎臓におけるアルドステロン調節のシミュレーター、そして実測した電圧記録10件を用いたHodgkin-Huxleyモデルの構造発見課題を扱った。著者らによると、重みの高い神経科学モデルでは、M型の遅延性カリウム電流が繰り返し追加され、別のチャネルが併せて加わる場合もあった。このモデル群は10回の実行のうち9回で1位となった。全体的な定量性能は、同程度の計算予算でFunSearch+および単一粒子の変種と同等だった。主張されている利点は、一様に性能が上回ることではなく、モデル群の事後分布を分析できることにある。

解釈と検証

ModelSMCについて記録されているコストと依存関係は、結果と同じくらい重要だ。シミュレーションと尤度推定を繰り返すには多くの計算資源が必要であり、モデルの誤指定があると代理尤度が偏りを生む可能性がある。また、モデルの発見は、LLMが有用な構造を提案できるかどうかに左右される。寄稿エッセイでは、さらに広い留保も示されている。こうしたシステムの検証は、既知のモデルを再発見する課題が中心であり、正解が知られていない科学的問題でも機能するという証拠は乏しい。

著者らは、解釈を委ねることが最も難しい段階だと述べている。データへの適合度は測定できる一方、理解の深まりには、それに匹敵するほど明確な評価基準がないためだ。系に摂動を与えた後、適合するモデル同士が一致すれば予測の確かさが増すが、食い違いがあれば未解明のメカニズムが明らかになり、次の実験の手がかりとなる。AIによって、コンパクトで人間が読みやすいモデルを求めてきた従来の圧力が弱まるなら、この要件はいっそう重要になる。モデルが大規模になるほど、不確実性を明示し、メカニズムを簡潔に要約する必要性が高まるからだ。

したがって、著者らが求める基準は、モデルがデータに適合するだけでは満たされない。AIシステムは、回答の根拠となる証拠を記録すべきであり、そこには、各構成要素を特定する測定値、うまくいかなかった候補、未解消の不確実性、探索の過程で生まれた疑問を含める必要がある。検証例が限られている現状を踏まえると、モデルの分布を、棄却された代替案の履歴とともに保持することで、真に答えの定まっていない科学的問題への理解が深まるのかどうかが、決定的な問いとなる。