Andersonの視点
奇妙な執着がAI主導の科学の進歩を脅かす

要点新しいAI査読者は付録に固執する一方、人間の査読者は論文の主要な知見に注目する。
もっと見る
- 新しいAI査読者は付録に固執する一方、人間の査読者は論文の主要な知見に注目する。
- 言語モデルはすべての箇所を等しく重要と扱うため、どのセクションが実際に重要かを見逃す。
- 付録への偏りはアクセス方法を問わず持続し、著者の改善にほとんど役立たない表面的なフィードバックを生み出す。
米国で行われた新たな研究によると、科学論文を査読するAIモデルは、本文よりも論文の付録に奇妙なほど執着するようになっており、主要な発見よりも、細かな補足情報に注意を向けることが少なくないという。言語モデルが人間の査読者を支援するため、さらにはその代わりとして、ますます利用されるなか、今回新たに確認されたこの傾向は、人間による査読にも広がりつつあるようだ。AI研究の進展を妨げる可能性もある。

新たな論文より。人間による科学論文の査読で、付録に関する批判が増加している。長年11%未満で推移していた割合は、最新の査読では27.6%に達した。これは、批判の半数以上を付録に向けることが判明したAIモデルの公開後のことだ。破線は主要なモデルの公開時期を示す。 出典
人気の高い4つの学会から選んだ科学論文2,000本を対象に検証したところ、新たな研究の研究者らは、新しいモデルでは批判の約50~70%が付録に向けられる一方、旧型のGPT-5では30%未満だったことを明らかにした。
人間の査読者までも付録に目を向けさせ、より重要な主要結果から遠ざけているとみられる、新しいAIモデルのなかでも特に注目されるものが2つある。2026年に公開されたOpenAIのGPT-6.1-SolとGPT-6-Astraだ。
論文には次のように記されている*:
「世代間の差は大きい。GPT-5では、付録に関係する弱点はごく一部にすぎない。新しい2つのモデル、GPT-6.1-SolとGPT-6-Astraは、付録に大きく依存しており、この傾向はどの学会でも見られる。
「これは、付録への偏りが、主に新しいモデルに見られる性質であることを示唆している。新しいモデルは性能が向上しているものの、付録への偏りは強まっている。論文を細部まで読めるようになっても、どの部分が最も重要なのかを理解できるようになったわけではない。」
この研究では、AIに論文を渡す際の方法によっても、付録への執着に違いがあることが分かった。API、Codex、ウェブの各インターフェースでは、PDFの評価方法が同じではない。Codexは平均的な長さのPDFの中央部分をまったく読まず、必要に応じて後から「一口ずつ」拾い読みする。それでも、どの方法でも付録の内容を重視する傾向が確認された。
ごく最近まで、人間による査読とAIによる査読に、こうした共通の執着は見られなかった。
「[Human]査読者は、本文と補足資料をLLMとはまったく異なる形で扱う。LLMは弱点の50%超を付録関連の内容に帰している一方、人間がそうする割合は10%未満だ。
「この違いは、個々の査読単位でも見られる。2021年から2024年まで、毎年抽出した200本の論文のうち、付録関連の弱点を少なくとも1つ指摘する人間の査読を受けたものは、合計で159本にとどまった。これに対し、ICLR 2027向けにLLMが生成した査読は、200件すべてに付録への批判が少なくとも1つ含まれていた。」

人間とAIが生成した査読における、付録関連の批判の比較。人間の査読者は、特定された弱点のうち付録の内容に起因するものをわずか8.4%としたのに対し、AIモデルでは62%に達した。2列目は、本文には対応する問題がなく、付録だけに関する批判を示している。
上の検証表が示すように、AI査読者が付録の弱点を見つける可能性は人間の7倍を超え、補足資料だけに関する批判を挙げる可能性も3倍を超える。これは、最新の最先端AIモデルの一部が、人間の査読者なら従来、論文の科学的な主な貢献に比べて二次的とみなしていた細部を、優先するようになっていることを示している。
なぜなのか?
分かっている範囲では(この症状を特定した研究は今回が初めてだ)、問題の一因は、AIが論文の付録は通常、重要な内容を置く場所ではないと認識していない、あるいは膨大な学習データからそうしたことをくみ取れていない点にある。テキストをすべて同じように重要だと扱う一般的な傾向によって、付録の背景情報が見落とされてしまう。付録は多くの場合、本文よりも編集が行き届かず、はるかに粗雑な形式で提示される。
「LLMは、論文が問題を設定し、その重要性を論じる冒頭部分をほとんど批判しない。人間はまさにこの問題設定に異議を唱えることが多いが、LLMはそれを受け入れて、数値へと進むようだ。」
「[Humans and LLMs]LLMは付録をまったく異なる見方で読む。付録を読み進めるにつれて、人間による批判は急速に減り、最後の数ページではほとんど見られなくなる。一方、LLMの弱点はまったく薄れない。実際、LLMの弱点は付録の冒頭ではなく、かなり読み進めたところで最も顕著になり、人間の査読者がほとんど懸念を示さなくなる30ページ目以降も続く。
「LLMにとって、25ページ目の細部も、主要な結果表と同じように妥当な批判の対象となる。」
著者らは、LLMがテキストを平等に扱う姿勢によって、付録の内容により多くの注意を向けるようになった可能性があると指摘している。前述のとおり、付録には誤りが多い傾向があるためだ。
したがって、この新たな研究から私が大局的に読み取るのは、LLMは時間とともに、新しい科学論文のうち、誤りや混同が多く生じがちな箇所に焦点を絞るようになってきたということだ。単にその箇所が、人間の著者によって二次的な証明や証拠を雑然と放り込む場所としてあまりにも頻繁に扱われているからである。
そのため、AIは、入念に整えられた本文よりも付録に次第に強い関心を寄せるようになっている。付録のほうが分析して修正できる内容が多いからだ。その結果、論文が指摘するように、LLMは論文の冒頭部分を事実の報告として扱い、額面どおりに受け取る傾向がある。
「人間は本文だけで論文が完結していることを期待するため、重要な部分が付録に回されると異議を唱える。LLMがこの懸念を示すことはほとんどない。
「ここから重要な違いが浮かび上がる。人間は付録より本文のほうが重要だと認識しているが、LLMはそうではない。」
影響と対策
こうした予想外の細部への注目は、特に論文の主要な知見の重要性が見過ごされた場合、AIを活用した科学研究に深刻な影響を及ぼすおそれがある。この傾向は最新モデルで初めて現れたようであり、長期的な影響はまだ分かっていない。
論文は、誤りが付録の奥深くに埋もれていても、AI査読者が有益な誤りを見つけることがあると認めている。しかし、細部に過度の注意が向けられ、論文の主要な知見が犠牲になるおそれがあると警告している。その結果、実用的な価値に乏しい長文の査読コメントが生じることになる。
「LLMによる査読は、論文のどの部分も見落とさないため、査読の水準を引き上げる。しかし、効果的な査読には、何が最も重要かを判断する力も必要だ。査読の問題点の大半が、主要な貢献とは関係のない付録の内容に由来する場合、フィードバックは表面的なものにとどまる。論文の核心に踏み込まず、著者が論文を改善する助けにもほとんどならない。」
新たな研究「AIレビューは付録に偏る」の著者らがこのテーマを追究するきっかけとなったのは、LLMの支援を受けて作成されたレビューやLLMが生成したレビューが、自分たちの投稿論文を評価する際に、いくつか奇妙な傾向が見られることに気づいたためだ。この研究のコードはGitHubで公開されている。
手法と検証
検証には、OpenAIとAnthropicの主要なAIモデル4種、GPT-6-Astra、GPT-6.1-Sol、Claude-Opus-5.5、Claude-Sonnet-5.5を選んだ。モデルはCodexとClaude Codeを通じて利用し、その査読の挙動をAPIおよびウェブインターフェース経由で利用した場合と比較した。
研究論文は、AIおよび自然言語処理分野の主要な会議4つ、ACL 2026、EMNLP 2026、COLM 2026、ICLR 2027から収集した。これらを選んだのは、投稿と査読の形式が似ており、本文には厳格なページ制限がある一方で、参考文献の後に置かれる付録には通常、ページ数の制限がないためだ。
調査した論文は合計2,000本で、その内訳はICLR 2021~2026からの1,200本と、最近の会議4つから選んだ800本(各会議から200本)だった。最近の論文800本はいずれも、付録が少なくとも15ページあった。ICLR 2027への投稿論文はすでに匿名化されていた。一方、ACL、EMNLP、COLMの論文については、AI査読者に著者が特定されないよう、著者名、所属、メールアドレス、身元を特定できるリンクを削除した。
モデルのインターネット接続を無効にし、提供されたPDFのみに基づいて査読が行われるようにした。
まずAIに、該当する会議の査読形式に沿って、論文の長所と短所、および総合評価を含むレビューを作成するよう求めた。実際の査読者がAIを利用する状況を反映するため、指示は意図的に簡潔にした。次に、論文と完成したレビューを同じAIモデルに再度与え、それぞれの批判が論文のどのセクションに言及しているのかを特定するよう求めた。これは、批判内容を原論文と照らし合わせて判断した。

この研究で用いられた3段階の査読プロセス。付録が少なくとも15ページある論文を4つの学会から選び、AIモデルによる査読の前に匿名化した。その後、各査読を原論文と照らし合わせ、個々の批判を該当する節に割り当てた。
こうして作業を分けることで、どの部分が批判の対象となったかを、追加の指示によって元の査読内容が左右されることなく調べることができた。
これまで触れてこなかった結果の一つに、著者らが検証した「LLMが生成した査読の弱点はどこに由来するのか」という点がある:

4つの学会において、AIが生成した査読で弱点が指摘された箇所を比較。緑色は論文本文への批判、赤色は付録に関連する批判を示し、斜線部分は付録だけを対象とする批判を示す。ほぼすべての検証で、批判の半数を超える部分が付録の内容に向けられており、最も強い偏りはGPT-6-Astraで記録された。
上に示したように、4つすべてのAIモデルによる批判の約半数以上は付録の内容に基づいており、この傾向は4つすべての学会で見られた。論文本文とは関係なく、付録だけを専ら対象とする批判もあり、GPTモデルが特定した弱点の17.33%を占めたのに対し、Claudeでは10.16%だった。
この結果は、論文が示唆するように、付録の内容に不釣り合いなほど多くの注意が向けられ、比較的小さな細部が論文全体への批判の根拠とされることもあったことを示している。
付録への偏りが、AIへのアクセス方法によって左右されるかどうかを確かめるため、複数の方法を比較した。GPT-6-Astraを用い、ICLR 2027への投稿論文100件を、Codex、ChatGPTのウェブインターフェース、および原PDFか抽出済みテキストのいずれかを与えたAPI経由で査読した。
Codexではコマンドを使ってテキストを抽出し、検討した。APIでは、PDF全体または抽出済みテキストを直接入力した。一方、アップロードされた文書はウェブインターフェース独自の(内部の詳細が不明な)システムを通じて処理された。

AIモデルとアクセス方法別に、付録に関連する批判を比較。左側は、4つの学会において、GPT-5が新しいGPTモデルよりも付録の内容を大幅に少ない頻度で引用したことを示す。右側は、GPT-6-Astraへの4種類のアクセス方法すべてで偏りが続き、付録に関連する批判が全体の62.2%から73.7%を占めたことを示す。斜線部分は付録だけを対象とする批判を示す。
上に示したように、4種類の方法全体で、批判の62.2%から73.7%に付録に関連する内容が引用されており、最も高い割合は、抽出済みテキストをAPI経由で直接入力した場合に記録された。したがって、モデルへのアクセス方法にかかわらず、この偏りは続くことが確認された。
その他の検証の大半は記事の前半ですでに報告している。詳しくは原資料を参照されたい。
投稿をめぐる小細工
この新たな研究のテーマが著者らにとって個人的な関心事であるのと同じように、私にとっても身近な問題だ。私は科学論文をよく読むため、論文の執筆や提示の仕方を左右する、表には出ない慣習や、その慣習をすり抜ける方法を、苦い経験を通じて学んできた。
付録に注意を向けること自体は、たとえその理由が適切でないとしても、AIに広く責任があるわけではない。著者が、論文本文で示された主張をほぼ無効にしたり、大幅な留保を加えたりする要因や結果、いわば論文の「落とし穴」を付録に埋め込むことがよくあるからだ。
また、著者が重要な資料を付録に回すことに、必ずしも落ち度があるとは限らない。というのも、新たな研究でデータソースとして取り上げられたものを含む人気の高い媒体の投稿テンプレートでは、論文本文のページ数または語数に上限を設けているからだ。
複雑な研究結果を報告する際、多くの著者はこれを明らかに厳しい制約と感じているようだ。私が「最悪のケース」と考える例では†、ガイドラインを回避するために後回しにされた資料の索引に、論文の本文がただなってしまう(ただし、ガイドラインもこの「手口」への対応を進め、これを禁止しつつある)。
この状況で高まりつつある緊張は、著者に発表内容を規律し、抑制するよう求める機関側の必要性――投稿論文数が増えるにつれて、その必要性はますます高まる――と、苦労して得た成果を、その努力にふさわしいと考えるだけ十分かつ包括的な文脈の中で提示したい研究者の明らかな不満との間にある。
* 強調は著者によるもので、筆者によるものではない。
†論文を取り上げるものを選別する際、資料を付録に回すこの対応は、AIでさえ見抜くのが難しい場合があるためだ。しかし、10ページの評価に時間を割り当てていた査読者が、同じ持ち時間内に30ページ分の資料を検討しなければならないと気づけば、大きく足をすくわれかねない。
初出:2026年11月16日(月)












