自信に満ちた科学論文は、内容の価値にかかわらずAI査読者を動かす

自信は進化における明確な優位性であり、ドイツで発表された新たな研究論文によると、科学論文が著者の同業者ではなく大規模言語モデル（大規模言語モデル）によって査読される際にも有利に働くという。AIによる生産性の向上を背景に科学論文の数が急増するなか、こうした査読はますます頻繁に必要となっている。

この新たな研究によると、AI（人間ではない）査読者は、確信に満ちた断定的な表現で書かれた科学論文に一貫して高い評価を与える。基礎となる研究内容が、より自信のない文調で書かれた論文と同一であっても、その傾向は変わらない。場合によっては、表現を変えるだけで、論文が不採択から採択へと覆ることもある。

著者らは次のように述べている。

「私たちの実験では、LLM査読者が高い確信度を示す表現を用いることを大幅に好む傾向が明らかになった[papers]。重要なのは、こうした選好によって採択と<>不採択の境界をまたぐ判定の逆転が頻繁に起き、査読結果に直接影響している点である。

「さらに、査読で取り上げられる論点の頻度や評価の方向性が、論文の言語的特徴によって異なることも分かった。こうした違いが最終的な判定に影響を及ぼす可能性がある。」

皮肉なことに、著者らが明らかにしたこの現象は、AIが私たち自身のプロンプトや質問に対して「自信満々に誤った回答をする」ことがあまりにも多い仕組みによく似ている。ただし、ここで判定を下すのは人間であり、論文を手がけた科学者たちが自らの主張を本当に信じているかどうかにかかわらず、個人としても集団としても現実の責任を負う。

科学論文の掲載可否をAIがますます決めるようになれば、科学者は競争上の戦略として「より自信に満ちた表現」を使うことを学ぶかもしれない。とりわけ、投稿論文に欠陥がある場合にはそうなる可能性がある。その結果、限られつつある人々の注目を集める機会に、質の低い科学研究が不当に足場を築くおそれもある。

大言壮語で勝利へ

研究*によると、AI査読者は、自信に満ちた文体で書かれた論文の手法、理論、科学的貢献を、より断定的でない文体の論文と内容が同一であっても、高く評価する傾向が強かった。著者らの検証では、504本の科学論文をさまざまな文体に書き換え、GPT-5.5、Claude Sonnet 4.6、Gemini 3.5 Flashを含む6つのAIモデルで評価した。実際の投稿論文に見られる特異な点や癖が結果を歪めないよう、論文の人工的な改変版を作成する必要があった。:

同じ科学的文章を4種類の異なる文体に書き換えた例。色付きのハイライトは、文章をより自信に満ちた表現またはより控えめな表現にする変更や、英語を母語とする人または母語としない人が書いた学術英語に近づける変更を示している。ただし、基礎となる研究結果や数値は変わっていない。 出典

論文は、2026年のICLRカンファレンスへの投稿から選ばれ、採択論文と不採択論文が同数含まれていた。Claude Opus 5は、科学的内容を変えずに各投稿論文を自信に満ちた表現または控えめな表現に書き換え^†、AI査読の違いが文章の文体、すなわち表現された自信の度合いによるものかどうかを検証できるようにした。

結果では、証拠が同一であっても、自信に満ちた表現で書かれた科学論文にAI査読者がより高い評価を与えた。Claude Sonnet 4.6は最も強い偏りを示し、慎重な表現の版よりも、自信に満ちた版を7倍多く支持した。21%のケースでは、自信に満ちた表現の論文を採択するよう勧める一方、同じ論文のより慎重な表現の版については不採択を勧めた。

新たな研究では、次のように述べられている。

「私たちの研究結果は、査読にLLMを用いることについて重要な懸念を提起している。内容が同等の論文であるにもかかわらず、言語的特徴だけを理由に評価や査読コメントが異なるなら、査読者の判断は科学的質だけを反映しているとは言えない。

「したがって、言語的な変更が評価に体系的な影響を及ぼすかどうかを確認するため、LLM査読者には内容を保った書き換えを用いたストレステストを実施すべきである。」

著者らはさらに、確信に満ちた表現がより強い科学的証拠と取り違えられているかどうかを明らかにするため、こうしたテストでは論文の評価点と書面による査読コメントの両方を明示的に調べるべきだと提案している。

方法

2026年のInternational Conference on Learning Representations（ICLR）への投稿から、科学論文を合計504本選んだ。サンプルは採択論文と不採択論文に均等に分け、会議の21の研究カテゴリーそれぞれから24本ずつ投稿論文を抽出した。

3段階の検証方法。科学論文の知見を保ちながら、英語力の見かけ上の高さや主張の自信の度合いに違いが出るように書き換えた。書き換えによる文体や意味の変化を確認したうえで、同一条件のもとAI査読者に評価させ、査読スコアの差を比較した。

各論文は匿名化したうえでClaude Opus 5を使って書き換え、主張の表現における自信の度合いと、執筆者の英語力の見かけ上の高さの両方を検証できるよう、異なるバージョンを作成した。自信の度合いを検証するため、記述をより断定的にする場合と、より慎重にする場合を設けた。「確信に満ちた」バージョンでは、「明らかに」や「確実に」など、確実性を示す語句をより多く用いた。一方、より慎重な草稿では、「かもしれない」や「示唆している」など、断定を避ける表現を用いた。

いずれの場合も、科学的主張、証拠、結果、専門用語、全体の構成は変更しなかった。著者らによると、書き換えの指示は特定の文体を模倣するよう一般的に求めたものではなく、確立された言語学研究に基づいていた。

書き換えの検証

検証では、各書き換え版を原文と比較するため、文章の意味が保たれているかを評価する意味的類似度と、語彙や用語がどの程度維持されているかを測るTF-IDF類似度を用いた。どちらのスコアも1に近く、原文との高い類似性が確認された。

書き換えた論文の検証。「自信に満ちた」バージョンでは、より断定的な表現を用い、慎重なバージョンでは不確実性をより強く示した。スコアが1に近いことは原文との高い類似性を示し、色付きのハイライトは各指標で値が高かった方を示している。

6つのAI査読者をテストした。独自モデルはGPT-5.5、Claude Sonnet 4.6、Gemini 3.5 Flash、オープンウェイトモデルはGemma 3、Qwen3 VL、GLM 4.7だった。これらが選ばれた理由の一つは、すべてのモデルの知識カットオフ日が2026年より前であり、論文の採否決定について事前知識を持っているリスクを低減できることだった。

書き換えた各論文は、学会の査読ガイドラインに沿って個別に評価した。評価を繰り返した場合にスコアがどの程度変動しうるかを確かめるため、無作為に選んだ10本の論文を、各モデルがそれぞれ10回ずつ査読した。

結果

実施した検証では、選定した6つのAI査読者が特定の文体を一貫して好むかどうかを調べた。また、「自信に満ちた」表現と慎重な表現で書かれた論文を比較するとともに、英語を母語とする執筆者または母語としない執筆者による学術英語に似た論文も比較した^†。

異なる文体に書き換えた504本の科学論文について、AI査読スコアを比較した結果。選好率は、どちらのバージョンが高いスコアを得たかを示し、括弧内には同点の割合を示す。比率は、一方のバージョンがもう一方より何倍多く選ばれたかを示し、判定の逆転は、表現を変えたことで採択または不採択の判定が覆った頻度を示す。太字の統計値は有意差を示す。本記事では上段の仮説を扱っていないため、該当するのは下段のセクションである（脚注を参照）。

6つすべてのAI査読者が、一貫して自信に満ちた文章を高く評価した。最も強い選好を示したのはClaude Sonnet 4.6で、前述のとおり、「自信に満ちた」草稿に「慎重な」草稿の7倍の頻度で高いスコアを付けた。

スコアが10点満点中4.5点に達した論文は採択とみなした。ただし、文体の変化によって同じ論文のスコアがこの基準を上回ったり下回ったりし、判定が逆転することもあった。こうした逆転は、概して自信に満ちた文章に有利な方向だった。

Claude Sonnet 4.6の成績は特に悪く、「自信に満ちた」バージョンを採択しながら「慎重な」バージョンを不採択としたケースが21%に上った。逆の判定となったのは、わずか2.8%だった。

この影響は文章による査読にも表れた。主張が自信に満ちた表現で書かれていると、AI査読者は論文の手法、理論、科学的貢献を高く評価しやすかった。研究そのものに変化はなかったため、こうした評価の向上は、表現や語調の違いによるものとしか考えられない。

結論

人間がAIを使って（たとえ意図せずとも）信号対雑音比を高めるたびに、AIは解決策として試される。ここでは、人工知能に関する論文の投稿数が大幅に増加したことへの対処策として試されている。投稿数の急増によって、最近ではarXivの選別力と基準が強化されている。しかし今や明らかなように、最先端のLLMもその下位のあらゆる層のモデルも、最も厳密にパラメーターを設定した状況を除けば、汎用的な審査役として安心して任せるには、依然として風変わりな点があまりにも多い。

このような場合は、ファインチューニングやLoRAを用いて、より小規模なLLMを専用の審査ツールにするほうが、おそらく得策だろう。ただし、それには少なくとも多少の追加作業が必要であり、場合によっては追加投資も伴う。一方、「素の」状態のローカルインストールやAPI呼び出しなら、より手早く、比較的安価に済む。

かなり簡潔に書かれたこの論文は、それでも平均以上にLLMのエンドユーザーの関心を引くかもしれない。そうしたユーザーは、AIを効果的に使うために対処しなければならない厄介な問題として、「過剰な熱意」があることをすでに知っているからだ。また、この問題や類似するLLMの問題をまだ解決できないとしても、少なくとも考慮に入れることはできる。

AIの評価におけるこの種の安易な同一視を、あまり嘲笑する前に、こうしたシステムも認識論――決定的な権威を探求する営み――に関しては、私たちと同じように途方に暮れていることを思い出す価値がある。私たちもまた、歴史的に、信号をそれ自体と取り違えがちなのだ。

* 「実質より体裁？ LLMベースの査読における言語的バイアス」と題された

^† あるいは、英語を母語とする人、または母語としない人が書いた学術英語に似ていること――これも並行する仮説だが、論文では同じ程度に効果的に立証できず、本記事でも取り上げていない。

初出：2026年10月27日（火）