Anderson 视角
AI驱动的科学进步正受到一种奇怪执念的威胁

要点较新的人工智能审稿人过分关注附录,而人类审稿人则关注论文的主要发现。
查看更多
- 较新的人工智能审稿人过分关注附录,而人类审稿人则关注论文的主要发现。
- 语言模型将每一段内容视为同等重要,因此它们忽略了哪些部分才真正重要。
- 附录偏见在不同访问方式下持续存在,并产生肤浅的反馈,几乎无法帮助作者改进。
一项美国最新研究表明,审阅科学论文的AI模型似乎对论文的附录产生了一种奇怪的执念,而非关注正文,常常把更多注意力放在次要的补充细节上,而不是主要研究发现上。随着语言模型越来越多地被用于辅助甚至取代人工评审,这种新近发现的倾向似乎正在蔓延到人类同行评审中,可能会阻碍AI研究的进展:

新论文显示,科学论文的人类同行评审中,与附录有关的批评有所增加。多年来,这一比例一直低于11%;而在最新的评审中,随着被发现有一半以上批评意见来自附录的AI模型问世,这一比例升至27.6%。虚线标示主要模型的发布节点。 来源
在一项测试中,研究人员从四个热门会议中选取了2000篇科学论文。新研究发现,较新的模型约有50-70%的批评意见来自附录,而较早的GPT-5这一比例不到30%。
两款最受瞩目的新一代AI模型,显然正推动着人类评审者也转而关注附录,而忽视更重要的主要研究结果。它们分别是OpenAI的GPT-6.1-Sol和GPT-6-Astra,均于2026年发布。
论文指出*:
“不同代际之间的差异很大。对于GPT-5,只有少数缺陷与附录有关。两款较新的模型GPT-6.1-Sol和GPT-6-Astra则在很大程度上依赖附录,而且这一点在每个会议上都成立。
“这表明,偏向附录主要是新一代模型的特性。尽管新模型有所改进,但它们对附录的偏向却加深了。它们能够详细阅读论文,却仍未学会判断哪些部分最重要。”
研究还发现,AI获取论文的方式不同,对附录的执着程度也有所不同,因为API、Codex和网页界面处理PDF的方式并不相同。对于篇幅一般的PDF,Codex甚至完全不会读取中间部分;只有在必要时,它才会分段抽取内容。不过,研究发现,所有方式都更偏向附录材料。
直到最近,人工评审和AI评审还没有共同表现出这种执念:
“[Human]评审者对待正文和补充材料的方式,与LLM截然不同。LLM将超过50%的缺陷归因于附录相关内容,而人类评审者给出的这一比例不到10%。
“这种差异在单篇评审层面同样明显。2021至2024年间,每年抽取的200篇论文中,总共只有159篇收到过指出任何附录相关缺陷的人类评审意见。相比之下,ICLR 2027的200份LLM生成评审意见,无一例外都至少提出了一条针对附录的批评。”

人类与AI生成的同行评审中,针对附录的批评对比。人类评审者仅将已识别缺陷中的8.4%归因于附录材料,而AI模型的这一比例为62%。第二列显示的是仅针对附录的批评,即正文中没有相应问题。
如上方测试表所示,AI评审者指出附录缺陷的可能性是人类的七倍多,提出仅涉及补充材料的批评的可能性则是人类的三倍多。这表明,一些最新的前沿AI模型如今优先关注的细节,传统上会被人类评审者视为次于论文主要科学贡献的内容。
为什么?
据目前所知(这是首项发现这一现象的研究),问题部分在于,AI并未意识到,也可能未能从海量训练材料中学到:论文的核心内容通常不会放在附录里。它们倾向于将所有文本视为同等重要,因此忽略了附录材料的背景信息;而附录往往未经整理,呈现方式也比正文粗疏得多:
“LLM几乎从不批评论文开篇部分——作者会在这里提出问题,并论证其重要性。人类评审者常常恰恰会质疑这种问题框架,而LLM似乎接受了它,随即转而查看数据。”
‘[Humans and LLMs]对附录的解读则截然不同。随着附录内容逐渐展开,人类提出的批评很快减少,到最后几页几乎消失殆尽。大语言模型的弱点却丝毫没有减弱。事实上,大语言模型的弱点在附录中段之后才达到高峰,而非一开始就显现;即使到了第 30 页之后,这些问题仍然存在,此时人类审稿人几乎已不再提出任何疑虑。
‘对大语言模型来说,第 25 页上的一个细节与主要结果表一样,都可以成为合理的批评对象。’
作者指出,大语言模型平等对待文本内容的方式,可能自然会使它们把更多注意力放在附录上,因为如前所述,附录中的错误往往更多。
因此,我从这项新研究中得出的总体看法是,随着时间推移,大语言模型逐渐把注意力集中到新科学论文中一个容易出现大量错误或混淆的部分;原因仅仅在于,人类作者常常把这部分当作杂乱无章的堆放处,用来塞进次要的证明和证据。
因此,人工智能越来越觉得附录比经过精心编排的正文更有意思,因为附录里有更多内容可供分析和纠正;于是,论文指出,大语言模型往往把论文开篇部分视为事实陈述,并照单全收:
‘人类认为正文应当能够独立成立,因此,当重要内容被放进附录时,他们会提出异议。大语言模型几乎从不提出这种质疑。
‘这凸显了一个关键差异:人类明白正文比附录更重要,而大语言模型却不明白。 ‘
后果与补救措施
这种出乎意料地关注细枝末节的倾向,可能会对人工智能辅助科学研究产生严重影响,尤其是在论文的主要发现因此遭到忽视时。由于这种倾向似乎只在最新一代模型中出现,其长期影响目前尚不得而知。
论文承认,即使错误深埋在附录中,人工智能审稿人仍可能发现有价值的问题。不过,论文也警告说,过度关注细节可能会以牺牲论文的主要发现为代价,最终形成冗长而缺乏实际价值的审稿意见:
‘大语言模型审稿人提高了审查标准,因为他们会检查论文的每一个部分。然而,有效的审稿也需要判断哪些内容最重要。如果一份审稿意见中的大多数问题都来自与主要贡献无关的附录内容,那么反馈就会流于表面。它没有触及论文的核心,也无助于作者改进论文。 ‘
这项新研究题为人工智能审稿偏向附录。作者之所以决定深入研究这一问题,是因为他们注意到,大语言模型辅助生成的审稿意见在评估他们自己的投稿时,呈现出一些奇怪的模式。研究代码可在GitHub 上获取。
方法与测试
测试选用了 OpenAI 和 Anthropic 的四款领先人工智能模型:GPT-6-Astra、GPT-6.1-Sol、Claude-Opus-5.5和Claude-Sonnet-5.5。研究人员通过Codex和Claude Code调用这些模型,并将它们的审稿表现与通过 API 和网页界面调用时的表现进行比较。
研究人员从四个重要的人工智能和自然语言处理会议收集论文:ACL 2026、EMNLP 2026、COLM 2026和ICLR 2027。选择这些会议,是因为它们采用相似的投稿和审稿格式:正文页数受到严格限制,但参考文献之后的附录通常不受页数限制。
研究人员共考察了 2,000 篇论文,其中 1,200 篇来自 ICLR 2021–2026,另有 800 篇来自四个近期会议(每个会议选取 200 篇)。这 800 篇近期论文的附录均至少有 15 页。ICLR 2027 的投稿本身已匿名处理;研究人员则从 ACL、EMNLP 和 COLM 的论文中删除了作者姓名、所属机构、电子邮件地址及可识别作者身份的链接,以免人工智能审稿人得知作者身份。
研究人员关闭了模型的互联网访问权限,确保审稿意见完全依据所提供的 PDF 文件生成。
首先,研究人员要求人工智能按照相关会议的风格撰写审稿意见,涵盖论文的优点、缺点和总体评分;指令刻意保持简单,以反映实际审稿人可能使用人工智能的方式。随后,他们把论文及其已完成的审稿意见交还给同一个人工智能模型,要求它指出每条批评针对的是论文的哪个部分。研究人员通过将批评内容与原论文对照来确定这一点:

本研究采用的三阶段审查流程。研究人员从四个会议中选出附录至少有 15 页的论文,并在交由 AI 模型审查前对其进行匿名处理。随后,他们将每份审查意见与原论文一并检查,并把每条具体批评归到其所针对的章节。
将这些任务分开处理后,便可以检查论文中哪些部分引来了批评,同时避免额外指示影响原始审查意见。
我们迄今尚未讨论的结果中,还包括作者对大语言模型生成的审查意见中弱点源自何处所进行的测试:

比较 AI 生成的审查意见在四个会议的论文中指出弱点的位置。绿色表示针对论文正文的批评,红色表示与附录有关的批评,带斜线的区域则表示仅针对附录的批评。几乎每项测试中,归因于附录内容的批评都超过一半,其中 GPT-6-Astra 表现出的偏向最为明显。
如上所示,四种 AI 模型提出的批评中,约有一半或更多是基于附录内容;这一模式在四个会议中都存在。有些批评完全针对附录,与论文正文毫无关联。这类批评占 GPT 模型所指出弱点的 17.33%,而 Claude 的这一比例为 10.16%。
论文指出,这些结果表明,附录内容受到了不成比例的关注,有时甚至会把相对次要的细节当作批评论文整体的依据。
研究人员比较了不同方法,以确认附录偏向是否会受到 AI 访问方式的影响。他们通过 Codex、ChatGPT 网页界面,以及一个分别输入原始 PDF 或提取文本的 API,审查了一百份 ICLR 2027 投稿;所用模型均为 GPT-6-Astra。
使用 Codex 时,研究人员通过命令提取并检查文本;使用 API 时,则直接输入完整 PDF 或从中提取的文本;而通过网页界面上传的文档,则由该界面自己的(不透明)系统处理:

比较不同 AI 模型及访问方式下与附录有关的批评。左图显示,在四个会议的论文中,GPT-5 引用附录内容的频率远低于较新的 GPT 模型。右图显示,通过四种方式访问 GPT-6-Astra 时,这种偏向依然存在;与附录有关的批评占全部批评的 62.2% 至 73.7%。带斜线的区域表示仅针对附录的批评。
如上所示,在四种方法下,62.2% 至 73.7% 的批评都引用了与附录有关的内容;直接通过 API 输入提取文本时,这一比例最高。因此,无论以何种方式访问模型,这种偏向都依然存在。
其他大部分测试结果已在本文前文中报告;如需了解更多信息,请参阅原始材料。
投稿中的种种门道
这项新研究的主题对作者本人而言十分切身,对我来说也是如此。我经常阅读科学论文,也曾吃过苦头,才摸清了那些决定论文如何撰写和呈现的隐性规则,以及规避这些规则的种种做法。
即使 AI 关注附录的理由不对,也不能因此就普遍归咎于它,因为作者常常会把论文中那些暗藏的要害埋在附录里——这些因素或结果可能几乎会使正文中的主张完全失效,也可能会对这些主张构成严重限制。
作者也未必应该为把重要内容挪到附录中而受到指责,因为新研究采用的数据来源中,不少知名出版物的模板都规定了论文正文的页数或字数上限。
在报告复杂研究结果时,许多作者显然认为这是一项严苛的限制;在我看来属于“最糟糕的情况”†中,论文正文简直成了被挪到后文、以规避篇幅规定的材料索引(不过,这些规定也在逐渐跟进,并禁止这种“伎俩”)。
在这种情形下,日益加剧的矛盾,一方是各机构要求作者规范并克制地呈现内容的需要——随着投稿论文数量不断增加,这一点也愈发重要;另一方则是研究人员显而易见的挫败感:他们希望能在自己认为配得上这番付出的、尽可能完整全面的背景下,呈现来之不易的研究成果。
* 这是作者强调的内容,并非我所强调的。
† 因为,在筛选要报道的论文时,即使是 AI,也可能很难识别这种把内容留待附录呈现的做法;但如果审稿人原本安排了评估十页材料的时间,如今却发现自己必须在同样的时间内审阅30页材料,这种做法就会给他们造成相当大的困难。
首次发布于2026年11月16日,星期一












