自信的科学论文左右AI评审者——无关论文质量

自信是进化中的显著优势——据德国一篇新研究论文指出，在科学论文由大型语言模型（大型语言模型）而非作者同行评审时，自信同样是一种优势（随着AI带来的生产力提升，科学论文数量激增，这种情况也越来越常见）。

这项新研究发现，AI（即非人类）评审者一贯会给那些使用自信、肯定语气撰写的科学论文打出更高分，即使其底层研究与语气不那么自信的论文完全相同。在某些情况下，只改措辞就足以让论文从被拒变为被接受。

作者表示：

「我们的实验表明，LLM评审者明显倾向于[papers]使用高置信度措辞。至关重要的是，这些偏好往往会导致评审决定跨越接受<>拒绝的界限发生逆转，直接影响评审结果。」

「我们还发现，评审中提出的问题在出现频率和情感倾向方面，会随论文的语言特征而变化，并可能影响最终决定。」

颇具讽刺意味的是，作者指出的这种现象，与AI在回应我们自己的提示和询问时常常会「自信地犯错」的方式十分相似；但在这里，做出决定的是人，个人和集体责任也真实存在，无论这些论文背后的研究人员是否真的相信自己的主张。

如果科学论文是否发表越来越由AI决定，科学家可能会把「表现得更自信」当作一种竞争策略，尤其是在投稿存在缺陷时；这可能使质量较差的科学研究在日益萎缩的可用注意力中获得不应有的立足之地。

靠虚张声势取胜

据这项研究*，即使自信版本与语气较不强硬的版本内容完全相同，AI评审者也更有可能称赞自信措辞论文中的方法、理论和科学贡献。在作者的测试中，504篇科学论文被改写成不同风格，并由六种AI模型进行评估，其中包括GPT-5.5、Claude Sonnet 4.6和Gemini 3.5 Flash。研究人员需要生成论文的人工改写版本，以免真实投稿中的怪异之处和独特特点影响结果：

同一科学段落以四种不同风格改写的示例。彩色标记显示了为使文字听起来更自信或不那么自信，或更像母语者或非母语者撰写的学术英语而作出的改动。不过，底层研究发现和数据图表均保持不变。来源

这些论文选自2026年国际学习表征会议（ICLR）的投稿，且录用论文和拒稿论文数量相同。随后，Claude Opus 5对每篇投稿进行改写，使其语气显得更自信或不那么自信^†，同时保持科学内容不变，从而能够将AI评审结果的差异归因于写作风格，也就是表达出的自信程度有所不同。

结果显示，即使科学论文的证据完全相同，AI评审者仍会给使用自信语气撰写的论文打出更高分。Claude Sonnet 4.6表现出最强的偏见：它偏好自信版本的频率是谨慎版本的七倍。在21%的案例中，它建议接受一篇措辞自信的论文，却拒绝了同一篇论文中措辞更谨慎的版本。

这项新研究指出：

「我们的研究结果引发了对在同行评审中使用LLM的重要担忧。如果内容等同的论文仅因语言特征不同，就得到不同的评分和评审意见，那么评审者的判断就不能完全反映科学质量。」

「因此，应当通过保留内容的改写版本对LLM评审者进行压力测试，以确定语言上的变化是否会系统性地影响其评估。」

作者进一步建议，这些测试应明确考察论文得分及书面评审意见，以确认自信的措辞是否被误认为更有力的科学证据。

方法

研究从2026年国际学习表征会议（ICLR）的投稿中选取了共504篇科学论文。样本中录用论文和拒稿论文各占一半，并从该会议的21个研究类别中各抽取24篇投稿：

三阶段测试方法。研究论文经过改写，以改变其表面呈现出的英语熟练程度或表达自信程度，同时保留研究发现；在人工智能评审者于相同条件下进行评估之前，先检查改写稿的风格和含义是否发生变化；随后比较评审分数的差异。

每篇论文都经过匿名化处理，并使用 Claude Opus 5 进行改写，生成不同版本，以检验论述的自信程度以及作者表面呈现出的英语熟练程度。针对自信程度的测试中，陈述被改得更为肯定或更为谨慎。表示确定性的词语，例如“显然”和“确实”，在“自信”版本中出现得更频繁；而在语气更审慎的改写稿中，则更倾向使用“可能”和“表明”等限定性表达。

所有版本的科学论断、证据、结果、技术术语和整体结构均保持不变。作者指出，改写指令依据的是既有语言学研究，而非笼统要求模仿特定写作风格。

核查改写稿

为进行核查，研究人员使用语义相似度将每份改写稿与原文进行比较，以评估段落是否保留原意；同时还比较了TF-IDF相似度，该指标衡量词汇和术语的保留程度。两项得分均接近1，证实改写稿与原文高度相似：

改写论文的核查结果。自信版本的措辞更为肯定，谨慎版本则表达出更多不确定性。接近1的得分证实改写稿与原文高度相似，彩色标注则突出显示各项目标指标中数值较高的一方。

研究测试了六种人工智能评审模型：专有模型 GPT-5.5、Claude Sonnet 4.6 和 Gemini 3.5 Flash；以及开放权重模型 Gemma 3、Qwen3 VL 和 GLM 4.7。选择这些模型的部分原因是，它们的知识截止日期都早于2026年，从而降低了模型事先得知论文录用结果的风险。

每篇改写后的论文都按照会议评审指南独立评审。为确定重复评估可能造成的评分差异，研究人员随机选取了10篇论文，由每个模型分别评审10次。

结果

测试旨在考察所选的六种人工智能评审模型是否会持续偏好某些写作风格，并比较了采用“自信”或“谨慎”措辞撰写的论文，以及呈现出母语者或非母语者学术英语特征的论文^†。

对504篇以不同风格改写的科学论文进行人工智能评审所得分数的比较结果。偏好百分比显示哪个版本得分更高，平局情况列于括号中；比率显示某个版本获青睐的频率是另一个版本的多少倍；决策反转次数则显示改动措辞导致接收或拒稿结果逆转的频率。加粗的统计数值表示差异具有统计显著性。相关部分是下方部分，因为本文不讨论上方的假设（见脚注）。

六种人工智能评审模型都持续偏好自信的写作风格。Claude Sonnet 4.6 的偏好最为明显；如前所述，它给“自信”改写稿打出更高分的频率是给“谨慎”改写稿打出更高分的7倍。

如果论文得分达到10分制中的4.5分，就被视为录用；不过，写作风格的变化有时会使同一篇论文的得分跨过这一门槛，从而改变录用决定，而这种决定反转通常有利于自信的写作风格。

Claude Sonnet 4.6 的表现尤其不佳：在21%的情况下，它接受了“自信”版本，却拒绝了“谨慎”版本。反过来的情况仅占2.8%。

这一影响也体现在书面评审意见中：如果论文的论断以自信的语气表达，人工智能评审模型就更可能赞扬其方法、理论和科学贡献。由于研究本身并未改变，这些更为正面的评价只能归因于呈现方式和语气的差异。

结论

每当人类借助 AI 提高信噪比（即便是无意为之），AI 就会被尝试用作解决方案——在这里，是为了应对人工智能研究论文投稿量的大幅增长；近期这波激增也提升了 Arxiv 的把关权力并扩大了其把关标准。但如今应该已经很清楚，前沿大语言模型以及其下各个层级的模型仍有太多怪癖，不能笼统地委以评判职责，除非是在参数限制极其严格的情况下。

在这种情况下，通过微调或LoRA，将小规模大语言模型打造为专门的评判工具，或许会是更好的做法。不过，这至少需要多花一点功夫，甚至还可能增加一些投入；相比之下，直接使用“原版”的本地部署或 API 调用更快捷，而且相对便宜。

尽管这篇论文的行文相当简短，但对大语言模型的普通终端用户而言，它或许仍比一般论文更值得关注，因为他们早已熟悉“热情过头”这一问题，也知道要想有效地使用 AI，就必须设法绕开它；而如果这类及其他类似的大语言模型问题目前还无法解决，至少还可以将其纳入考量。

在我们对这种评估 AI 时轻率地将两者等同的做法过于嘲讽之前，不妨记住：谈到认识论——也就是寻找确定无疑的权威——这些系统和我们其他人一样茫然；从历史上看，我们也极易把信号误当成事物本身。

* 题为《风格胜于实质？基于大语言模型的同行评审中的语言偏见》

^† 或者说，模仿母语者或非母语者撰写的学术英语——这是论文未能有效证实的另一种假设，本文也未对此展开讨论。

首发于 2026 年 10 月 27 日，星期二