AI 经常引用自己从未读过的网页

有时，一篇论文会从当天的文献流中涌现出来，让我格外激动——并不是因为它不准确或令人反感，而是因为它注意到并研究了某件长期以来一直在我的意识边缘隐约困扰着我的事，只是这种困扰模糊而难以具体描述（或许是因为我太忙，只能对它视而不见）。

今天，伦敦帝国理工学院计算机系的三位作者发表了这样一篇论文。新研究题为检索了却未阅读：理解搜索增强型大语言模型为何未能利用现有证据，探讨大语言模型（大语言模型）为何经常向你抛出一些声称能提供支持的 URL（无关的论文引用、指向不实网页文章的链接等），却连它们都没有读过。

作者表示：

“我们发现，模型经常不打开来源网页，而是根据搜索摘要作答；这与过时答案和不忠实引用比例上升有关。我们的对照实验和逐层分析揭示了证据可用与证据得到有效利用之间的差距。

“即使检索到的证据影响了模型的内部预测，模型在最终答案中仍可能偏向过时信息。”

作者测试了一个专有大语言模型（OpenAI 的 GPT-5.6 Luna）和六种开放权重模型配置，并针对数百项事实进行测试；这些事实是在模型的训练截止日期之后发生变化的。

随后，他们考察了这些系统在多大程度上依赖搜索摘要而不是打开来源网页；这种做法如何影响答案和引用的准确性；以及即使直接提供了较新的证据，过时信息有时为何仍占上风。

测试发现，模型经常在没有打开网页搜索返回的任何页面的情况下回答问题，而且这种行为与过时答案和误导性引用显著增加有关：

测试结果揭示了 AI 模型在引用网络来源时，有多大比例其实并未真正阅读这些来源。在八种配置中，研究人员测量了答案准确率、未打开来源网页而依赖搜索摘要的情况，以及与模型说法相矛盾的引用。有些情况下，超过一半的搜索结束时，模型一页都没有打开。所有数字均为百分比；第一行使用实时网页搜索，其余各行使用标准化搜索结果。 来源

研究人员还发现，直接提供正确证据可以大幅减少这些问题；不过，即使把较新的事实直接摆在面前，一些模型仍会偏向过时信息。

隐藏动机？

大语言模型经常向我们塞来听起来“正确”却并不切题的支持性材料，最显而易见的原因有两个：a）这样能省钱，因为下载并阅读原始材料的内容摘要都要耗费带宽和时间，而原始材料甚至可能无法获取；b）这样能减少延迟，仿佛快速给你一个错误或不完全正确的答案，比稍微多等一会儿再得到更好的答案更好。

不过，这项新研究的作者更感兴趣的是弄清这种质量缺陷的基本机制，而不是探究它最初可能是如何设计或预先设定的。

迄今为止，我与前沿模型讨论大语言模型规模经济的经历，带来的回应似乎是一种早已注定的防御性回应，对此我也只能如此认为；这一点并不令人意外。

至少在我看来，操纵大语言模型的引用行为以获取规模经济，确实说得通；但眼下，这些技术仍然没有得到充分摸索，处于不断变化之中，也极易产生出人意料的结果，因此很难证明背后存在这样的动机。

方法

为了检验模型实际利用网络证据的能力，研究人员整理了 225 项事实。这些事实在 2026 年 2 月 16 日之后发生了变化；该日期是受测模型中最近报告的训练截止日期。

这些事实来自 FDA 药品信息（62 项）；金融领域（52 项）；体育（47 项）；人物（43 项）；SEC 文件（13 项）；以及化学分类（8 项）。在截止日期前已经生效，或在 2 月 1 日之前已经公布的变化均被排除在外；能够依据一般知识作答的医疗说法也同样被排除。研究人员还将未发生变化的事实用作对照，以便区分涉及新信息的失误与更普遍的错误。

为建立基线，研究人员测试了 GPT-5.6 Luna，不给它使用网络搜索的权限；在有关已发生变化的事实的 103 个问题中，它仅有 23.3% 回答正确。

研究人员使用一个未指明的 AI 模型，将上述数据集中的 FDA 标签条款改写为可逐条检验的事实陈述，随后对每条陈述进行人工审核*。

测试的开放权重模型配置包括 Z.ai 的 GLM-5.3-Flash；OpenAI 的 gpt-oss-120b 和 gpt-oss-20b；Google DeepMind 的 gemma-4-31b（分别在启用和未启用推理的情况下进行测试）；以及 Qwen 的 qwen3-8b。

研究人员向开放权重模型和 GPT-5.6 Luna 提供了相同的网络搜索结果，以便公平比较它们的回答。此外，他们还单独测试了 Luna 使用其内置网络搜索的表现。

225 条事实中有 223 条的十条搜索结果是事先使用 Brave Search 收集的。每个模型收到的结果都相同，并且都可以使用相同的工具打开网页或在网页中搜索。

包含“正确”答案的网页始终会提供给模型——如果该网页自然出现在排名前十的搜索结果中，就保持原有位置；否则，就将其插入事先确定的位置。这样，研究人员便能在可比条件下考察模型如何利用现有证据。

为提高测试的一致性，对于支持此设置的模型，研究人员将 温度设为零，并在整个实验过程中通过同一家服务提供商运行每个模型。

提示词形式

用于测试这些事实的提示词有两种。第一种是开放式问题，例如“贝尔纳多·席尔瓦效力于哪家俱乐部？”，可以要求提供来源，也可以不要求；第二种是要求模型核实一条陈述，其中包含当前或过时的信息，以便研究人员比较模型如何处理这两种版本。

汇总结果还纳入了另外四种提示词类型：带有提示线索的开放式问题；要求提供引文；要求提供支持给定说法的引用来源；以及事实清单核查，即要求模型从多条正确陈述中找出一条过时的陈述。

用于测试模型的实际提示词示例，内容依据有关足球运动员贝尔纳多·席尔瓦的问题和说法编写。该表展示了如何通过不同的回答、核实、引文和引用请求来呈现同一个事实问题。所有提示词均以日期 2026 年 8 月 8 日开头，其中大多数要求按照表格下方以字母标示的说明，给出格式统一的最终答案。

每条提示词都注明了日期；大多数还要求按固定格式作答，并允许回答“无法核实”，因此无需人工或基于大型语言模型的裁定，就能对结果进行评分。

使用的指标包括：阅读深度（是否打开并引用了来源网页）；答案准确率（正确答案所占百分比，不包括弃答）；以及引文忠实度（被引用网页是否与模型的说法相矛盾）。

在可行的情况下，评分采用自动化方式；只有当未指明的大型语言模型能够在存档网页中找到确切段落作为依据时，才允许其认可引用。需要进行解释判断的负面评价则交由人工审核；研究人员还使用未变化的对照事实，确定每个模型的基线引用错误率。

结果

在初步测试中（如本文开头所示），使用网络搜索提高了模型正确回答问题的能力。在核查事实陈述是否准确时，它们的得分上升了 27–42 个百分点。直接回答问题时，它们在 85.8–95.4% 的情况下给出了正确答案。

然而，许多回答是在模型并未实际访问搜索结果所指向的网站的情况下生成的。相反，它们依赖的是搜索结果旁显示的简短文本摘录。即使提供了相同的搜索结果，各模型在搜索过程中未打开任何网页的比例仍相差很大，从 2.6% 到 76% 不等。

在这种情况下，GPT-5.6 Luna 的表现尤其敷衍：

“在获得相同搜索结果的情况下，模型有 2.6–76.0% 的轮次会在未打开任何网页的情况下作答。使用其原生搜索功能时，Luna 有 53.6% 的轮次仅凭搜索摘要作答。”

根据模型检查搜索结果的详尽程度，对过时答案和误导性引文进行比较的测试结果。“摘要”表示未打开任何网页；“已打开”表示打开了网页，但未引用；“整合”。表示引用了已打开的网页。所有数值均为七种模型配置和所有提示类型的汇总百分比。模型仅依赖搜索摘要时，错误通常更多。

在七种模型配置中，仅依据摘要生成的答案有6.4%已经过时，而引用已打开网页的答案中这一比例为1.3%。如上所示，误导性引文也更常见，比例为6.4%，而非2.3%。在体育问题中，开放权重模型给出的过时答案比例高达20.2%，而另一组为2.1%。答案过时时，支持这些说法的引文有81.8%与之矛盾；相比之下，答案未过时时这一比例仅为0.9%。事实摘要测试中也出现了类似模式。

这实际上意味着，研究中的AI模型依赖搜索结果中显示的简短描述，而不是阅读网页正文时，更容易给出错误答案。更糟的是，它们有时还会链接到能够证明其答案错误的网页。

共同的失效模式

除非用于这些测试的样本属于“集体异常值”，否则可以合理推断，其他模型无论是闭源还是开源，也会受到这一问题的影响。事实上，在GPT-5.6 Luna的实时网页搜索中观察到的九种失效类型里，有七种与其他模型在使用相同固定搜索结果进行测试时出现的失效显著相关，这表明问题并非 Luna 独有。

直接提供正确的维基百科页面后，过时答案减少：gemma-4-31b的失败次数从14次降至0次；gpt-oss-20b从11次降至1次；qwen3-8b从16次降至8次。每打开一个页面后重复提出原始问题，也使此前未通过的事实摘要检查中有26.1%得到纠正。

展示gemma-4-31b、gpt-oss-20b和qwen3-8b在不同条件下接受过时说法频率的结果。同一证据可能被隐去、直接放入提示中，或通过搜索结果提供；另有单独测试要求模型给出支持来源。与要求模型自行查找正确页面相比，直接提供正确页面的效果显著更好。图中数值表示失败次数占测试总数的比例。

俱乐部规则

最后，为了进一步了解AI有时为何会忽视正确信息，研究人员对三种开放权重模型进行了测试，考察它们如何处理已经更换俱乐部的足球运动员：gpt-oss-20b、gemma-4-31b和qwen3-8b。

研究人员向每个模型提供了有关球员所属俱乐部的过时信息，有时还会同时提供正确的维基百科页面，并观察模型在处理过程中倾向于哪种答案。

结果表明，模型能够识别正确的俱乐部，却仍然给出错误答案：

展示qwen3-8b在生成答案时如何权衡正确和过时的足球俱乐部信息的测试结果。左图显示成功作答的情况：正确的俱乐部始终占据上风；右图显示失败的情况：在处理的最后阶段，过时的俱乐部信息反超正确答案。阴影区域表示不同测试之间的差异。

在qwen3-8b中，有时正确的俱乐部信息会先在模型内部占据上风，但就在答案生成之前，过时的信息又反超了它（见上图）。gpt-oss-20b也出现了类似模式，而gemma-4-31b通常从始至终都倾向于“过时”的俱乐部信息。

因此，即使正确证据可供模型使用并且已被识别，最终答案仍可能被过时信息左右。

总之，作者认为，模型需要更好地利用检索到的网页，而不是依赖搜索摘要。他们还希望弄清楚，为什么模型有时明明知道正确答案，却仍坚持采用过时信息；以及改变模型处理信息的方式是否会有所帮助。但文中没有提出确定的解决方案。

结论

这篇新论文虽然提供了一些有价值的见解，却没有解释为什么大型语言模型会如此草率地使用引文和参考资料。作为一名消费者，也作为一名善于分析模式的人，我的感觉是，我使用的大型语言模型之所以推荐论文或网址，是因为其他……也被推荐的网站……推荐了它们？那么，这种权威感究竟从何而来？

说实话，即使在人工智能出现之前，这也是我们未能解决的问题。因此，如果事实证明大型语言模型既没有节省成本，也没有降低延迟，只是在传播那些我们自欺欺人地当作“真相”的中国谣言，或许也不足为奇。

* 论文没有说明这些审查由谁进行。

首次发布于2026年10月16日，星期五