AI 搜索结果中的污染风险引发“检索崩溃”

随着 AI 内容污染网络，文化共识的战场中出现了新的攻击向量。

由一家韩国搜索公司领导的研究认为，随着 AI 生成的页面 逐渐进入搜索结果，它们会破坏搜索和排名管道的稳定性，并削弱依赖这些排名来决定哪些信息被显示和信任的系统，例如检索增强生成（RAG），从而增加误导性或不准确的材料被视为权威的风险。

研究人员为这种情况创造了一个术语，即 检索崩溃，这与已知的模型崩溃（模型崩溃）不同，模型崩溃是指 AI 模型在训练自己的输出时变得越来越糟糕（变得越来越糟糕）。

在检索崩溃的情景中，AI 生成的内容逐渐主导搜索引擎结果，甚至当答案在表面上仍然准确时，基础的证据基础也会与原始的人类来源脱节。然而，这种“无根”的数据似乎有可能在搜索结果中获得高排名：

‘随着 AI 生成文本的普及，挑战 在归属和预训练 数据质量 方面加剧。与传统的关键词 垃圾邮件 不同，现代合成内容在语义上是连贯的，允许它融入排名系统并通过管道传播 作为权威证据.’

该论文断言，这将创造一个“结构脆弱”的环境，在这种环境中，排名信号偏向于 AI 生成的、SEO 优化的页面，随着时间的推移，人类作者的来源将被逐渐取代，而不会触发明显的答案质量下降：

‘大语言模型（LLM）生成的内容在网络上的增长，给信息检索带来了结构风险，因为搜索引擎和检索增强生成（RAG）系统越来越多地消耗大语言模型（LLM）生成的证据。

‘我们将这种生态系统级别的故障模式描述为检索崩溃，这是一个两阶段过程：（1）AI 生成的内容主导搜索结果，侵蚀源多样性，（2）低质量或对抗性内容渗透到检索管道中’].’

研究人员认为，一旦“主导”阶段建立，相同的检索管道将变得更加容易受到故意污染的影响，因为对抗性页面可以利用相同的优化机制来获得可见性：

‘通过建立检索崩溃的框架，这项工作为理解合成内容如何重塑信息检索奠定了基础。为了减轻这些风险，我们提议转向 防御性排名策略，该策略同时优化相关性、事实性和来源.’

检索崩溃可能会加剧模型崩溃，因为它在“复印效应”的熵上添加了一层恶意意图，其中 AI 越来越多地以 AI 生成的输出为食。除了影响实时搜索结果中的“真相”共识外，不准确性和攻击还可能在训练的 LLM 中被载入为权威来源。

这项 新工作 由 Naver Corporation 的三名研究人员完成，题为 当 AI 污染网络时，检索崩溃。

方法

为了测试 AI 生成的内容如何在检索系统中传播，研究人员随机从 MS MARCO 数据集和基准中抽取了 1000 个查询/答案对，该数据集由开放领域问题和人类验证的参考答案组成。这些对用于检索和评估生成的响应的事实正确性。

对于测试中的每个 MS MARCO 查询，根据每个术语的顶级 SEO 结果，从 Google 搜索中检索了十个网页文档，最后生成了一个包含 10,000 个文档的池。

使用 GPT-5 Mini 作为判断标准，评估了文档的事实有效性，方法是将每个文档与 MS MARCO 基准事实进行比较。

内容农场模拟

为了模拟与内容农场相关的正常、非对抗性文章的质量水平，作者使用了经济的 GPT-5 Nano OpenAI 模型来生成新的合成文章，因为这是内容工厂可能使用的“经济”的 AI 水平。用于评估输出的 GPT-5 Mini 是一个稍微更强大的模型。

相反，为了模拟 对抗性 文章（即旨在传播错误信息或包含错误信息的内容），没有使用任何现实世界的参考。相反，样本的初稿是使用传统的点击诱饵/SEO 生成器创建的，然后传递给 GPT-5 Nano，任务是用虚假但合理的替代事实替换某些事实。GPT-5 Nano 还执行了语义重新排名，以适应实验背景。

为了模拟随时间推移的 AI 饱和度，运行了一个 20 轮的污染过程，每轮查询向固定的一组十个原始文档中添加一个合成文档，AI 的份额从 0% 增加到 66.7%。

对于 SEO 风格的池，生成器被提示“扮演 SEO 专家”的角色，并将 高 IDF 关键词从原始文档中集成，以提高检索的可能性。

对于对抗性池，提示的设计目的是在改变命名实体和数字细节的同时保持流畅、自然听起来的散文，创建不会触发统计过滤器的文档，同时悄悄地破坏事实的准确性。

指标

实验中采用了三个指标：池污染率（PCR），用于确定文档池中有多少是 AI 生成的；暴露污染率（ECR），用于衡量搜索结果的前十名中有多少来自 AI 源（表明进入检索管道的内容）；以及引用污染率（CCR），用于记录最终答案中引用的证据中有多少是合成的。

为了检查实际影响，检验了检索源的质量和最终答案的完整性。 精度@10（P@10）捕获了前十名结果中有多少实际上是正确的，当与 MS MARCO 基准事实进行检查时；答案准确性（AA）衡量了生成的响应是否与同一参考答案匹配，使用 GPT-5 Mini 确定了含义的一致性。

测试

最初，作者将他们的方法与原始文档池进行了测试，该池是从 SERPS 中提取的，在使用它们作为合成数据的材料之前，并且他们指出，他们的 LLM 排名器实现了“强大的检索质量”，超过了 BM25 排名器 基准。

两种主要场景测试中的第一个被称为 统治和同质化，它检查了 SEO 形成的合成文档如何影响检索结果：

左：场景 1 下 BM25 和 LLM 排名器的污染曲线显示池污染率（PCR）逐轮上升，暴露污染率（ECR）和引用污染率（CCR）随着合成文档涌入顶级结果而更陡峭地增加，而答案准确性（AA）保持相对稳定。右：表格以数字形式报告了两个排名器在 0、5、10 和 20 轮中的进展，详细列出了 PCR、ECR、CCR 和 AA。

当更多的 AI 编写的页面逐渐被添加到测试环境中时，它们开始比预期更快地主导顶级搜索结果。当 AI 内容占所有可用文档的 50% 时，BM25 的前十名结果中已经有超过 68% 是 AI 生成的；当 AI 材料的份额增加到 67% 时，超过 80% 的顶级结果来自 AI 源。

基于 LLM 的排名器表现出更强的这种趋势，当 AI 编写的页面仅占总池的一半时，其前十名结果中有大约 76% 来自 AI 编写的页面；当 AI 页面的存在增加时，它继续比 BM25 更依赖于它们。作者评论说：

‘这种模式表明，SEO 优化的内容过度激活了排名信号，导致两个模型都迅速收敛到合成主导的证据上。’

关于事实稳定性和多样性崩溃之间的紧张关系，论文指出，尽管检索的证据发生了“戏剧性的”转变，但答案准确性仍然保持稳定，或者甚至提高：

‘因为 SEO 文档是高质量和主题相关的，检索似乎是健康的，只要通过准确性来衡量。然而，几乎所有检索的证据都是合成的，表明源多样性已经严重崩溃。 ‘

‘这种分歧，以稳定的准确性为特征，尽管多样性正在崩溃，揭示了检索管道的结构脆弱性：系统在聚合指标中表现良好，同时在人类编写的内容中默默地失去基础。’

‘总体而言，高质量的合成内容不仅可以无缝地集成到检索管道中，而且还会主动压倒排名信号，导致两个排名器几乎完全依赖于 AI 生成的证据。’

第二种场景被称为 污染和系统腐败，它揭示了排名器行为的一个显著的偏差，与第一个场景相比：

左：场景 2 的结果显示，当故意误导的页面被添加到系统中时会发生什么。随着更多此类页面被混合在一起，BM25 开始在其顶级结果中放置一些页面 – 虽然只占大约四分之一，并且几乎没有被用于最终答案。右：表格以数字形式呈现两个排名器的相同模式，表明 BM25 允许一些误导页面进入其顶级结果，而 LLM 排名器基本上过滤掉了它们。

基于 LLM 的排名器能够在很大程度上识别和过滤掉误导性页面，保持其顶级结果中此类内容的份额接近零；但 BM25 允许一定比例的对抗性页面进入其顶十名结果，在测试的某些阶段，约有 19% 至 24% 的页面出现了这种情况。

尽管 LLM 排名器在此实验中表现出更强的抵抗力，但作者指出，基于 LLM 的排名系统计算要求更高，这可能使大规模部署变得不切实际。虽然 BM25 更简单、更便宜，但广泛使用的利用它的检索系统可能比最初看起来更容易受到操纵内容的影响。

作者将其描述为“显著的结构风险”。

关于表面稳定性和潜在恶化之间的对比，作者指出，在这种情况下，答案准确性（AA）仍然相对稳定，这是因为 LLM 判断者抑制了引用腐败，实际上起到了最后一刻的防火墙作用，抵御对抗性内容。

然而，这种情况下的答案准确性始终低于第一个场景：

‘虽然场景 1 中的答案准确性（AA）保持稳定，甚至提高了（最高达到 70%，使用 LLM 排名器），这是由于 SEO 内容的高质量，但场景 2 中的答案质量下降，相对于 SEO 设置，这是由于检索阶段的对抗性污染负面影响所致。’

‘这证实了，无论排名器如何，对抗性污染都会对最终性能产生负面影响，尤其是在依赖轻量级检索器时，性能下降最为严重。’

作者得出结论，检索阶段的重新排名方法为时已晚，应该考虑“摄入阶段”的过滤器，提议使用“来源图”和“困惑度过滤器”。

他们强调，核心威胁是具有高流畅度但低归属密度的内容，基本上与令人放心的来源链断开联系，并观察到：

‘[随着]代理 AI 开始自主发布内容，防御机制必须从静态文本分析演变为行为指纹识别，识别和隔离那些系统地产生高熵、低事实流的代理。’

结论

为 2026 年建立新的或改进的信息来源方法可能是最关键的需求。像 C2PA 这样的复杂凭证方案需要来自出版商的基础设施更改，并需要公众教育来了解它们的含义以及如何或为什么使用它们，似乎注定会失败。

需要更简单的东西，但到目前为止还没有找到。由于这是一个紧急的任务，这个时代可能是自 1822 年摄影发明和第二次世界大战前几十年宣传活动兴起以来，公众对真相的共识最关键的转折点。

* 我（在必要时有选择性）将作者的内联引用转换为超链接。

首次发布于 2026 年 2 月 19 日星期四