谷歌设想一个类似GPT-3的查询系统，无需显示搜索结果

谷歌四位研究人员的一篇新论文提出了一个“专家”系统，能够权威地回答用户的问题，而无需呈现可能的搜索结果列表，这与GPT-3过去一年引起公众关注的问答范式类似。

这篇名为《重新思考搜索：让专家从门外汉中脱颖而出的论文》论文，建议当前的标准，即向用户呈现搜索结果列表，以应对用户的查询，是一种“认知负担”，并提出了自然语言处理系统（NLP）提供权威和明确的响应能力的改进。

在提出的“专家”模型中，跨领域的oracle将把成千上万个可能的搜索结果源融入语言模型中，而不是将其作为用户可以评估和导航的资源。来源: https://arxiv.org/pdf/2105.02274.pdf

这篇由谷歌研究的Donald Metzler领导的论文提出了改进当前从深度学习自回归语言模型（如GPT-3）获得的多领域oracle响应的方法。主要改进包括：a）模型能够准确引用其响应的来源，b）模型将被防止“产生幻觉”或编造不存在的来源材料，这是此类体系结构目前的一个问题。

多领域训练和能力

此外，论文中描述的语言模型，被称为“所有信息检索任务的单一模型”，将在包括图像和文本在内的各种领域中进行训练。它还需要对知识的来源有所了解，这是GPT-3风格的体系结构所缺乏的。

‘要用单一的统一模型取代索引，模型本身必须具有关于文档标识符宇宙的知识，就像传统的索引一样。实现这一点的一种方法是，远离传统的LM，转向联合模型，它们同时对项-项、项-文档和文档-文档关系进行建模。’

上图来自论文，展示了用户查询的三个响应方法：左侧，语言模型隐含在谷歌的算法搜索结果中，选择并优先考虑“最佳答案”，但将其作为许多结果中的第一个呈现。中间，GPT-3风格的对话响应，以权威的方式说话，但不证明其主张或引用来源。右侧，提出的专家系统将来自排名搜索结果的“最佳响应”直接纳入教学答案中，具有学术风格的脚注引用（在原始图像中未显示），指示其响应的来源。

去除有毒和不准确的结果

研究人员指出，搜索索引的动态和不断更新的性质，对于这种机器学习模型来说是一个挑战。例如，如果一个曾经值得信赖的来源被直接训练到模型的世界观中，删除其影响（例如，在其被披露后）可能比从搜索结果页面（SERPs）中删除一个URL更困难，因为数据概念可以在训练过程中变得抽象和广泛地表示。

此外，这种模型需要不断进行训练，以提供与谷歌当前不断爬取来源相同的响应水平。实际上，这意味着持续和自动的推出，与当前的制度不同，当前的制度通常只会对自由形式的搜索算法进行小幅修改，但算法本身通常只会不时更新。

集中专家oracle的攻击面

一个不断吸收和概括新数据的集中模型，可以改变搜索查询的攻击面。

目前，攻击者可以通过使包含错误信息或恶意代码的域名或页面获得高排名来获得好处。在更不透明的“专家”oracle下，重定向用户到攻击域名的机会大大减少，但注入有毒数据攻击的可能性大大增加。

这是因为提出的系统并没有消除搜索排名算法，而是将其隐藏起来，从而自动确定首选结果，并将其纳入教学陈述中。恶意用户长期以来一直能够操纵谷歌搜索算法，以出售假产品，将用户引导到传播恶意软件的域名，或用于政治操纵等用途。

不是AGI

研究人员强调，如此一个系统不太可能被视为通用人工智能（AGI），并将通用专家响应者的前景置于自然语言处理的背景下，受制于此类模型目前面临的所有挑战。

论文概述了五个“高质量”响应的要求：

1：权威性
与当前的排名算法一样，“权威性”似乎是从被认为是权威的高质量域名中获得的引用。研究人员观察到：

‘响应应通过从高质量的来源中获取内容来生成。这是建立术语序列和文档元数据之间更明确的联系的另一个原因。如果语料库中的所有文档都用权威性评分进行注释，则在训练模型、生成响应或两者时应考虑该评分。’

虽然研究人员没有建议，如果这种专家oracle被证明是高效和流行的，传统的搜索结果（SERPs）将变得不可用，但整个论文都将传统的排名系统和搜索结果列表视为一种“几十年前的”和过时的信息检索系统。

‘排名是这种范式的关键组成部分，这是检索系统向用户提供潜在答案的选择，这对用户来说是一个相当重大的认知负担。希望返回答案而不是结果列表是开发问答系统的动机之一。 ‘

2：透明度
研究人员评论说：

‘在可能的情况下，应向用户提供所呈现信息的来源。它是主要来源吗？如果不是，什么是主要来源？’

3：处理偏见
论文指出，预训练语言模型的设计不是为了评估经验真相，而是为了概括和优先考虑数据中的主导趋势。它承认，这一指令使模型容易受到攻击（如2016年微软的无意中种族主义的聊天机器人），并且需要辅助系统来防止此类偏见的系统响应。

4：实现多样化的观点
论文还提出了确保多样化观点的机制：

‘生成的响应应代表多种不同的观点，但不应是两极分化的。例如，对于有争议的话题，应以公平和平衡的方式涵盖该话题的两方面。这种方法显然与模型偏见密切相关。’

5：易于理解的语言
除了在被认为是权威的响应以不同语言呈现时提供准确的翻译外，论文建议应以“尽可能简单的术语”来表达响应。