重定义搜索：如何通过对话式引擎克服过时的LLM和无上下文的传统搜索引擎

对话式搜索引擎的出现正在重新定义我们在线检索信息的方式， 从传统的关键词搜索转向更自然、对话式的交互。通过将大型语言模型（LLM）与实时网络数据相结合，这些新系统解决了过时的LLM和标准搜索引擎中存在的关键问题。在本文中，我们将探讨LLM和基于关键词的搜索面临的挑战，并探索如何通过对话式搜索引擎提供一个有前途的解决方案。

过时的知识和可靠性挑战在LLM

大型语言模型(LLM)已经显著推进了我们访问和解释信息的方法，但它们面临一个主要限制：它们无法提供实时更新。这些模型是在大量的文本数据上训练的，包括书籍、文章和网站。但是，这些训练数据只反映了数据收集时的知识，这意味着LLM不能自动更新新的信息。为了解决这个问题，LLM必须经过重新训练，这是一个既耗费资源又昂贵的过程。这涉及收集和整理新的数据集、重新训练模型和验证其性能。每次迭代都需要大量的计算能力、能量和财务投资，这引发了人们对环境影响的担忧，因为它会产生大量的碳排放。

LLM的静态性质通常会导致其响应不准确。当面对最近事件或发展的查询时，这些模型可能会根据过时或不完整的信息生成响应。这可能会导致”幻觉“，即模型产生错误或虚构的事实，从而破坏所提供信息的可靠性。另外，尽管它们拥有大量的训练数据，LLM仍然难以理解当前事件或新兴趋势的全部背景，这限制了它们的相关性和有效性。

LLM的一个另一个重大缺点是缺乏引用或来源透明度。与传统搜索引擎不同，传统搜索引擎提供原始来源的链接，LLM根据汇总的信息生成响应，而不指定信息来源。这不仅使用户难以验证所提供信息的准确性，还限制了内容的可追溯性，使得判断答案的可靠性更加困难。因此，用户可能会发现验证信息或探索内容原始来源变得具有挑战性。

传统网络搜索引擎中的上下文和信息过载挑战

尽管传统的网络搜索引擎仍然对于访问大量信息至关重要，但它们面临着影响其结果质量和相关性的几个挑战。传统网络搜索的一个主要挑战是其难以理解上下文。搜索引擎严重依赖关键词匹配，这通常会导致结果不具有上下文相关性。这意味着用户会收到大量与其特定查询不直接相关的信息，使得筛选和找到最相关的答案变得具有挑战性。虽然搜索引擎使用算法对结果进行排名，但它们经常无法提供基于个体独特需求或偏好的个性化答案。这缺乏个性化可能会导致结果不符合用户的特定上下文或意图。此外，搜索引擎容易受到SEO垃圾邮件和链接农场的操纵。这些做法可能会歪曲结果，促进不太相关或质量较低的内容到搜索结果的顶部。用户可能会因此而接触到误导性或偏见的信息。

对话式搜索引擎的出现

对话式搜索引擎代表了我们在线交互和检索信息方式的范式转变。与依赖关键词匹配和算法排名来提供结果的传统搜索引擎不同，对话式搜索引擎利用先进的语言模型以自然、类似人类的方式理解和响应用户查询。这种方法旨在通过与用户进行对话而不是呈现链接列表来提供一种更直观和高效的信息检索方式。

对话式搜索引擎利用大型语言模型（LLM）的力量来处理和解释查询的上下文，从而实现更准确和相关的响应。这些引擎旨在与用户动态交互，提出后续问题以细化搜索并根据需要提供额外信息。这样，它们不仅增强了用户体验，还显著提高了检索信息的质量。

对话式搜索引擎的一个主要优势是其能够提供实时更新和上下文理解。通过将信息检索能力与生成模型相结合，这些引擎可以获取和整合网络上的最新数据，确保响应是当前的和准确的。这解决了传统LLM的一个主要限制，即通常依赖过时的训练数据。

此外，对话式搜索引擎提供了一种传统搜索引擎所缺乏的透明度。它们直接将用户与可信来源连接起来，提供明确的引用和相关内容的链接。这一透明度促进了信任，并允许用户验证所接收的信息，促进了更明智和批判性的信息消费方式。

对话式搜索引擎与检索增强生成（RAG）

如今，常用的AI启用信息检索系统之一被称为RAG。虽然对话式搜索引擎与RAG有相似之处，但它们在目标方面存在关键差异。两种系统都将信息检索与生成语言模型相结合，以提供准确和上下文相关的答案。它们从外部来源提取实时数据，并将其集成到生成过程中，确保生成的响应是当前的和全面性的。

然而，RAG系统（如Bing）专注于将检索的数据与生成输出合并，以提供精确的信息。它们不具备后续能力，允许用户系统地细化搜索。相比之下，对话式搜索引擎（如OpenAI的SearchGPT）与用户进行对话。它们利用先进的语言模型以自然的方式理解和响应查询，提供后续问题和额外信息以细化搜索。

现实世界中的例子

以下是两个对话式搜索引擎的现实世界例子：

• Perplexity：Perplexity是一个对话式搜索引擎，允许用户以自然和上下文的方式与在线信息交互。它提供了“Focus”选项来缩小搜索范围到特定的平台，以及“Related”功能来建议后续问题。Perplexity采用免费增值模式，基本版本提供独立的LLM功能，而付费的Perplexity Pro提供了高级模型，如GPT-4和Claude 3.5，以及增强的查询细化和文件上传功能。
• SearchGPT：OpenAI最近推出了SearchGPT，一种将大型语言模型（LLM）的对话能力与实时网络更新相结合的工具。它帮助用户以更直观和直接的方式访问相关信息。与传统搜索引擎不同，传统搜索引擎可能会让人感到不知所措和不友好，SearchGPT提供了简洁的答案，并以对话式的方式与用户交互。它可以提出后续问题并根据需要提供额外信息，使搜索体验更加互动和用户友好。SearchGPT的一个关键功能是其透明度。它直接将用户与可信来源连接起来，提供明确的引用和相关内容的链接。这使用户能够验证信息并更彻底地探索主题。

结论

对话式搜索引擎正在改变我们在线查找信息的方式。通过将实时网络数据与先进的语言模型相结合，这些新系统解决了过时的LLM和传统基于关键词的搜索的许多缺点。它们提供了更及时和准确的信息，并通过直接链接到可信来源来提高透明度。随着对话式搜索引擎（如SearchGPT和Perplexity.ai）不断进步，它们为搜索提供了更直观和可靠的方法，超越了旧方法的局限性。