Perplexity AI 搜索负责人 Alexandr Yarats – 采访系列

Alexandr Yarats 是 Perplexity AI 的搜索负责人。他于 2017 年开始在 Yandex 工作，同时在 Yandex 数据分析学校学习。最初的几年很紧张，但也很有收获，这促进了他成长为工程团队负责人。由于他渴望在一家科技巨头工作，他于 2022 年加入 Google担任高级软件工程师，专注于 Google Assistant 团队（后来被称为 Google Bard）。然后，他加入 Perplexity 担任搜索负责人。

Perplexity AI 是一个由 AI 聊天机器人驱动的研究和对话式搜索引擎，使用自然语言预测文本来回答查询。2022 年推出，Perplexity 使用来自网络的来源生成答案，并在文本响应中引用链接。

是什么让你最初对机器学习感兴趣？

我对机器学习（ML）的兴趣是一个渐进的过程。在学校时，我花了很多时间学习数学、概率论和统计学，并有机会使用经典的机器学习算法，如线性回归和 KNN。这很有趣，看到你可以直接从数据中构建一个预测函数，然后使用它来预测未见的数据。这让我进入了 Yandex 数据分析学校，这是一个竞争激烈的机器学习硕士项目，在俄罗斯（每年只接受 200 人）。在那里，我了解了更多高级机器学习算法，并建立了我的直觉。这个过程中的关键点是我学习了神经网络和深度学习。很明显，这是我未来几十年要追求的东西。

您之前在 Google 工作了一年，担任高级软件工程师，您从这段经历中得到了什么关键的收获？

在加入 Google 之前，我在 Yandex 工作了四年多，刚毕业于 Yandex 数据分析学校。我在那里领导一个团队，开发了各种机器学习方法，用于 Yandex Taxi（俄罗斯的 Uber 类似服务）。我在团队成立时加入了这个团队，并有机会在一个紧密而快速发展的团队中工作，团队在四年内迅速增长，人员从 30 人增加到 500 人，市值也超过了 Uber 和其他公司，成为俄罗斯最大的出租车服务提供商。

在这段时间里，我有机会从零开始构建很多东西，并推出了几个项目。其中最后一个项目是为服务支持构建聊天机器人。在那里，我第一次了解了大型语言模型的力量，并对它们在未来可能发挥的作用感到着迷。这让我加入了 Google，加入了 Google Assistant 团队（后来被称为 Google Bard），这是 Perplexity 的竞争对手。

在 Google，我有机会了解世界级基础设施的样子，了解搜索和 LLMs 如何协同工作，提供事实准确的答案。这是一次很好的学习经历，但随着时间的推移，我对 Google 的缓慢节奏和感觉上什么都没有完成的感觉感到沮丧。我想找到一家专注于搜索和 LLMs 的公司，并且可以像我在 Yandex 时一样快速发展。幸运的是，这发生了。

在 Google 内部，我开始看到 Perplexity 的截图和需要将 Google Assistant 与 Perplexity 进行比较的任务。这引起了我对该公司的兴趣，经过几周的研究，我相信我想在那里工作，所以我联系了团队并提供了我的服务。

您能否定义您当前在 Perplexity 的角色和职责？

我目前担任搜索团队负责人，负责构建我们的内部检索系统，该系统为 Perplexity 提供支持。我们的搜索团队致力于构建网络爬虫系统、检索引擎和排名算法。这些挑战使我能够利用我在 Google（搜索和 LLMs）和 Yandex 的经验。另一方面，Perplexity 的产品为我们提供了重新设计和改进检索系统的独特机会，以适应一个拥有强大 LLMs 的世界。例如，不再需要优化排名算法以增加点击概率；相反，我们专注于提高答案的有用性和准确性。这是答案引擎和搜索引擎之间的基本区别。我的团队和我正在努力构建一些超越传统的 10 个蓝色链接的东西，我现在无法想象还有什么更令人兴奋的东西可以做。

您能否详细说明 Perplexity 从开发文本到 SQL 工具转向创建 AI 驱动的搜索的转变过程？

我们最初致力于构建一个文本到 SQL 引擎，该引擎提供了一个专门的答案引擎，用于需要快速根据结构化数据（例如电子表格或表格）获取答案的情况。构建文本到 SQL 项目使我们对 LLMs 和 RAG 有了更深入的了解，并带来了一个关键的认识：这种技术比我们最初想象的更强大、更通用。我们很快意识到，我们可以超越结构化数据源，处理非结构化数据。

在此转变过程中，您遇到了哪些关键挑战和见解？

转变过程中的关键挑战是将公司从 B2B 转变为 B2C，以及重建我们的基础设施以支持非结构化搜索。转变过程中，我们很快意识到，构建面向客户的产品更有趣，因为您开始收到持续的反馈和参与，这是我们在构建文本到 SQL 引擎和专注于企业解决方案时没有看到的。

检索增强生成（RAG）似乎是 Perplexity 搜索功能的基石。您能否解释 Perplexity 如何与其他平台不同地使用 RAG，以及这如何影响搜索结果的准确性？

RAG 是一个为 LLM 提供外部知识的通用概念。虽然这个想法乍一看似乎很简单，但构建一个能够高效、准确地为数千万用户提供服务的系统是一个重大的挑战。我们不得不从头开始工程化这个系统，并构建了许多关键组件，这些组件对于实现最后的准确性和性能至关重要。我们设计了一个系统，其中数十个 LLMs（从大到小）并行工作，以快速、经济高效地处理一个用户请求。我们还构建了一个训练和推理基础设施，允许我们与搜索一起训练 LLMs，从而使它们紧密集成。这大大降低了幻觉并提高了答案的有用性。

与 Google 相比，Perplexity 如何在资源有限的情况下管理其网络爬虫和索引策略，以保持竞争力和确保信息的及时性？

构建一个像 Google 一样的索引需要大量时间和资源。相反，我们专注于 Perplexity 上最常见的用户查询主题。结果表明，大多数用户将 Perplexity 用作工作/研究助手，并且许多查询都在寻找高质量、可靠和有用的网络部分。这是一个幂律分布，您可以通过 80/20 方法实现显著的结果。基于这些见解，我们能够构建一个更紧凑的索引，优化了质量和真实性。目前，我们花费的时间更少于追逐尾部，但随着我们扩大基础设施，我们也将追求尾部。

大型语言模型（LLMs）如何增强 Perplexity 的搜索功能，以及它们在解析和呈现网络信息方面有什么特别之处？

我们在实时和离线处理中都使用 LLMs。LLMs 允许我们专注于网页的最重要和最相关的部分。它们超越了以前的一切，最大化了信号与噪音的比率，使我们更容易处理以前由于团队规模小而无法处理的事情。一般来说，这可能是 LLMs 最重要的方面：它们使我们能够用一个很小的团队做复杂的事情。

展望未来，Perplexity 预计会面临哪些主要的技术或市场挑战？

展望未来，我们最重要的技术挑战将集中在继续提高答案的有用性和准确性。我们旨在增加我们可以可靠回答的查询和问题的范围和复杂性。同时，我们非常关注系统的速度和服务效率，并将专注于尽可能降低服务成本，同时保持产品质量。

在您看来，Perplexity 的搜索方法为什么优于 Google 根据反向链接和其他成熟的搜索引擎排名指标对网站进行排名的方法？

我们优化的排名指标与传统搜索引擎完全不同。我们的排名目标是原生地将检索系统和 LLMs 结合起来。这种方法与传统搜索引擎不同，传统搜索引擎优化点击概率或广告展示次数。我们的目标是提供最有用的和最准确的答案，而不是仅仅根据反向链接或其他指标对网站进行排名。

感谢您接受这次精彩的采访，希望您能继续关注 Perplexity AI 的最新动态，更多信息请访问 Perplexity AI 官网。