江户自由，Pinecone 的创始人和首席科学家 – 采访系列

Edo Liberty，Pinecone 的创始人和首席科学家，是大规模数据系统和机器学习的领先专家。在推出 Pinecone 之前——一个为性能和规模而构建的向量数据库，他曾是 AWS 的研究总监和亚马逊 AI 实验室的负责人，在那里他的团队开发了 SageMaker、OpenSearch、Kinesis 等的核心技术。他之前曾领导雅虎的纽约研究实验室，推进了搜索、广告和安全领域的机器学习平台和应用。他的工作重点是处理大规模数据集的算法和数学基础，涵盖降维、聚类、流处理和大规模线性代数。

Pinecone 是一个完全托管的向量数据库，旨在支持大型动态数据集上的可扩展和高效搜索。它支持密集和稀疏嵌入、实时索引和基于元数据的过滤，同时无缝集成领先的云、模型和框架。凭借无服务器自动扩缩、企业级安全和符合 SOC 2、ISO 27001、GDPR 和 HIPAA 等标准，Pinecone 为部署大规模 AI 应用程序提供了可靠的基础。

您在 2019 年在领导亚马逊 AI 实验室和构建 SageMaker 系统后创立了 Pinecone，并专注于向量数据库。是什么激发了您创立 Pinecone 并专注于向量数据库的决定？

在 AWS，我们的机器学习团队构建了令人惊叹的系统，但当涉及内存时，根本没有办法对大量非结构化数据进行语义搜索。这需要非常专业的工程师，他们知道如何构建复杂的向量搜索解决方案。我知道，如果有办法让人们轻松访问向量捕获的语义丰富性并将其与复杂的模型相结合，那么任何人都可以加速 AI 的价值。所以我离开了 AWS，目标是真正改变如何使用 AI 的力量从自己的非结构化数据中获得最大价值。

Pinecone 已经成长为向量数据库领域的定义公司。回顾过去，您需要克服哪些最大的技术或市场障碍来建立这一新类别？

最大的挑战？没有人知道什么是向量数据库！我们不得不教育市场关于我们正在构建的内容以及为什么它很重要。我们问我们的客户他们自己称之为什么，他们告诉我们这是一个向量数据库。

一旦其他人开始了解，我们就会被问到为什么不能使用开源？然后我们不得不解释开源的所有局限性和规模性能权衡——在经过所有这些之后，您仍然需要经验丰富的工程师来构建您的基础设施。这就是为什么我们一直专注于托管服务和用户体验。我们的系统在内部非常复杂，因为您需要这种专门的基础设施来进行十亿规模的相似性搜索。但我们通过 API 调用使其对任何开发人员都可访问。

这意味着抽象掉所有近似最近邻算法、索引管理和分布式系统的复杂性。开发人员不想思考 HNSW 参数，他们只想让它工作。

您最近从 CEO 转变为首席科学家，并邀请 Ash Ashutosh 领导公司。是什么激发了这一决定，您如何看待 Pinecone 下一章的角色演变？

Pinecone 作为一家公司，是一家 AI 公司和研究中心公司。我们之所以能够走到今天，是因为我们重新定义了搜索、系统和算法。我们一直在学术上非常活跃，出版技术报告和论文，发表演讲和教育市场，甚至撰写有关 AI 和内存的教科书和大学课程。随着公司的成长，我们需要在研究实验室中正式化这些努力，这与业务的其他部分是分开的。可以考虑 DeepMind 和 Google 的例子。未来，我将专注于领导我们的研究，使 AI 更加知情，并从 Pinecone 构建下一代上下文产品。

同时，Ash 将成为 Pinecone 的一位出色的 CEO 和领导者。他创立并扩展了多家基础设施公司，并且知道如何有效地运营像 Pinecone 这样的公司。他对我们的技术和市场有着深刻的了解和创造力，并且他对客户有着强烈的执着。Ash 和我将在公司和业务的成长方面进行深入合作。

在您的博客文章中，您写到了“让 AI 更加知情”的内容。可以解释一下这在实践中意味着什么，以及 Pinecone 的技术如何独特地使其成为可能？

没有记忆的 AI 就像一个有健忘症的天才：很多智慧，但没有背景。“让 AI 更加知情”意味着赋予 AI 系统访问、理解和实时推理大量信息的能力。

我们使 AI 驱动的应用程序能够提供相关的实时洞察，来自语义理解和组织的数据，并确保 AI 系统不仅仅是在猜测，而是能够检索和综合知识以满足最终用户的需求。这样可以为最终用户提供更准确、更有信息和更及时的输出。

我们通过提供所有高质量、准确的端到端检索组件和功能来实现这一点，并且具有行业领先的性能用于大规模检索。

作为普林斯顿大学“AI 中的长期记忆”课程的教师，您如何看待向量数据库和未来 AI 模型之间的关系？您是否相信记忆和背景是当前大型模型缺失的成分？

绝对如此。LLM 是模式匹配机器——非常出色的机器，但仍然从根本上受到其训练数据截止和上下文窗口的限制。我与 Meta 的 Matthijs Douze一緒教授的课程重点介绍了使向量搜索在大量数据上成为可能的算法。未来不是更大的模型，而是在更大数据上进行更智能的检索，实时进行。

许多企业在将 AI 从试点转移到生产规模部署时遇到困难。Pinecone 如何帮助弥合这一差距，您从成功的客户那里观察到了哪些最佳实践？

差距通常归结为三件事：规模（和成本）的性能、安全性和复杂性。一个可以使用 1,000 万个文档的演示可能会在 10 亿个文档时崩溃。运行一小时的东西与 24/7 无停机时间运行的东西是不同的。这就是为什么我们对无服务器架构、企业级功能和易用性如此痴迷的原因。

最重要的事情就是开始。我们的客户通常会惊讶于他们可以在不与我们交谈的情况下做多少事情。我们故意这样设计的，但当我们的客户需要我们时，我们始终在这里。

您在整个职业生涯中在学术界、科技巨头研究（雅虎、AWS）和创业之间切换。这些不同的环境如何塑造您对构建 Pinecone 的方法？

学术界教会了我从第一原则思考的方法。如何抽象和设计出色的解决方案。在雅虎和 AWS，我学习了如何构建简单的数据平台，工程师喜欢在其上构建。

创业是您学习到最佳技术只会赢得真正解决人们可以使用的方式的问题的领域。

这种混合对于我们正在构建的内容至关重要。我们不仅仅是在撰写研究论文或出于技术本身而构建技术。每项创新都必须让开发人员的生活更容易，并使企业应用程序更加强大。

搜索和 AI 的融合似乎是计算中最大的变化之一。您认为这五年内会如何发展，Pinecone 的工作将如何塑造这一未来？

搜索正在变得对话式和上下文化。在五年内，您不会“搜索”——您将与理解不仅您的查询，还有您的意图、上下文和历史的 AI 系统进行对话。

每次交互都将由实时更新的庞大知识库提供信息。我们正在为此构建基础设施。我们的向量数据库只是开始。我看到一个未来，每个应用程序都嵌入上下文，AI 不会出现幻觉，因为它基于数据，而搜索和知道的界限将消失。

作为首席科学家，您将更深入地参与数据、模型和原型。您目前最兴奋的研究领域是什么？

哦，天哪，我从哪里开始？从短期到中期，我正在深入研究效率和易用性。我们能否使向量搜索速度提高 10 倍，同时使其便宜 10 倍？我们能否使我们的 API 比今天更简单？这些都是艰难的问题。

从长远来看，我痴迷于检索和推理的交叉点。如何构建不仅能找到相关事实，还能理解事实之间关系的系统？然后利用这种上下文来创建知情 AI 和更强大的代理。

最后，在个人层面上：从 CEO 职位退下来，您最期待这次转变的什么，以及您希望在 Pinecone 的下一个阶段解锁什么样的突破？

我最开心的时候是在深入代码中，与我们的研究团队一起工作，并在凌晨 2 点经历那些“哇，这竟然真的有效！”的时刻。

我的梦想？让检索变得如此出色，以至于它变得不可见。开发人员可以在不考虑嵌入、索引或任何这些内容的情况下构建上下文应用程序，它只是可以工作。

我们处于人工智能和数据融合的令人难以置信的时刻。潜力是无限的，我可以花整天的时间使这个未来成为现实。

谢谢这次精彩的采访，希望了解更多的读者可以访问 Pinecone。