查尔斯·谢，Zilliz 的创始人兼 CEO – 采访系列

查尔斯·谢 是 Zilliz 的创始人兼 CEO，专注于为 AI 和 LLM 应用构建下一代数据库和搜索技术。在 Zilliz，他还发明了 Milvus，这是世界上最流行的开源矢量数据库，适用于生产就绪的 AI。他目前是 LF AI & Data 基金会的董事会成员，并于 2020 年和 2021 年担任董事会主席。查尔斯此前曾在 Oracle (ORCL ) 工作，是 Oracle 12c 云数据库项目的创始工程师。查尔斯拥有威斯康星大学麦迪逊分校的计算机科学硕士学位。

Zilliz 是 LF AI Milvus 的开发团队，Milvus 是一种广泛使用的开源矢量数据库。该公司专注于简化数据基础设施管理，旨在让 AI 更加容易被企业、组织和个人使用。

您能否分享创立 Zilliz 的故事以及是什么启发您开发 Milvus 和专注于矢量数据库？

我在数据库领域的工作跨越了 15 年，包括在 Oracle 作为软件工程师的六年时间，我是 Oracle 12c 多租户数据库团队的创始成员。在此期间，我注意到一个关键的局限性：虽然结构化数据得到了很好的管理，但非结构化数据（占所有数据的 90%）仍然基本上没有被利用，只有 1% 的数据被有意义地分析。

2017 年，AI 处理非结构化数据的能力日益增长，标志着一个转折点。NLP 的进步表明，非结构化数据可以转化为向量嵌入，从而解锁其语义含义。这激发了我创立 Zilliz 的愿景，即管理“数十亿的数据”。向量嵌入成为连接非结构化数据和可行见解之间的桥梁。我们开发了 Milvus 作为一种专用矢量数据库，以实现这一愿景。

在过去的两年里，行业已经验证了这种方法，认识到矢量数据库是管理非结构化数据的基础。对于我们来说，这不仅仅是关于技术——它是关于赋予人类利用非结构化数据的潜力，在 AI 时代。

Zilliz 自成立六年以来，其发展路径如何演变，您在开创矢量数据库领域时面临了哪些关键挑战？

这段旅程是变革性的。当我们七年前开始 Zilliz 时，真正的挑战不是筹集资金或招聘——而是构建一个完全没有现成地图、最佳实践或既定用户期望的产品。我们不得不自己开辟道路。

我们的突破点是开源 Milvus。通过降低采用门槛和培养社区参与，我们获得了宝贵的用户反馈来迭代和改进产品。当 Milvus 于 2019 年推出时，我们年底有大约 30 名用户。这一数字在 2020 年增长到 200 多名用户，很快就接近 1000 名用户。

如今，矢量数据库已经从新颖的概念转变为 AI 时代的基本基础设施，验证了我们最初的愿景。

作为矢量数据库公司，Zilliz 为支持现代 AI 应用中的多模态矢量搜索提供了哪些独特的技术能力？

Zilliz 已经开发了先进的技术能力来支持多模态矢量搜索：

1. 混合搜索：我们可以同时在不同的模态中进行搜索，例如将图像的视觉特征与其文本描述相结合。
2. 优化算法：我们的专有量化技术在跨模态搜索中平衡召回准确率和内存效率。
3. 实时和离线处理：我们的双轨系统支持低延迟的实时写入和高吞吐量的离线导入，确保数据的新鲜度。
4. 成本效益：我们的扩展容量实例利用智能分层存储显著降低存储成本，同时保持高性能。
5. 嵌入式 AI 模型：通过集成多模态嵌入和排名模型，我们降低了实现复杂搜索应用的门槛。

这些能力使开发人员能够高效地处理多样化的数据类型，使现代 AI 应用更加强大和多样化。

您如何看待多模态 RAG 在处理图像、音频和视频等复杂的现实世界数据方面推动 AI 的发展？

多模态 RAG（检索增强生成）代表了 AI 的一个关键进展。虽然基于文本的 RAG 已经很突出，但大多数企业数据涵盖图像、视频和音频。将这些多样化的格式集成到 AI 工作流中的能力至关重要。

这种转变是及时的，因为 AI 社区正在讨论可用于训练的互联网文本数据的局限性。虽然文本数据是有限的，但多模态数据仍然大部分未被利用——从企业视频到好莱坞电影和音频录音。

多模态 RAG 解锁了这个未被利用的资源，允许 AI 系统处理和利用这些丰富的数据类型。它不仅仅是解决数据稀缺的问题——它是关于扩展 AI 的能力边界，以更好地理解和与现实世界进行交互。

Zilliz 如何在迅速增长的矢量数据库市场中与竞争对手区分开来？

Zilliz 通过以下几个独特的方面脱颖而出：

1. 双重身份：我们既是 AI 公司，也是数据库公司，推动数据管理和 AI 集成的边界。
2. 云原生设计：Milvus 2.0 是第一个采用分离存储和计算架构的分布式矢量数据库，实现了可扩展性和成本效率，支持超过 100 亿个向量。
3. 专有增强：我们的 Cardinal 引擎比开源 Milvus 的性能提高了 3 倍，超过了竞争对手 10 倍。我们还提供基于磁盘的索引和智能分层存储，以实现成本有效的扩展。
4. 持续创新：从混合搜索能力到迁移工具，如 VTS，我们不断推进矢量数据库技术的发展。

我们的开源承诺确保了灵活性，而我们的托管服务 Zilliz Cloud 提供了企业级的性能，且运营复杂性最小。

您能否详细介绍 Zilliz Cloud 的意义及其在民主化 AI 和使矢量搜索服务更容易被小型开发者和企业使用方面的作用？

矢量搜索自 2015 年以来一直被科技巨头使用，但专有实现限制了其更广泛的采用。在 Zilliz，我们通过两种互补的方法来民主化这一技术：

1. 开源：Milvus 允许开发人员构建和拥有自己的矢量搜索基础设施，降低了技术障碍。
2. 托管服务：Zilliz Cloud 消除了运营开销，提供了一种简单、成本有效的解决方案，允许企业采用矢量搜索，而无需专门的工程师。

这种双重方法使矢量搜索对开发人员和企业都更加容易，让他们专注于构建创新的人工智能应用。

随着 LLM 和基础模型的进步，您认为 AI 数据基础设施的下一个重大转变将是什么？

下一个重大转变将是 AI 数据基础设施的全面转变，以处理非结构化数据，非结构化数据占世界数据的 90%。现有的系统是为结构化数据设计的，无法适应这一转变。

这种转变将影响数据栈的每一层，从基础数据库系统到安全协议和可观察性系统。这不仅仅是关于增量升级——它是关于为非结构化数据的复杂性创建新的范式。

这种转变将影响数据栈的各个方面：

• 基础数据库系统
• 数据管道和 ETL 过程
• 数据清理和转换机制
• 安全和加密协议
• 合规和治理框架
• 数据可观察性系统

我们不仅仅是在谈论升级现有的系统——我们正在谈论从头开始构建新的范式。这就像从一个为图书馆中的书籍组织而优化的世界转变为一个需要管理、理解和处理整个互联网的世界。这种转变代表着一个全新的世界，在那里，数据基础设施的每个组件可能需要从头开始重新构想。

这种革命将重新定义我们存储、管理和处理数据的方式，解锁人工智能创新的大量机会。

NVIDIA GPU 的集成如何影响您的矢量搜索的性能和可扩展性？

NVIDIA GPU 的集成在两个关键领域显著提高了我们的矢量搜索性能。

首先，在索引构建中，这是矢量数据库中最计算密集的操作之一。与传统数据库索引相比，矢量索引构建需要几个数量级更高的计算能力。通过利用 GPU 加速，我们大大减少了索引构建时间，实现了更快的数据摄取和改进的数据可见性。

其次，GPU 对于高吞吐量的查询用例至关重要。在像电子商务这样的应用中，系统需要处理每秒数千甚至数万个查询（QPS），GPU 的并行处理能力已被证明是无价的。通过利用 GPU 加速，我们可以在保持低延迟的同时高效处理这些高容量的矢量相似性搜索。

自 2021 年以来，我们一直与 NVIDIA (NVDA ) 合作，优化我们的算法以适应 GPU 架构，同时开发我们的系统以支持不同处理器架构的异构计算。这为我们的客户提供了灵活性，让他们可以选择最适合其特定需求的硬件基础设施。

随着矢量数据库在 AI 中发挥着至关重要的作用，您是否看到其应用扩展到传统用例之外，例如推荐系统和搜索，延伸到医疗保健等行业？

矢量数据库正在迅速扩展到传统应用之外，例如推荐系统和搜索，正在渗透到我们以前从未想象过的行业。让我分享一些例子。

在医疗保健和制药研究中，矢量数据库正在革命性地改变药物发现。分子可以根据其功能特性进行矢量化，使用高级功能如范围搜索，研究人员可以发现所有可能治疗特定疾病或症状的潜在候选药物。与传统的 top-k 搜索不同，范围搜索可以识别出所有在目标范围内的分子，提供对潜在候选药物的全面视图。

在自动驾驶中，矢量数据库正在提高车辆的安全性和性能。一个有趣的应用是处理边缘情况——当遇到不寻常的情况时，系统可以快速搜索大量数据库中的类似情况，以找到用于微调自动驾驶模型的相关训练数据。

我们还看到金融服务中的创新应用，例如欺诈检测，网络安全中的威胁检测，以及有针对性的广告中的客户参与度提高。例如，在银行中，交易可以被矢量化并与历史模式进行比较，以识别潜在的欺诈活动。

矢量数据库的力量在于其理解和处理任何领域中相似性的能力——无论是分子结构、驾驶场景、金融模式还是安全威胁。随着 AI 的不断演进，我们才刚刚开始探索可能性的表面。

开发人员和企业如何最好地与 Zilliz 和 Milvus 合作，以在其 AI 项目中利用矢量数据库技术？

有两条主要路径可以利用 Zilliz 和 Milvus 的矢量数据库技术，每条路径适用于不同的需求和优先级。如果您重视灵活性和定制化，Milvus，我们的开源解决方案，是您的最佳选择。使用 Milvus，您可以：

• 自由实验和以自己的节奏学习技术
• 根据您的特定需求定制解决方案
• 为开发做出贡献并修改代码库
• 完全控制您的基础设施

然而，如果您希望在不管理基础设施的情况下专注于构建应用程序，Zilliz Cloud 是最佳选择。它提供：

• 一键式部署的即用型解决方案
• 企业级安全和合规
• 高可用性和稳定性
• 无需运营开销的优化性能

可以这样想：如果您喜欢“摆弄”并想要最大程度的灵活性，请选择 Milvus。如果您希望最小化运营复杂性并直接开始构建应用程序，请选择 Zilliz Cloud。

两条路径都将带您到达目的地——只是您想要控制旅程的哪一部分以及需要多快到达那里而已

感谢这次精彩的采访，希望读者能够通过访问 Zilliz 或 Milvus 了解更多信息。