AI 基础

什么是向量相似性搜索（VSS）以及它的用途？

mm
发布于
更新于
将 Unite.AI 添加到您在 Google 上的首选来源

现代数据搜索是一个复杂的领域。向量相似性搜索（VSS）代表数据的上下文深度，并返回更相关的信息给消费者，以响应搜索查询。让我们以一个简单的例子开始。

搜索查询，如“数据科学”和“科学小说”，尽管都包含一个共同的词语（“科学”），但指的是不同类型的内容。传统的搜索技术会匹配共同的短语来返回相关结果，这在这种情况下将是不准确的。向量相似性搜索会考虑实际的搜索意图和这些搜索查询的含义，以返回更准确的响应。

本文将讨论向量相似性搜索的各个方面，例如其组件、挑战、益处和用例。让我们开始。

什么是向量相似性搜索（VSS）?

向量相似性搜索通过将其转换为称为向量或嵌入的数值表示来查找和检索大型结构化或非结构化数据集合中上下文相似的信息。

VSS可以处理多种数据格式，包括数字、分类、文本、图像和视频。它将数据集中的每个对象转换为相应格式的高维向量表示（在下一节中讨论）。 

通常，VSS会定位类似的对象，例如类似的短语或段落，或在大型图像检索系统中找到相关的图像。像亚马逊、eBay和Spotify这样的大型消费公司使用这种技术来改善数百万用户的搜索结果，即为用户提供他们最可能想要购买、观看或收听的相关内容。

向量相似性搜索的三个主要组件

在了解向量相似性搜索的工作原理之前，让我们看一下其主要组件。主要有三个基本组件用于实现有效的VSS方法：

  1. 向量嵌入：嵌入以数学格式表示不同的数据类型，即有序数组或数字集。它们使用数学计算来识别数据中的模式。
  2. 距离或相似度度量：这些是计算两个向量的相似度或密切相关程度的数学函数。
  3. 搜索算法：算法帮助找到与给定搜索查询相似的向量。例如，K-Nearest Neighbors或KNN算法经常用于VSS启用的搜索系统中，以确定数据集中与给定输入查询最相似的K个向量。

现在，让我们讨论这些组件如何在搜索系统中工作。

向量相似性搜索如何工作?

实现向量相似性搜索的第一步是将数据集中的对象表示或描述为向量嵌入。它使用不同的向量嵌入方法，例如GloVe、Word2vec和BERT，将对象映射到向量空间。

对于每种数据格式，例如文本、音频和视频，VSS构建不同的嵌入模型，但该过程的最终结果是数值数组表示。 

下一步是创建一个索引，可以使用这些数值表示将相似的对象排列在一起。像KNN这样的算法作为实现搜索相似性的基础。然而，为了索引相似的术语，搜索系统使用现代方法，例如局部敏感哈希（LSH）和近似最近邻（ANNOY）。 

此外，VSS算法计算相似度或距离度量，例如欧几里得距离、余弦相似度或Jaccard相似度，以比较数据集合中的所有向量表示，并返回与用户查询相似的内容。

向量相似性搜索的主要挑战和益处

总体而言，目标是找到数据对象之间的共同特征。然而，这个过程带来了几个潜在的挑战。

实现VSS的主要挑战

  • 不同的向量嵌入技术和相似度度量会产生不同的结果。选择适合相似度搜索系统的配置是主要挑战。
  • 对于大型数据集，VSS在计算上是昂贵的，需要高性能的GPU来创建大规模索引。
  • 维度过多的向量可能无法准确地表示数据的真实结构和连接。因此，向量嵌入过程必须是无损的，这是一个挑战。

目前，VSS技术正在不断开发和改进。然而，它仍然可以为公司或产品的搜索体验提供许多益处。

VSS的益处

  • VSS允许搜索系统在各种数据类型上快速定位相似的对象。
  • VSS确保了高效的内存管理，因为它将所有数据对象转换为机器可以轻松处理的数值嵌入。
  • VSS可以对系统可能没有遇到过的新搜索查询对对象进行分类。
  • VSS是处理不良和不完整数据的绝佳方法，因为它可以找到上下文相似的对象，即使它们不是完美匹配。
  • 最重要的是，它可以在大规模（可变数据量）上检测和聚类相关对象。

向量相似性搜索的主要商业用例

在商业中，VSS技术可以革新广泛的行业和应用。其中一些用例包括：

  • 问答：向量相似性搜索可以在问答论坛中定位相关问题，这些问题几乎相同，从而为最终用户提供更准确和相关的响应。
  • 语义网搜索：向量相似性搜索可以根据文档或网页的“接近度”定位相关文档或网页。其目标是提高网页搜索结果的相关性。
  • 产品推荐：向量相似性搜索可以根据消费者的浏览或搜索历史提供个性化的产品推荐。
  • 改善医疗保健服务：医疗研究人员和从业人员使用向量相似性搜索来优化临床试验，方法是分析相关医疗研究的向量表示。

如今，使用传统的基于SQL的技术来管理、分析和搜索数据已经不可行。互联网用户在网上提出复杂的查询——对于人类来说似乎很简单，但对于机器（搜索引擎）来说解释起来非常复杂。机器解释不同形式的数据并将其转换为机器可理解的格式是一个长期存在的挑战。

向量相似性搜索使得搜索系统能够更好地理解商业信息的上下文。

想要阅读更多关于人工智能的精彩内容？请访问unite.ai。

mm

Haziqa 是一名具有丰富经验的数据科学家，擅长为 AI 和 SaaS 公司撰写技术内容。