Comparaison des techniques de quantification pour la recherche de vecteurs évolutives

Imaginez rechercher des choses similaires en fonction de connaissances plus approfondies plutôt que de simples mots-clés. C’est ce que les bases de données de vecteurs et les recherches de similarité aident à faire. Les bases de données de vecteurs permettent la recherche de similarité de vecteurs. Elle utilise la distance entre les vecteurs pour trouver des points de données dans les requêtes de recherche.

Cependant, la recherche de similarité dans les données à haute dimension peut être lente et gourmande en ressources. Entrez les techniques de quantification ! Elles jouent un rôle important dans l’optimisation du stockage de données et l’accélération de la récupération de données dans les bases de données de vecteurs.

Cet article explore diverses techniques de quantification, leurs types et leurs cas d’utilisation réels.

Qu’est-ce que la quantification et comment fonctionne-t-elle ?

La quantification est le processus de conversion de données continues en points de données discrets. Surtout lorsque vous avez affaire à des paramètres à l’échelle du milliard, la quantification est essentielle pour la gestion et le traitement. Dans les bases de données de vecteurs, la quantification transforme les données à haute dimension en espace compressé tout en préservant les fonctionnalités et les distances de vecteurs importantes.

La quantification réduit considérablement les goulets d’étranglement de mémoire et améliore l’efficacité de stockage.

Le processus de quantification comprend trois processus clés :

1. Compression des vecteurs à haute dimension

Dans la quantification, nous utilisons des techniques telles que la génération de codebook, l’ingénierie de fonctionnalités et le codage. Ces techniques compressent les embeddings de vecteurs à haute dimension en un sous-espace à basse dimension. En d’autres termes, le vecteur est divisé en de nombreux sous-vecteurs. Les embeddings de vecteurs sont des représentations numériques d’audio, d’images, de vidéos, de texte ou de données de signal, permettant un traitement plus facile.

2. Mappage sur des valeurs discrètes

Cette étape consiste à mapper les sous-vecteurs à basse dimension sur des valeurs discrètes. Le mappage réduit encore le nombre de bits de chaque sous-vecteur.

3. Stockage de vecteurs compressés

Enfin, les valeurs discrètes mappées des sous-vecteurs sont placées dans la base de données pour le vecteur d’origine. Les données compressées représentant les mêmes informations en moins de bits optimisent leur stockage.

Avantages de la quantification pour les bases de données de vecteurs

La quantification offre une gamme d’avantages, aboutissant à une amélioration de la computation et à une réduction de l’empreinte de mémoire.

1. Recherche de vecteurs évolutives efficiente

La quantification optimise la recherche de vecteurs en réduisant le coût de calcul de la comparaison. Par conséquent, la recherche de vecteurs nécessite moins de ressources, améliorant ainsi son efficacité globale.

2. Optimisation de la mémoire

Les vecteurs quantifiés permettent de stocker plus de données dans le même espace. De plus, l’indexation et la recherche de données sont également optimisées.

3. Vitesse

Avec un stockage et une récupération efficaces, vient une computation plus rapide. Les dimensions réduites permettent un traitement plus rapide, y compris la manipulation de données, les requêtes et les prédictions.

Certaines bases de données de vecteurs populaires comme Qdrant, Pinecone et Milvus offrent diverses techniques de quantification avec différents cas d’utilisation.

Cas d’utilisation

La capacité de la quantification à réduire la taille des données tout en préservant les informations significatives en fait un atout précieux.

Plongeons plus profondément dans quelques-unes de ses applications.

1. Traitement d’images et de vidéos

Les données d’images et de vidéos ont une gamme de paramètres plus large, augmentant considérablement la complexité de calcul et l’empreinte de mémoire. La quantification compressent les données sans perdre les détails importants, permettant un stockage et un traitement efficaces. Cela accélère les recherches d’images et de vidéos.

2. Compression de modèles d’apprentissage automatique

L’entraînement de modèles d’IA sur de grands ensembles de données est une tâche intensive. La quantification aide en réduisant la taille et la complexité du modèle sans compromettre son efficacité.

3. Traitement de signaux

Les données de signal représentent des points de données continus comme les données GPS ou les données de surveillance. La quantification mappe les données en valeurs discrètes, permettant un stockage et une analyse plus rapides. De plus, le stockage et l’analyse efficaces accélèrent les opérations de recherche, permettant des comparaisons de signaux plus rapides.

Differentes techniques de quantification

Bien que la quantification permette une gestion fluide de paramètres à l’échelle du milliard, elle risque une perte d’information irréversible. Cependant, trouver un équilibre entre la perte d’information acceptable et la compression améliore l’efficacité.

Chaque technique de quantification comporte des avantages et des inconvénients. Avant de choisir, vous devez comprendre les exigences de compression ainsi que les forces et les limites de chaque technique.

1. Quantification binaire

La quantification binaire est une méthode qui convertit tous les embeddings de vecteurs en 0 ou 1. Si une valeur est supérieure à 0, elle est mappée à 1, sinon elle est marquée comme 0. Par conséquent, elle convertit les données à haute dimension en une dimension considérablement plus basse, permettant une recherche de similarité plus rapide.

Formule

La formule est :

Formule de quantification binaire. Image de l’auteur.

Voici un exemple de la façon dont la quantification binaire fonctionne sur un vecteur.

Représentation graphique de la quantification binaire. Image de l’auteur.

Les bases de données de vecteurs comme Qdrant et Weaviate offrent une quantification binaire.

2. Quantification scalaire

La quantification scalaire convertit les nombres à virgule flottante ou décimaux en entiers. Elle commence par identifier une valeur minimale et maximale pour chaque dimension. La plage identifiée est ensuite divisée en plusieurs bins. Enfin, chaque valeur dans chaque dimension est affectée à un bin.

Le niveau de précision ou de détail dans les vecteurs quantifiés dépend du nombre de bins. Plus de bins résultent en une précision plus élevée en capturant des détails plus fins. Par conséquent, la précision de la recherche de vecteurs dépend également du nombre de bins.

Formule

La formule est :

Formule de quantification scalaire. Image de l’auteur.

Voici un exemple de la façon dont la quantification scalaire fonctionne sur un vecteur.

Représentation graphique de la quantification scalaire. Image de l’auteur.

Les bases de données de vecteurs telles que Qdrant et Milvus offrent une quantification scalaire.

3. Quantification de produit

La quantification de produit divise les vecteurs en sous-vecteurs. Pour chaque section, les points centraux, ou les centroids, sont calculés à l’aide d’algorithmes de regroupement. Leurs centroids les plus proches représentent ensuite chaque sous-vecteur.

La recherche de similarité dans la quantification de produit fonctionne en divisant le vecteur de recherche en le même nombre de sous-vecteurs. Ensuite, une liste de résultats similaires est créée dans l’ordre croissant de la distance de chaque sous-vecteur du centroid à chaque sous-vecteur de requête. Puisque le processus de recherche de vecteurs compare la distance des sous-vecteurs de requête aux centroids des vecteurs quantifiés, les résultats de la recherche sont moins précis. Cependant, la quantification de produit accélère le processus de recherche de similarité et une précision plus élevée peut être obtenue en augmentant le nombre de sous-vecteurs.

Formule

La recherche de centroids est un processus itératif. Il utilise le recalcul de la distance euclidienne entre chaque point de données et son centroid jusqu’à la convergence. La formule de la distance euclidienne dans l’espace à n dimensions est :

Formule de quantification de produit. Image de l’auteur.

Voici un exemple de la façon dont la quantification de produit fonctionne sur un vecteur.

Représentation graphique de la quantification de produit. Image de l’auteur.

Les bases de données de vecteurs comme Qdrant et Weaviate offrent une quantification de produit.

Choisir la bonne méthode de quantification

Chaque méthode de quantification a ses avantages et inconvénients. Le choix de la bonne méthode dépend de facteurs qui incluent, mais ne sont pas limités à :

• Dimension des données
• Échange entre compression et précision
• Exigences d’efficacité
• Contraintes de ressources.

Considérez le tableau de comparaison ci-dessous pour comprendre mieux quelle technique de quantification convient à votre cas d’utilisation. Ce tableau met en évidence les facteurs de précision, de vitesse et de compression pour chaque méthode de quantification.

Image de Qdrant

De l’optimisation du stockage à la recherche plus rapide, la quantification atténue les défis du stockage de paramètres à l’échelle du milliard. Cependant, comprendre les exigences et les compromis avant de procéder est crucial pour une mise en œuvre réussie.

Pour plus d’informations sur les dernières tendances et technologies, visitez Unite AI.