Comparación de técnicas de cuantificación para la búsqueda de vectores escalables

Imagínese buscar cosas similares basadas en conocimientos más profundos en lugar de solo palabras clave. En eso ayudan las bases de datos vectoriales y las búsquedas de similitudes. Bases de datos vectoriales habilitar la búsqueda de similitud de vectores. Utiliza la distancia entre vectores para encontrar puntos de datos en consultas de búsqueda.

Sin embargo, la búsqueda de similitudes en datos de alta dimensión puede ser lenta y consumir muchos recursos. ¡Ingrese a las técnicas de cuantificación! Desempeñan un papel importante en la optimización del almacenamiento de datos y la aceleración de la recuperación de datos en bases de datos vectoriales.

Este artículo explora varias técnicas de cuantificación, sus tipos y casos de uso del mundo real.

¿Qué es la cuantización y cómo funciona?

La cuantificación es el proceso de convertir datos continuos en puntos de datos discretos. Especialmente cuando se trata de parámetros de mil millones de escalas, la cuantificación es esencial para la gestión y el procesamiento. En las bases de datos vectoriales, la cuantificación transforma datos de alta dimensión en espacio comprimido preservando al mismo tiempo características importantes y distancias vectoriales.

La cuantificación reduce significativamente los cuellos de botella de la memoria y mejora la eficiencia del almacenamiento.

El proceso de cuantificación incluye tres procesos clave:

1. Compresión de vectores de alta dimensión

En la cuantificación, utilizamos técnicas como la generación de libros de códigos, la ingeniería de características y la codificación. Estas técnicas comprimen incrustaciones de vectores de alta dimensión en un subespacio de baja dimensión. En otras palabras, el vector se divide en numerosos subvectores. Las incrustaciones de vectores son representaciones numéricas de audio, imágenes, vídeos, texto o datos de señales, lo que permite un procesamiento más sencillo.

2. Mapeo de valores discretos

Este paso implica mapear los subvectores de baja dimensión a valores discretos. El mapeo reduce aún más el número de bits de cada subvector.

3. Almacenamiento vectorial comprimido

Finalmente, los valores discretos mapeados de los subvectores se colocan en la base de datos del vector original. Los datos comprimidos que representan la misma información en menos bits optimizan su almacenamiento.

Beneficios de la cuantificación para bases de datos vectoriales

La cuantificación ofrece una variedad de beneficios, lo que resulta en una computación mejorada y una menor huella de memoria.

1. Búsqueda vectorial escalable y eficiente

La cuantificación optimiza la búsqueda de vectores al reducir el costo de cálculo de comparación. Por tanto, la búsqueda de vectores requiere menos recursos, lo que mejora su eficiencia general.

2. Optimización de memoria

Los vectores cuantificados le permiten almacenar más datos dentro del mismo espacio. Además, la indexación y la búsqueda de datos también están optimizadas.

3. Velocidad

Un almacenamiento y recuperación eficientes conlleva un cálculo más rápido. Las dimensiones reducidas permiten un procesamiento más rápido, incluida la manipulación de datos, consultas y predicciones.

Algunas bases de datos vectoriales populares como Cuadrante, piñay milvus Ofrece varias técnicas de cuantificación con diferentes casos de uso.

Casos de uso

La capacidad de la cuantificación para reducir el tamaño de los datos y al mismo tiempo preservar información importante la convierte en un activo útil.

Profundicemos en algunas de sus aplicaciones.

1. Procesamiento de imágenes y videos

Las imágenes y los datos de vídeo tienen una gama más amplia de parámetros, lo que aumenta significativamente la complejidad computacional y la huella de memoria. Cuantización comprime los datos sin perder detalles importantes, lo que permite un almacenamiento y procesamiento eficientes. Esto acelera la búsqueda de imágenes y vídeos.

2. Compresión del modelo de aprendizaje automático

Entrenar modelos de IA en grandes conjuntos de datos es una tarea intensiva. La cuantificación ayuda a reducir tamaño y complejidad del modelo sin comprometer su eficiencia.

3. Procesamiento de señales

Los datos de señal representan puntos de datos continuos como GPS o imágenes de vigilancia. La cuantificación asigna datos a valores discretos, lo que permite un almacenamiento y análisis más rápidos. Además, el almacenamiento y el análisis eficientes aceleran las operaciones de búsqueda, lo que permite una comparación de señales más rápida.

Diferentes técnicas de cuantificación

Si bien la cuantificación permite un manejo fluido de parámetros de miles de millones de escalas, corre el riesgo de una pérdida irreversible de información. Sin embargo, encontrar el equilibrio adecuado entre la pérdida de información aceptable y la compresión mejora la eficiencia.

Cada técnica de cuantización tiene sus pros y sus contras. Antes de elegir, debes comprender los requisitos de compresión, así como las fortalezas y limitaciones de cada técnica.

1. Cuantización binaria

La cuantización binaria es un método que convierte todas las incrustaciones de vectores en 0 o 1. Si un valor es mayor que 0, se asigna a 1; de lo contrario, se marca como 0. Por lo tanto, convierte datos de alta dimensión en dimensiones significativamente más bajas, lo que permite Búsqueda de similitudes más rápida.

Fórmula

La Fórmula es:

Fórmula de cuantificación binaria. Imagen del autor.

A continuación se muestra un ejemplo de cómo funciona la cuantificación binaria en un vector.

Representación gráfica de la cuantificación binaria. Imagen del autor.

Ventajas

• Búsqueda más rápida, superando las técnicas de cuantificación escalar y de producto.
• Reduce la huella de memoria en un factor de 32.

Limitaciones

• Mayor ratio de pérdida de información.
• Los componentes del vector requieren una media aproximadamente igual a cero.
• Mal rendimiento en datos de baja dimensión debido a una mayor pérdida de información.
• Es necesario volver a puntuar para obtener los mejores resultados.

Bases de datos vectoriales como Cuadrante y tejido Ofrece cuantificación binaria.

2. Cuantización escalar

La cuantificación escalar convierte números de punto flotante o decimales en números enteros. Esto comienza con la identificación de un valor mínimo y máximo para cada dimensión. Luego, el rango identificado se divide en varios contenedores. Por último, cada valor de cada dimensión se asigna a un contenedor.

El nivel de precisión o detalle de los vectores cuantificados depende del número de contenedores. Más contenedores dan como resultado una mayor precisión al capturar detalles más finos. Por lo tanto, la precisión de la búsqueda de vectores también depende del número de contenedores.

Fórmula

La fórmula es:

Fórmula de cuantificación escalar. Imagen del autor.

A continuación se muestra un ejemplo de cómo funciona la cuantificación escalar en un vector.

Representación gráfica de la cuantificación escalar. Imagen del autor.

Ventajas

• Significativo memoria mejoramiento.
• Pequeña pérdida de información.
• Proceso parcialmente reversible.
• Compresión rápida.
• Búsqueda eficiente y escalable gracias a una pequeña pérdida de información.

Limitaciones

• Una ligera disminución en la calidad de la búsqueda.
• Los vectores de baja dimensión son más susceptibles a la pérdida de información ya que cada punto de datos contiene información importante.

Bases de datos vectoriales como Cuadrante y milvus Ofrece cuantificación escalar.

3. Cuantización del producto

La cuantificación del producto divide los vectores en subvectores. Para cada sección, los puntos centrales, o centroides, se calculan utilizando algoritmos de agrupamiento. Sus centroides más cercanos representan cada subvector.

La búsqueda por similitud en la cuantificación de productos funciona dividiendo el vector de búsqueda en el mismo número de subvectores. Luego, se crea una lista de resultados similares en orden ascendente de distancia desde el centroide de cada subvector hasta cada subvector de consulta. Dado que el proceso de búsqueda de vectores compara la distancia desde los subvectores de consulta con los centroides del vector cuantificado, los resultados de la búsqueda son menos precisos. Sin embargo, la cuantificación del producto acelera el proceso de búsqueda de similitudes y se puede lograr una mayor precisión aumentando el número de subvectores.

Fórmula

Encontrar centroides es un proceso iterativo. Utiliza el recálculo de la distancia euclidiana entre cada punto de datos y su centroide hasta la convergencia. La fórmula de la distancia euclidiana en un espacio n-dimensional es:

Fórmula de cuantificación del producto. Imagen del autor.

A continuación se muestra un ejemplo de cómo funciona la cuantificación de productos en un vector.

Representación gráfica de la cuantificación de productos. Imagen del autor.

Ventajas

• Máxima relación de compresión.
• Mejor eficiencia de almacenamiento que otras técnicas.

Limitaciones

• No apto para vectores de baja dimensión.
• Compresión que requiere muchos recursos.

Bases de datos vectoriales como Cuadrante y Weaviate ofrecen cuantificación de productos.

Elegir el método de cuantificación adecuado

Cada método de cuantificación tiene sus pros y sus contras. La elección del método correcto depende de factores que incluyen, entre otros:

• Dimensión de datos
• Compensación entre compresión y precisión
• Requisitos de eficiencia
• Restricciones de recursos.

Considere el cuadro comparativo a continuación para comprender mejor qué técnica de cuantificación se adapta a su caso de uso. Este gráfico destaca los factores de precisión, velocidad y compresión para cada método de cuantificación.

Imagen de Qdrant

Desde la optimización del almacenamiento hasta una búsqueda más rápida, la cuantificación mitiga los desafíos de almacenar parámetros de mil millones de escala. Sin embargo, comprender de antemano los requisitos y las compensaciones es crucial para una implementación exitosa.

Para obtener más información sobre las últimas tendencias y tecnología, visite Unir IA.