Comparando técnicas de quantização para pesquisa vetorial escalável

Imagine procurar coisas semelhantes com base em insights mais profundos, em vez de apenas palavras-chave. É para isso que bancos de dados vetoriais e pesquisas por similaridade ajudam. Bancos de dados vetoriais ativar a pesquisa por similaridade vetorial. Ele usa a distância entre vetores para encontrar pontos de dados em consultas de pesquisa.

No entanto, a busca por similaridade em dados de alta dimensão pode ser lenta e consumir muitos recursos. Entre nas técnicas de quantização! Eles desempenham um papel importante na otimização do armazenamento de dados e na aceleração da recuperação de dados em bancos de dados vetoriais.

Este artigo explora várias técnicas de quantização, seus tipos e casos de uso do mundo real.

O que é quantização e como funciona?

Quantização é o processo de conversão de dados contínuos em pontos de dados discretos. Especialmente quando se trata de parâmetros em escala de bilhões, a quantização é essencial para gerenciamento e processamento. Em bancos de dados vetoriais, a quantização transforma dados de alta dimensão em espaço compactado, preservando características importantes e distâncias vetoriais.

A quantização reduz significativamente os gargalos de memória e melhora a eficiência do armazenamento.

O processo de quantização inclui três processos principais:

1. Compressão de vetores de alta dimensão

Na quantização, usamos técnicas como geração de livro de códigos, engenharia de recursos e codificação. Essas técnicas comprimem incorporações de vetores de alta dimensão em um subespaço de baixa dimensão. Em outras palavras, o vetor é dividido em vários subvetores. Incorporações vetoriais são representações numéricas de áudio, imagens, vídeos, texto ou dados de sinal, permitindo um processamento mais fácil.

2. Mapeamento para valores discretos

Esta etapa envolve mapear os subvetores de baixa dimensão para valores discretos. O mapeamento reduz ainda mais o número de bits de cada subvetor.

3. Armazenamento de vetores compactados

Finalmente, os valores discretos mapeados dos subvetores são colocados no banco de dados do vetor original. Dados compactados que representam a mesma informação em menos bits otimizam seu armazenamento.

Benefícios da quantização para bancos de dados vetoriais

A quantização oferece uma série de benefícios, resultando em computação melhorada e menor consumo de memória.

1. Pesquisa vetorial escalável eficiente

A quantização otimiza a busca vetorial reduzindo o custo de cálculo de comparação. Portanto, a busca vetorial requer menos recursos, melhorando sua eficiência geral.

2. Otimização de Memória

Vetores quantizados permitem armazenar mais dados no mesmo espaço. Além disso, a indexação e a pesquisa de dados também são otimizadas.

3. Velocidade

Com armazenamento e recuperação eficientes, a computação é mais rápida. Dimensões reduzidas permitem processamento mais rápido, incluindo manipulação de dados, consultas e previsões.

Alguns bancos de dados de vetores populares como Quadrante, Pinecone e Milvus oferecem várias técnicas de quantização com diferentes casos de uso.

Casos de uso

A capacidade da quantização de reduzir o tamanho dos dados e, ao mesmo tempo, preservar informações significativas torna-o um recurso útil.

Vamos nos aprofundar em algumas de suas aplicações.

1. Processamento de imagem e vídeo

Imagens e dados de vídeo têm uma gama mais ampla de parâmetros, aumentando significativamente a complexidade computacional e o consumo de memória. Quantização compacta os dados sem perder detalhes importantes, permitindo armazenamento e processamento eficientes. Isso acelera as pesquisas de imagens e vídeos.

2. Compressão do modelo de aprendizado de máquina

Treinar modelos de IA em grandes conjuntos de dados é uma tarefa intensiva. A quantização ajuda reduzindo tamanho e complexidade do modelo sem comprometer sua eficiência.

3. Processamento de Sinal

Os dados de sinal representam pontos de dados contínuos, como GPS ou imagens de vigilância. A quantização mapeia os dados em valores discretos, permitindo armazenamento e análise mais rápidos. Além disso, o armazenamento e a análise eficientes aceleram as operações de pesquisa, permitindo uma comparação mais rápida dos sinais.

Diferentes técnicas de quantização

Embora a quantização permita o tratamento contínuo de parâmetros em escala de bilhões, ela corre o risco de perda irreversível de informações. No entanto, encontrar o equilíbrio certo entre perda e compactação de informações aceitáveis ​​melhora a eficiência.

Cada técnica de quantização vem com prós e contras. Antes de escolher, você deve compreender os requisitos de compressão, bem como os pontos fortes e as limitações de cada técnica.

1. Quantização Binária

A quantização binária é um método que converte todos os embeddings de vetores em 0 ou 1. Se um valor for maior que 0, ele é mapeado para 1, caso contrário, é marcado como 0. Portanto, ele converte dados de alta dimensão em dimensões significativamente mais baixas, permitindo pesquisa de similaridade mais rápida.

Fórmula

A Fórmula é:

Fórmula de quantização binária. Imagem do autor.

Aqui está um exemplo de como a quantização binária funciona em um vetor.

Representação gráfica da quantização binária. Imagem do autor.

Pontos fortes

• Pesquisa mais rápida, superando técnicas de quantização escalar e de produto.
• Reduz o consumo de memória por um fator de 32.

Limitações

• Maior proporção de perda de informações.
• Os componentes do vetor requerem uma média aproximadamente igual a zero.
• Baixo desempenho em dados de baixa dimensão devido à maior perda de informações.
• A nova pontuação é necessária para obter os melhores resultados.

Bancos de dados vetoriais como Quadrante e a Tecer oferecem quantização binária.

2. Quantização Escalar

A quantização escalar converte números de ponto flutuante ou decimais em inteiros. Isso começa com a identificação de um valor mínimo e máximo para cada dimensão. O intervalo identificado é então dividido em vários compartimentos. Por último, cada valor em cada dimensão é atribuído a um compartimento.

O nível de precisão ou detalhe em vetores quantizados depende do número de caixas. Mais compartimentos resultam em maior precisão ao capturar detalhes mais sutis. Portanto, a precisão da pesquisa vetorial também depende do número de compartimentos.

Fórmula

A fórmula é:

Fórmula de quantização escalar. Imagem do autor.

Aqui está um exemplo de como a quantização escalar funciona em um vetor.

Representação gráfica da quantização escalar. Imagem do autor.

Pontos fortes

• Significativo memória otimização.
• Pequena perda de informação.
• Processo parcialmente reversível.
• Compressão rápida.
• Pesquisa escalável eficiente devido à pequena perda de informações.

Limitações

• Uma ligeira diminuição na qualidade da pesquisa.
• Vetores de baixa dimensão são mais suscetíveis à perda de informações, pois cada ponto de dados carrega informações importantes.

Bancos de dados vetoriais como Quadrante e a Milvus oferecem quantização escalar.

3. Quantização do Produto

A quantização do produto divide os vetores em subvetores. Para cada seção, os pontos centrais, ou centróides, são calculados usando algoritmos de agrupamento. Seus centróides mais próximos representam cada subvetor.

A pesquisa por similaridade na quantização de produtos funciona dividindo o vetor de pesquisa no mesmo número de subvetores. Em seguida, uma lista de resultados semelhantes é criada em ordem crescente de distância do centróide de cada subvetor até cada subvetor de consulta. Como o processo de pesquisa vetorial compara a distância dos subvetores de consulta aos centróides do vetor quantizado, os resultados da pesquisa são menos precisos. No entanto, a quantização do produto acelera o processo de busca por similaridade e maior precisão pode ser alcançada aumentando o número de subvetores.

Fórmula

Encontrar centróides é um processo iterativo. Utiliza o recálculo da distância euclidiana entre cada ponto de dados ao seu centróide até a convergência. A fórmula da distância euclidiana no espaço n-dimensional é:

Fórmula de quantização do produto. Imagem do autor.

Aqui está um exemplo de como funciona a quantização do produto em um vetor.

Representação gráfica da quantização do produto. Imagem do autor.

Pontos fortes

• Maior taxa de compressão.
• Melhor eficiência de armazenamento do que outras técnicas.

Limitações

• Não é adequado para vetores de baixa dimensão.
• Compressão com uso intensivo de recursos.

Bancos de dados vetoriais como Quadrante e Weaviate oferecem quantização de produtos.

Escolhendo o método de quantização correto

Cada método de quantização tem seus prós e contras. A escolha do método certo depende de fatores que incluem, mas não estão limitados a:

• Dimensão de dados
• Compensação entre precisão de compressão
• Requisitos de eficiência
• Restrições de recursos.

Considere o gráfico de comparação abaixo para entender melhor qual técnica de quantização é adequada ao seu caso de uso. Este gráfico destaca fatores de precisão, velocidade e compressão para cada método de quantização.

Imagem por Qdrant

Da otimização do armazenamento à pesquisa mais rápida, a quantização mitiga os desafios de armazenar parâmetros em escala de bilhões. No entanto, compreender antecipadamente os requisitos e as compensações é crucial para uma implementação bem-sucedida.

Para obter mais informações sobre as últimas tendências e tecnologias, visite Unir IA.