O Faiss 1.16.0 da Meta adiciona e-means para acelerar o agrupamento em grande escala

Os responsáveis pela manutenção do Faiss da Meta lançaram a versão 1.16.0 em 10 de novembro de 2026, incluindo o algoritmo de agrupamento e-means da FAIR at Meta, com implementações para CPU, GPU e sistemas distribuídos. Os pesquisadores relatam que o método supera a perda do k-means de Lloyd após 25 épocas em apenas 1,4 a 2,6 épocas, com acelerações de 10–45× no tempo de execução em GPU em comparação com as implementações avaliadas.

O lançamento do software ocorre após o envio do preprint de pesquisa ao arXiv em 6 de novembro de 2026, e não representa a primeira divulgação pública do algoritmo. O trabalho foi realizado por pesquisadores da FAIR at Meta e da École Nationale des Ponts et Chaussées.

A versão 1.16.0 adiciona implementações de referência do e-means, treinamento distribuído e com centroides particionados, backends de atribuição Triton e CuTe, atribuição de precisão reduzida e benchmarks para reproduzir os resultados da pesquisa. Também inclui demonstrações com DINO que mantêm os dados na memória ou os transmitem a partir de SSDs.

Como o e-means atualiza os centroides

O k-means busca centroides que minimizem a distância quadrática média entre os vetores e o centroide mais próximo, dando suporte à recuperação, à quantização e à curadoria de dados. O algoritmo de Lloyd atribui cada ponto ao centroide mais próximo e recalcula a soma e a contagem de cada cluster com base no conjunto de dados completo. Em vez disso, o e-means atualiza somas e contagens com decaimento exponencial a partir de minilotes, de modo que as atribuições mais antigas perdem influência gradualmente; cada centroide continua sendo a razão entre a soma acumulada de vetores e a contagem acumulada. Usar o conjunto de dados inteiro como um único lote, com um passo igual a 1, reproduz uma iteração de Lloyd.

Duas leis de escala ajustadas calculam o tamanho do lote e o tamanho inicial do passo com base no tamanho do conjunto de dados, no número de clusters e no orçamento de épocas, eliminando a busca separada de hiperparâmetros exigida por abordagens anteriores com minilotes. Uma programação cosseno reduz o passo a um décimo do valor inicial. A classe lançada usa cinco passagens de treinamento como padrão e aceita passagens fracionárias.

Os autores ajustaram as leis com 75.000 execuções de otimização em configurações DEEP. Eles relatam um arrependimento mediano de 0,07% em conjuntos de dados de validação — isto é, o excesso de erro em relação à melhor configuração da grade — para a lei do passo, e de 0,19% para a lei padrão do tamanho do lote. O método também reativa clusters subutilizados dividindo um cluster doador e, em seguida, termina calculando a média exata de cada cluster com base nas atribuições da última época. Uma finalização separada, com média móvel lenta, tem como objetivo o erro fora da amostra.

Os benchmarks chegam a dez bilhões de vetores

O artigo completo descreve a validação em conjuntos de dados de embeddings e sintéticos, com as principais comparações em GPU realizadas em GPUs H100 de 80 GB e os experimentos em CPU executados em um Xeon Platinum 8462Y+ de 64 núcleos. Em 11 testes de embeddings VIBE, os autores relatam que o e-means precisou de 1,6 a 2,6 épocas para atingir o erro do Lloyd após 25 épocas, com acelerações de 8,0× a 22,8× em comparação com o Flash-KMeans em uma H100 e de 9,0× a 15,0× em comparação com o Faiss em CPUs de 64 núcleos, usando 20 sementes por teste.

Na maior escala, os autores relatam ter particionado o DINO10B, que contém 10 bilhões de embeddings de patches DINO com 1.024 dimensões, em aproximadamente 16,7 milhões de clusters em 2,5 épocas, usando atribuição exata e obtendo um erro de teste ligeiramente menor que o do baseline de Lloyd após 25 épocas. Essa execução usou 779 horas de GPU em 32 máquinas. Outra execução, que usou busca aproximada pelo centroide mais próximo por meio de um índice de arquivo invertido (IVF), superou o baseline após três épocas, usando 23,2 horas de GPU em uma máquina com oito GPUs. A abordagem IVF pesquisa grupos selecionados de centroides, em vez de comparar cada ponto com todos os centroides.

O artigo relata que, na escala de dez bilhões de vetores, a atribuição IVF custa 34× menos que a atribuição exata, mas não traz ganhos com 100 milhões de vetores. Essa diferença mostra por que a contagem de épocas, por si só, não determina os requisitos de infraestrutura: a implementação e o método de atribuição definem quanto hardware uma execução exige.

Disponibilidade e limitações documentadas

O guia oficial do usuário fornece NumpyEmeans para dados NumPy e Emeans para tensores PyTorch. Somente o Faiss oferece suporte à execução em CPU; a execução em GPU usa PyTorch com CUDA habilitado, com kernels CuTe disponíveis nas H100 e H200 e Triton em outras GPUs NVIDIA recentes compatíveis. Apenas a atribuição ao centroide mais próximo usa precisão reduzida na GPU; os centroides, as somas acumuladas e as distâncias retornadas permanecem em FP32. As classes de centroides replicados e particionados oferecem suporte ao treinamento em várias GPUs; o artigo observa que as somas FP32 de 16 milhões de centroides ocupam 64 GiB, o que motiva a partição nessa escala.

As leis de escala foram ajustadas para dados de dimensão relativamente alta e não são ideais para conjuntos de dados de dimensão muito baixa ou minúsculos. Por isso, os valores padrão da versão lançada escolhem a lei de qualidade para o tamanho do lote quando há 16 dimensões ou menos e desativam a reativação quando há duas dimensões ou menos. O guia também alerta que os rótulos de treinamento retornados vêm da última passagem e não correspondem necessariamente às atribuições aos centroides finais, e que o caminho de GPU não verifica se as entradas contêm valores NaN ou infinitos.

Para pipelines de IA que agrupam grandes coleções de embeddings, o lançamento torna concreta a relação entre custo e desempenho: uma biblioteca mantida agora permite usar menos passagens de treinamento, enquanto as maiores reduções no consumo de GPU dependem da escala, do hardware e de a atribuição aproximada ser adequada à carga de trabalho.