Pinecone rende open source il framework di quantizzazione vettoriale VQ-Bench

Pinecone ha rilasciato VQ-bench, un framework open source per la costruzione e il benchmarking di metodi di quantizzazione vettoriale, in un annuncio del 17 settembre 2026 da Ashwin Padaki, Amir Ingber e Edo Liberty. Il rilascio comprende un sito web pubblico che ospita un benchmark in corso dei quantizzatori più popolari, un repository GitHub con licenza MIT e un articolo presentato a VecDB@VLDB 2026.

Perché Pinecone ha creato un benchmark di quantizzazione

La quantizzazione vettoriale riduce il numero di bit necessari per memorizzare un vettore, che gli autori descrivono come una parte fondamentale per mantenere un database vettoriale e come importante sia per i database vettoriali sia per i grandi modelli linguistici. Pinecone ha utilizzato la quantizzazione fin dai primi prototipi, e gli autori hanno scritto che, quando hanno iniziato a esaminare e a valutare la ricerca più recente, hanno scoperto che ogni articolo valutava le prestazioni in modo diverso: metriche diverse, dataset diversi e hardware di destinazione diverso. Hanno affermato di non aver trovato alcun tentativo sistematico di valutare i metodi leader l’uno contro l’altro.

Il presupposto del progetto, come lo descrivono gli autori, è che la maggior parte dei quantizzatori pubblicati è assemblata a partire da un insieme relativamente piccolo di operazioni primitive, quindi la costruzione di un quantizzatore può essere ridotta a una ricetta su quali primitive utilizzare e in quale ordine. Il articolo di accompagnamento, presentato su arXiv il 31 luglio 2026, afferma che il framework descrive sette primitive concettuali di quantizzazione, mostra come comporle arbitrariamente e riformula 25 quantizzatori comuni come pipeline di tali primitive.

Come VQ-Bench compone i quantizzatori

In VQ-bench, un quantizzatore è qualsiasi cosa possa prendere un insieme di vettori, comprimerli e recuperare in seguito le informazioni desiderate. Un quantizzatore deve implementare quattro metodi: fit, che apprende un modello da un campione di vettori e opzionalmente da query; encode, che restituisce codici per ciascun vettore a partire dal modello; reconstruct, che ricostruisce un vettore dal modello e dal suo codice; e score, che stima il prodotto scalare tra un vettore di query e un vettore codificato.

Una primitive implementa gli stessi quattro metodi più altri due, apply e apply_queries, che specificano come lo stadio passa i dati al successivo. Questi due metodi costituiscono il contratto di concatenazione che consente di comporre le primitive. VQ-bench implementa tre gruppi di primitive: i condizionatori come Center, Normalize, PCA e RandomRotate; gli arrotondatori come CastUint, CastAngular, CastNormal e KMeans; e i divisori come Segment.

Una pipeline concatena due o più primitive. I metodi fit e encode fanno avanzare i vettori lungo la catena, eseguendo il compito di ciascuna fase e concatenando il modello appreso e i codici di output di ogni fase; reconstruct parte dall’ultima fase e procede all’indietro, con ogni fase che reintegra il proprio contributo; e score prima spinge la query in avanti attraverso apply_queries prima di eseguire lo stesso passaggio all’indietro. Un quantizzatore non deve necessariamente essere una pipeline, poiché qualsiasi cosa che implementi i quattro metodi è idonea, ma gli autori segnalano che la maggior parte dei quantizzatori pubblicati può essere espressa come pipeline di primitive.

L’annuncio utilizza E-RaBitQ come esempio di pipeline composta da quattro primitive: Center, che sottrae il vettore medio del dataset da ogni vettore; Normalize, che scala ogni vettore a norma unitaria; una rotazione casuale che applica una trasformazione ortogonale o Hadamard casuale; e un cast angolare che fissa ogni vettore su una griglia intera a b bit arrotondando al punto di griglia più vicino in termini di angolo.

Configurazione del benchmark e risultati segnalati

Gli autori hanno valutato una suite di 14 quantizzatori su cinque dataset provenienti da VIBE, presentando risultati dettagliati per due di essi: ArXiv, con 1,344,643 vettori in 768 dimensioni, e Yahoo, con 677,305 vettori in 384 dimensioni. I risultati completi sono pubblicati sul sito web del benchmark del progetto.

L’errore quadratico medio di ricostruzione, che gli autori definiscono la metrica tradizionale per la quantizzazione vettoriale e importante per applicazioni come la compressione dei pesi dei LLM, viene misurato su 1,000 vettori del dataset campionati casualmente come la distanza quadratica media tra ogni vettore e la sua ricostruzione. Per i database vettoriali, gli autori descrivono il recall come la metrica più rilevante, in particolare per il riordino; recall@10 è misurato calcolando per ogni query i 1,000 vettori del dataset con il massimo prodotto scalare e verificando quale frazione dei primi 10 stimati dal quantizzatore rientra nei veri primi 10, mediata su tutte le query. I valori di tempo di codifica riportati nell’annuncio sono stati ottenuti su un Apple M2 Pro con 16GB di RAM utilizzando sei thread, con la codifica eseguita a blocchi e accelerata tramite multithreading.

Gli autori segnalano che PQ e OPQ hanno prodotto costantemente il più basso MSE di ricostruzione, che EDEN e E-RaBitQ sono stati comparabili in termini di recall, soprattutto con budget di bit più elevati, e che EDEN ha codificato molto più rapidamente rispetto a PQ, OPQ e E-RaBitQ, il che, secondo loro, lo rende un buon candidato per la maggior parte delle applicazioni di quantizzazione.

Repository, strumenti e contributi

Il repository GitHub è con licenza MIT e elenca i manutentori Amir Ingber ed Edo Liberty di Pinecone e Ashwin Padaki dell’Università della Pennsylvania. Viene fornito uno strumento da riga di comando basato su Rust, vqb, le cui configurazioni JSON di esecuzione selezionano set di dati, metodi e relativi parametri, metriche di qualità, valori k per il recall, temperature softmax, un seed master, conteggi di sottocampionamento e un numero di thread; un flag di dry‑run valida una configurazione prima che venga calcolato qualsiasi risultato. Una modalità streaming elabora set di dati più grandi della memoria leggendo i vettori di base dal disco in blocchi, 256 MB per impostazione predefinita.

Il repository accetta due tipologie di contributi, secondo l’annuncio: nuovi quantizzatori, che spesso consistono in poche righe di codice che riordinano primitive già fornite dalla libreria, e nuove primitive che implementano i sei metodi dell’interfaccia, le quali poi si combinano con tutte le altre primitive nel catalogo. Il framework di valutazione misura recall@k, ricostruzione e errore di punteggio, bias, KL softmax e variazione totale, dimensione in bit per dimensione, nonché i costi di codifica, punteggio e ricostruzione. Gli autori descrivono questa versione come la prima iterazione di VQ‑bench e hanno dichiarato che aggiungeranno altri quantizzatori nel tempo; le correzioni possono essere segnalate tramite il tracker delle issue del repository, e il benchmark pubblicato viene aggiornato regolarmente con l’integrazione di nuovi metodi.