Pinecone udostępnia open-source framework VQ-Bench do kwantyzacji wektorów

Pinecone wydało VQ-bench, otwarto‑źródłowy framework do tworzenia i benchmarkowania metod kwantyzacji wektorów, w ogłoszeniu z 17 września 2026 autorstwa Ashwin Padaki, Amir Ingber i Edo Liberty. Wydanie łączy publiczną stronę internetową udostępniającą bieżący benchmark popularnych kwantyzatorów z repozytorium GitHub na licencji MIT oraz artykułem przedstawionym na VecDB@VLDB 2026.

Dlaczego Pinecone stworzyło benchmark kwantyzacji

Kwantyzacja wektorów zmniejsza liczbę bitów potrzebnych do przechowywania wektora, co autorzy opisują jako kluczowy element utrzymania bazy wektorowej i istotny zarówno dla bazy wektorowe, jak i dużych modeli językowych. Pinecone używa kwantyzacji od swoich pierwszych prototypów, a autorzy napisali, że kiedy postanowili przeprowadzić przegląd i benchmark nowszych badań, odkryli, że każdy artykuł ocenia wydajność inaczej: różne metryki, różne zestawy danych i różny docelowy sprzęt. Stwierdzili, że nie mogli znaleźć żadnej systematycznej próby oceny wiodących metod względem siebie.

Założenie projektu, jak opisują autorzy, polega na tym, że większość opublikowanych kwantyzatorów składa się z stosunkowo niewielkiego zestawu prymitywnych operacji, więc zbudowanie kwantyzatora można sprowadzić do przepisu, które prymitywy użyć i w jakiej kolejności. artykuł towarzyszący, złożony do arXiv 31 lipca 2026, stwierdza, że framework opisuje siedem koncepcyjnych prymitywów kwantyzacji, pokazuje, jak dowolnie je komponować, oraz przekształca 25 popularnych kwantyzatorów w pipeline’y tych prymitywów.

Jak VQ-Bench komponuje kwantyzatory

W VQ-bench kwantyzator to cokolwiek, co potrafi przyjąć zestaw wektorów, skompresować je i później odtworzyć pożądane informacje. Kwantyzator musi implementować cztery metody: fit, która uczy model na próbce wektorów i opcjonalnie zapytania; encode, która zwraca kody per wektor na podstawie modelu; reconstruct, która odtwarza wektor z modelu i jego kodu; oraz score, która szacuje iloczyn skalarny między wektorem zapytania a zakodowanym wektorem.

Prymityw implementuje te same cztery metody plus dwie dodatkowe: apply i apply_queries, które określają, jak etap przekazuje dane do kolejnego. Te dwie metody tworzą kontrakt łańcuchowy umożliwiający składanie prymitywów. VQ-bench implementuje trzy grupy prymitywów: kondycjonery, takie jak Center, Normalize, PCA i RandomRotate; zaokrąglacze, takie jak CastUint, CastAngular, CastNormal i KMeans; oraz podzielacze, takie jak Segment.

Pipeline łączy dwa lub więcej prymitywów. Metody fit i encode przesuwają wektory w przód przez łańcuch, wykonując zadania każdego etapu i łącząc wyuczony model oraz kody wyjściowe etapu; reconstruct zaczyna od ostatniego etapu i cofa się, przy czym każdy etap włącza swój wkład z powrotem; a score najpierw przesuwa zapytanie w przód poprzez apply_queries, zanim wykona tę samą operację wsteczną. Kwantyzator nie musi być pipeline’em, ponieważ każdy element implementujący cztery metody spełnia wymóg, ale autorzy zauważają, że większość opublikowanych kwantyzatorów można przedstawić jako pipeline’y prymitywów.

Ogłoszenie prezentuje E‑RaBitQ jako przykładowy pipeline czterech prymitywów: Center, który odejmuje średni wektor zbioru danych od każdego wektora; Normalize, który skaluje każdy wektor do normy jednostkowej; losowy obrót stosujący losową ortogonalną lub transformację Hadamarda; oraz rzutowanie kątowe, które przyciąga każdy wektor do b‑bitowej siatki całkowitej poprzez zaokrąglenie do najbliższego punktu siatki w kącie.

Ustawienia benchmarku i zgłoszone wyniki

Autorzy ocenili zestaw 14 kwantyzatorów na pięciu zbiorach danych z VIBE, prezentując szczegółowe wyniki dla dwóch z nich: ArXiv, zawierającego 1 344 643 wektorów w 768 wymiarach, oraz Yahoo, z 677 305 wektorami w 384 wymiarach. Pełne wyniki zostały opublikowane na stronie benchmarku projektu.

Średni błąd kwadratowy rekonstrukcji, który autorzy określają jako tradycyjną metrykę kwantyzacji wektorów i istotny dla zastosowań takich jak kompresja wag LLM, jest mierzony na 1 000 losowo wybranych wektorach zbioru danych jako średnia kwadratowa odległość między każdym wektorem a jego rekonstrukcją. Dla baz wektorowych autorzy opisują recall jako bardziej istotną metrykę, szczególnie przy ponownym rankingowaniu; recall@10 jest obliczany poprzez wyznaczenie 1 000 wektorów o maksymalnym iloczynie skalarnym dla każdego zapytania i sprawdzenie, jaki odsetek szacowanych top‑10 przez kwantyzator znajduje się w rzeczywistych top‑10, uśredniony po wszystkich zapytaniach. Wartości czasu kodowania podane w ogłoszeniu uzyskano na Apple M2 Pro z 16 GB RAM przy użyciu sześciu wątków, przy kodowaniu w partiach i przyspieszaniu wielowątkowym.

Autorzy informują, że PQ i OPQ konsekwentnie uzyskiwały najniższy MSE rekonstrukcji, że EDEN i E‑RaBitQ były porównywalne pod względem recall, szczególnie przy wyższych budżetach bitowych, oraz że EDEN kodował znacznie szybciej niż PQ, OPQ i E‑RaBitQ, co według nich czyni go dobrym kandydatem do większości zastosowań kwantyzacji.

Repozytorium, narzędzia i wkład

The repozytorium GitHub jest licencjonowane na licencji MIT i wymienia maintainerów Amir Ingber i Edo Liberty z Pinecone oraz Ashwin Padaki z University of Pennsylvania. Dostarcza narzędzie wiersza poleceń oparte na Rust, vqb, którego konfiguracje uruchomienia w formacie JSON wybierają zestawy danych, metody i ich parametry, metryki jakości, wartości k dla recall, temperatury softmax, główne ziarno, liczby podpróbek oraz liczbę wątków; flaga dry-run weryfikuje konfigurację przed rozpoczęciem obliczeń. Tryb strumieniowy przetwarza zestawy danych większe niż pamięć, odczytując wektory bazowe z dysku w blokach, domyślnie 256 MB.

Repozytorium przyjmuje dwa rodzaje wkładów, zgodnie z ogłoszeniem: nowe kwantyzatory, które często są jedynie kilkoma liniami kodu przestawiającymi prymitywy już dostarczane przez bibliotekę, oraz nowe prymitywy implementujące sześć metod interfejsu, które następnie łączą się z każdym innym prymitywem w katalogu. System testowy mierzy recall@k, błąd rekonstrukcji i wyniku, bias, softmax KL oraz total variation, rozmiar w bitach na wymiar oraz koszty kodowania, wyniku i rekonstrukcji. Autorzy opisują to wydanie jako pierwszą iterację VQ-bench i stwierdzili, że z czasem dodadzą więcej kwantyzatorów; poprawki można zgłaszać poprzez tracker problemów repozytorium, a publikowany benchmark jest regularnie odświeżany o nowe metody.