Pinecone öppnar källkoden för VQ‑Bench‑ramverket för vektor‑kvantisering

Pinecone har släppt VQ-bench, ett öppen‑källkod‑ramverk för att bygga och benchmarka vektor‑kvantiseringsmetoder, i en annons den 17 september 2026 av Ashwin Padaki, Amir Ingber och Edo Liberty. Utgåvan kombinerar en offentlig webbplats som visar ett pågående benchmark av populära kvantiserare med ett MIT‑licensierat GitHub‑repo och en artikel som presenterades på VecDB@VLDB 2026.

Varför Pinecone byggde ett kvantiseringsbenchmark

Vektor‑kvantisering minskar antalet bitar som behövs för att lagra en vektor, vilket författarna beskriver som en kritisk del av att underhålla en vektordatabas och som viktigt både för vektordatabaser och stora språkmodeller. Pinecone har använt kvantisering sedan sina första prototyper, och författarna skrev att när de började undersöka och benchmarka nyare forskning fann de att varje artikel utvärderade prestanda på olika sätt: olika mått, olika dataset och olika mål‑hårdvara. De sade att de inte kunde hitta något systematiskt försök att utvärdera de ledande metoderna mot varandra.

Projektets premiss, enligt författarna, är att de flesta publicerade kvantiserare är sammansatta av en relativt liten uppsättning primitiva operationer, så att byggandet av en kvantiserare kan reduceras till ett recept som anger vilka primitivor som ska användas och i vilken ordning. tillhörande artikel, inskickad till arXiv den 31 juli 2026, konstaterar att ramverket beskriver sju konceptuella kvantiseringsprimitiver, visar hur man kan komponera dem godtyckligt och återuttrycker 25 vanliga kvantiserare som pipelines av dessa primitivor.

Hur VQ‑Bench sätter ihop kvantiserare

I VQ‑bench är en kvantiserare vad som helst som kan ta en mängd vektorer, komprimera dem och senare återhämta önskad information. En kvantiserare måste implementera fyra metoder: fit, som lär en modell från ett urval av vektorer och eventuellt frågor; encode, som returnerar kod per vektor givet modellen; reconstruct, som återbygger en vektor från modellen och dess kod; samt score, som uppskattar skalärprodukten mellan en frågevektor och en kodad vektor.

En primitiv implementerar samma fyra metoder plus två till, apply och apply_queries, som specificerar hur steget överlämnar data till nästa. Dessa två metoder utgör kedjekontraktet som möjliggör sammansättning av primitivor. VQ‑bench implementerar tre grupper av primitivor: konditioneringar såsom Center, Normalize, PCA och RandomRotate; avrundare såsom CastUint, CastAngular, CastNormal och KMeans; samt delare såsom Segment.

En pipeline kedjar två eller fler primitivor. Metoderna fit och encode förflyttar vektorer framåt genom kedjan, utför varje stegs uppgift och konkatenerar varje stegs inlärda modell och utdata‑koder; reconstruct startar vid sista steget och går bakåt, där varje steg återinför sitt eget bidrag; och score först skjuter frågan framåt genom apply_queries innan samma bakåtpassage körs. En kvantiserare behöver inte vara en pipeline, eftersom allt som implementerar de fyra metoderna kvalificerar, men författarna rapporterar att de flesta publicerade kvantiserare kan uttryckas som pipelines av primitivor.

I annonsen demonstreras E‑RaBitQ som ett exempel på en pipeline med fyra primitivor: Center, som subtraherar datasetets genomsnittliga vektor från varje vektor; Normalize, som skalar varje vektor till enhetsnorm; en slumpmässig rotation som applicerar en slumpmässig ortogonal eller Hadamard‑transform; samt en angular cast som snappar varje vektor till ett b‑bitars heltalsnät genom att avrunda till den närmaste rutpunkten i vinkel.

Benchmark‑uppsättning och rapporterade resultat

Författarna utvärderade en uppsättning av 14 kvantiserare på fem dataset från VIBE och presenterade detaljerade resultat för två av dem: ArXiv, med 1 344 643 vektorer i 768 dimensioner, och Yahoo, med 677 305 vektorer i 384 dimensioner. Fullständiga resultat publiceras på projektets benchmark‑webbplats.

Rekonstruktions‑medelkvadratfel, som författarna benämner den traditionella metriska för vektor‑kvantisering och som är viktig för tillämpningar såsom LLM‑viktkomprimering, mäts på 1 000 slumpmässigt utvalda dataset‑vektorer som det genomsnittliga kvadrerade avståndet mellan varje vektor och dess rekonstruktion. För vektordatabaser beskriver författarna recall som den mer relevanta metriska, särskilt för omrankning; recall@10 mäts genom att beräkna varje frågas 1 000 dataset‑vektorer med maximal skalärprodukt och kontrollera vilken andel av kvantiserarens uppskattade topp‑10 som faller inom den faktiska topp‑10, genomsnittligt över alla frågor. Kodningstiderna i annonsen erhölls på en Apple M2 Pro med 16 GB RAM med sex trådar, där kodning gjordes i block och accelererades via multitrådning.

Författarna rapporterar att PQ och OPQ konsekvent levererade den lägsta rekonstruktions‑MSE, att EDEN och E‑RaBitQ var jämförbara när det gäller recall, särskilt vid högre bitbudgetar, och att EDEN kodade mycket snabbare än PQ, OPQ och E‑RaBitQ, vilket de beskriver som att göra den till ett bra kandidat för de flesta kvantiseringsapplikationer.

Kodförvar, verktyg och bidrag

Det GitHub‑arkivet är licensierat under MIT och listar underhållare Amir Ingber och Edo Liberty från Pinecone samt Ashwin Padaki från University of Pennsylvania. Det levereras med ett Rust‑baserat kommandoradsverktyg, vqb, vars JSON‑körkonfigurationer väljer dataset, metoder och deras parametrar, kvalitetsmått, k‑värden för återkallelse, softmax‑temperaturer, ett huvudfrö, underprovningsantal och antal trådar; en torrkörningsflagga validerar en konfiguration innan någon beräkning utförs. Ett strömningsläge bearbetar dataset som är större än minnet genom att läsa basvektorer från disk i block, 256 MB som standard.

Enligt tillkännagivandet accepterar arkivet två typer av bidrag: nya kvantiserare, som ofta bara är några rader kod som omordnar primitiv som biblioteket redan levererar, och nya primitiv som implementerar de sex gränssnittsmethoderna, vilka sedan kombineras med alla andra primitiv i katalogen. Utvärderingsramverket mäter recall@k, rekonstruktion och poängfel, bias, softmax‑KL och total variation, storlek i bitar per dimension samt kodnings-, poäng- och rekonstruktionskostnad. Författarna beskriver detta släpp som den första iterationen av VQ‑bench och säger att de kommer att lägga till fler kvantiserare över tid; korrigeringar kan lämnas in via arkivets ärendehanterare, och det publicerade benchmarket uppdateras med jämna mellanrum med nya metoder.