Pinecone gjør VQ‑Bench vektor‑kvantisering‑rammeverk åpent tilgjengelig

Pinecone har lansert VQ‑bench, et åpen‑kilde‑kode‑rammeverk for å bygge og benchmarke vektor‑kvantiseringsmetoder, i en kunngjøring 17. september 2026 av Ashwin Padaki, Amir Ingber og Edo Liberty. Utgivelsen kombinerer et offentlig nettsted som viser en pågående benchmark av populære kvantisatorer med et MIT‑lisensiert GitHub‑repo og en artikkel presentert på VecDB@VLDB 2026.

Hvorfor Pinecone bygde et kvantiserings‑benchmark

Vektor‑kvantisering reduserer antall biter som trengs for å lagre en vektor, noe forfatterne beskriver som en kritisk del av å vedlikeholde en vektordatabase og som viktig både for vektordatabaser og store språkmodeller. Pinecone har brukt kvantisering siden sine første prototyper, og forfatterne skrev at da de begynte å undersøke og benchmarke nyere forskning, oppdaget de at hver artikkel evaluerte ytelsen på forskjellige måter: ulike målemetoder, ulike datasett og ulik mål‑maskinvare. De sa at de ikke klarte å finne noen systematisk innsats for å evaluere de ledende metodene mot hverandre.

Prosjektets premiss, som forfatterne beskriver, er at de fleste publiserte kvantisatorer er satt sammen av et relativt lite sett av primitive operasjoner, så bygging av en kvantisator kan reduseres til en oppskrift på hvilke primitive som skal brukes og i hvilken rekkefølge. Den tilhørende artikkelen, innsendt til arXiv 31. juli 2026, sier at rammeverket beskriver syv konseptuelle kvantisering‑primitive, viser hvordan de kan settes sammen vilkårlig, og uttrykker 25 vanlige kvantisatorer som rørledninger av disse primitive.

Hvordan VQ‑Bench komponerer kvantisatorer

I VQ‑bench er en kvantisator alt som kan ta et sett med vektorer, komprimere dem, og senere gjenopprette ønsket informasjon. En kvantisator må implementere fire metoder: fit, som lærer en modell fra et utvalg av vektorer og eventuelt spørringer; encode, som returnerer per‑vektor‑koder gitt modellen; reconstruct, som gjenbygger en vektor fra modellen og dens kode; og score, som estimerer prikkproduktet mellom en spørringsvektor og en kodet vektor.

En primitive implementerer de samme fire metodene pluss to til, apply og apply_queries, som spesifiserer hvordan trinnet overlever data til neste. Disse to metodene utgjør kjederegelen som gjør at primitive kan komponeres. VQ‑bench implementerer tre grupper av primitive: kondisjonerere som Center, Normalize, PCA og RandomRotate; avrundere som CastUint, CastAngular, CastNormal og KMeans; og delere som Segment.

En pipeline kobler to eller flere primitive. Fit‑ og encode‑metodene fører vektorer fremover gjennom kjeden, utfører hvert trinns oppgave og sammenkjedeler hvert trinns lærte modell og utdata‑koder; reconstruct starter ved siste trinn og går bakover, der hvert trinn legger inn sin egen bidrag; og score skyver først spørringen fremover gjennom apply_queries før den utfører den samme bakoverpasseringen. En kvantisator trenger ikke være en pipeline, siden alt som implementerer de fire metodene kvalifiserer, men forfatterne rapporterer at de fleste publiserte kvantisatorer kan uttrykkes som pipelines av primitive.

Kunngjøringen demonstrerer E‑RaBitQ som et eksempel på en pipeline med fire primitive: Center, som trekker fra gjennomsnittlig datasettvektor fra hver vektor; Normalize, som skalerer hver vektor til enhetsnorm; en tilfeldig rotasjon som anvender en tilfeldig ortogonal eller Hadamard‑transformasjon; og en vinkel‑casting som snapper hver vektor til et b‑bits heltalls‑gitter ved å runde til nærmeste gitterpunkt i vinkel.

Benchmark‑oppsett og rapporterte funn

Forfatterne evaluerte en samling på 14 kvantisatorer på fem datasett fra VIBE, og presenterte detaljerte resultater for to av dem: ArXiv, med 1 344 643 vektorer i 768 dimensjoner, og Yahoo, med 677 305 vektorer i 384 dimensjoner. Fullstendige resultater er publisert på prosjektets benchmark‑nettside.

Rekonstruerings‑gjennomsnittlig kvadratfeil, som forfatterne kaller den tradisjonelle metrikken for vektor‑kvantisering og som er viktig for applikasjoner som komprimering av LLM‑vekter, måles på 1 000 tilfeldig utvalgte datasettvektorer som gjennomsnittlig kvadratisk avstand mellom hver vektor og dens rekonstruksjon. For vektordatabaser beskriver forfatterne recall som den mer relevante metrikken, spesielt for re‑ranking; recall@10 måles ved å beregne hver spørrings 1 000 maks‑prikkprodukt‑datasettvektorer og sjekke hvilken andel av kvantisatorens estimerte topp‑10 som faller innenfor den faktiske topp‑10, gjennomsnittlig over alle spørringer. Tidsmålingene for koding i kunngjøringen ble innhentet på en Apple M2 Pro med 16 GB RAM ved bruk av seks tråder, med koding utført i biter og akselerert gjennom multitråding.

Forfatterne rapporterer at PQ og OPQ konsekvent ga den laveste rekonstruksjons‑MSE, at EDEN og E‑RaBitQ var sammenlignbare på recall, spesielt ved høyere bit‑budsjetter, og at EDEN kodet mye raskere enn PQ, OPQ og E‑RaBitQ, noe de beskriver som at den er en god kandidat for de fleste kvantisering‑applikasjoner.

Repository, verktøy og bidrag

The GitHub‑depot er MIT‑lisensiert og oppgir vedlikeholdere Amir Ingber og Edo Liberty fra Pinecone og Ashwin Padaki fra University of Pennsylvania. Den leverer et Rust‑basert kommandolinjeverktøy, vqb, hvis JSON‑kjøringskonfigurasjoner velger datasett, metoder og deres parametere, kvalitetsmål, k‑verdier for tilbakekalling, softmax‑temperaturer, en hoved‑seed, undersamplings‑antall og en trådtelling; et dry‑run‑flagg validerer en konfigurasjon før noe beregnes. En streaming‑modus behandler datasett som er større enn minnet ved å lese basisvektorer fra disk i blokker, 256 MB som standard.

Ifølge kunngjøringen godtar depotet to typer bidrag: nye kvantisatorer, som ofte er noen få linjer kode som omorganiserer primitive elementer som biblioteket allerede leverer, og nye primitive elementer som implementerer de seks grensesnittmetodene, som deretter komponerer med alle andre primitive i katalogen. Evalueringsrammeverket måler recall@k, rekonstruksjon‑ og poengfeil, bias, softmax‑KL og totalvariasjon, størrelse i biter per dimensjon, samt kode‑, poeng‑ og rekonstruksjonskostnad. Forfatterne beskriver denne utgivelsen som den første iterasjonen av VQ‑bench og sa at de vil legge til flere kvantisatorer over tid; korreksjoner kan sendes inn via depotets problemsporer, og den publiserte referansetestene oppdateres med jevne mellomrom med nye metoder innarbeidet.