Pinecone maakt VQ‑Bench Vector Quantization Framework open source

Pinecone heeft VQ‑bench uitgebracht, een open‑source framework voor het bouwen en benchmarken van vector‑kwantisatiemethoden, in een aankondiging van 17 september 2026 door Ashwin Padaki, Amir Ingber en Edo Liberty. De release combineert een openbare website die een lopende benchmark van populaire kwantisatoren host met een MIT‑gelicentieerde GitHub‑repository en een paper gepresenteerd op VecDB@VLDB 2026.

Waarom Pinecone een kwantisatie‑benchmark heeft gebouwd

Vector‑kwantisatie vermindert het aantal bits dat nodig is om een vector op te slaan, wat de auteurs beschrijven als een cruciaal onderdeel van het onderhouden van een vector‑database en als belangrijk voor zowel vector-databases als grote taalmodellen. Pinecone maakt al sinds de eerste prototypes gebruik van kwantisatie, en de auteurs schreven dat toen ze nieuw onderzoek wilden inventariseren en benchmarken, ze ontdekten dat elk paper de prestaties op een andere manier evalueerde: verschillende meetwaarden, verschillende datasets en verschillende doel‑hardware. Ze zeiden dat ze geen systematische poging konden vinden om de toonaangevende methoden onderling te evalueren.

De veronderstelling van het project, zoals de auteurs die beschrijven, is dat de meeste gepubliceerde kwantisatoren zijn opgebouwd uit een relatief kleine set primitieve bewerkingen, zodat het bouwen van een kwantisator kan worden gereduceerd tot een recept van welke primitieve bewerkingen te gebruiken en in welke volgorde. Het bijbehorend paper, ingediend bij arXiv op 31 juli 2026, stelt dat het framework zeven conceptuele kwantisatie‑primitieven beschrijft, laat zien hoe ze willekeurig kunnen worden gecombineerd, en 25 gangbare kwantisatoren herschrijft als pijplijnen van die primitieven.

Hoe VQ‑Bench kwantisatoren samenstelt

In VQ‑bench is een kwantisator alles wat een set vectoren kan nemen, comprimeren en later de gewenste informatie kan herstellen. Een kwantisator moet vier methoden implementeren: fit, die een model leert van een steekproef van vectoren en eventueel queries; encode, die per‑vector‑codes retourneert op basis van het model; reconstruct, die een vector reconstrueert uit het model en de code; en score, die het inproduct schat tussen een query‑vector en een gecodeerde vector.

Een primitive implementeert dezelfde vier methoden plus twee extra, apply en apply_queries, die specificeren hoe de fase data doorgeeft aan de volgende. Deze twee methoden vormen het ketencontract dat het mogelijk maakt primitieve componenten te combineren. VQ‑bench implementeert drie groepen primitieve componenten: conditioners zoals Center, Normalize, PCA en RandomRotate; rounders zoals CastUint, CastAngular, CastNormal en KMeans; en splitters zoals Segment.

Een pijplijn schakelt twee of meer primitieve componenten aan elkaar. De fit‑ en encode‑methoden lopen de vectoren vooruit door de keten, voeren de taak van elke fase uit en concateneren het geleerde model en de output‑codes van elke fase; reconstruct start bij de laatste fase en loopt terug, waarbij elke fase zijn eigen bijdrage weer invoegt; en score duwt de query eerst vooruit via apply_queries voordat dezelfde terugwaartse pass wordt uitgevoerd. Een kwantisator hoeft geen pijplijn te zijn, aangezien alles wat de vier methoden implementeert in aanmerking komt, maar de auteurs melden dat de meeste gepubliceerde kwantisatoren kunnen worden weergegeven als pijplijnen van primitieve componenten.

De aankondiging werkt via E‑RaBitQ als een voorbeeld‑pijplijn van vier primitieve componenten: Center, die de gemiddelde dataset‑vector van elke vector aftrekt; Normalize, die elke vector schaalt naar een eenheidsnorm; een willekeurige rotatie die een willekeurige orthogonale of Hadamard‑transformatie toepast; en een angular cast die elke vector vastzet op een b‑bit gehele getal‑rooster door af te ronden naar het dichtstbijzijnde roosterpunt in hoek.

Benchmark‑opzet en gerapporteerde bevindingen

De auteurs evalueerden een reeks van 14 kwantisatoren op vijf datasets van VIBE, en presenteerden gedetailleerde resultaten voor twee daarvan: ArXiv, met 1.344.643 vectoren in 768 dimensies, en Yahoo, met 677.305 vectoren in 384 dimensies. De volledige resultaten zijn gepubliceerd op de benchmark‑website van het project.

Reconstructie‑mean‑squared‑error, die de auteurs de traditionele metriek voor vector‑kwantisatie noemen en die belangrijk is voor toepassingen zoals LLM‑gewichtcompressie, wordt gemeten op 1.000 willekeurig geselecteerde dataset‑vectoren als de gemiddelde kwadratische afstand tussen elke vector en zijn reconstructie. Voor vector‑databases beschrijven de auteurs recall als de relevantere metriek, specifiek voor herordening; recall@10 wordt gemeten door voor elke query de 1.000 dataset‑vectoren met de hoogste dot‑product te berekenen en te controleren welk deel van de door de kwantisator geschatte top‑10 binnen de werkelijke top‑10 valt, gemiddeld over alle queries. De encode‑tijdcijfers in de aankondiging werden verkregen op een Apple M2 Pro met 16 GB RAM met zes threads, waarbij codering in blokken werd uitgevoerd en werd versneld door multithreading.

De auteurs melden dat PQ en OPQ consequent de laagste reconstructie‑MSE opleverden, dat EDEN en E‑RaBitQ vergelijkbaar waren in recall, vooral bij hogere bit‑budgetten, en dat EDEN veel sneller codeerde dan PQ, OPQ en E‑RaBitQ, wat zij beschrijven als een goede kandidaat voor de meeste kwantisatietoepassingen.

Repository, tooling en bijdragen

De GitHub repository is MIT-licentie en vermeldt de maintainers Amir Ingber en Edo Liberty van Pinecone en Ashwin Padaki van de University of Pennsylvania. Het levert een op Rust gebaseerd command-line tool, vqb, waarvan de JSON-runconfiguraties datasets, methoden en hun parameters, kwaliteitsmetriek, k-waarden voor recall, softmax-temperaturen, een master‑seed, subsampling‑aantallen en een thread‑aantal selecteren; een dry‑run‑vlag valideert een configuratie voordat er iets wordt berekend. Een streaming‑modus verwerkt datasets die groter zijn dan het geheugen door basisvectoren van schijf in blokken te lezen, standaard 256 MB.

Volgens de aankondiging accepteert de repository twee soorten bijdragen: nieuwe quantizers, die vaak slechts enkele regels code zijn die primitives die de bibliotheek al levert herschikken, en nieuwe primitives die de zes interface‑methoden implementeren, die vervolgens met elke andere primitive in de catalogus combineren. De evaluatie‑harnas meet recall@k, reconstructie‑ en score‑fout, bias, softmax‑KL en totale variatie, grootte in bits per dimensie, en encode‑, score‑ en reconstructiekosten. De auteurs beschrijven deze release als de eerste iteratie van VQ-bench en zeiden dat ze na verloop van tijd meer quantizers zullen toevoegen; correcties kunnen worden ingediend via de issue‑tracker van de repository, en de gepubliceerde benchmark wordt regelmatig bijgewerkt met nieuwe methoden.