Pinecone publică în open source cadrul VQ-Bench pentru cuantificare vectorială

Pinecone a lansat VQ-bench, un cadru open-source pentru construirea și evaluarea metodelor de cuantificare vectorială, într-un anunțul din 17 septembrie 2026 de Ashwin Padaki, Amir Ingber și Edo Liberty. Lansarea este însoțită de un site public care găzduiește un benchmark în funcțiune al cuantizatoarelor populare, de un depozit GitHub licențiat sub MIT și de o lucrare prezentată la VecDB@VLDB 2026.

De ce Pinecone a construit un benchmark de cuantizare

Cuantizarea vectorială reduce numărul de biţi necesari pentru stocarea unui vector, pe care autorii o descriu ca o parte critică a menţinerii unei baze de date vectoriale şi ca fiind importantă atât pentru baze de date vectoriale, cât şi pentru modele lingvistice mari. Pinecone a folosit cuantizarea încă de la primele prototipuri, iar autorii au scris că, atunci când au început să revizuiască şi să evalueze cercetările recente, au constatat că fiecare lucrare evaluează performanţa diferit: metrici diferite, seturi de date diferite şi hardware ţintă diferit. Au afirmat că nu au găsit nicio încercare sistematică de a evalua metodele de top una faţă de alta.

Premisa proiectului, aşa cum o descriu autorii, este că majoritatea cuantizatoarelor publicate sunt asamblate dintr-un set relativ mic de operaţii primitive, astfel că construirea unui cuantizator poate fi redusă la o reţetă a primitivelor de utilizat şi în ce ordine. lucrarea însoţitoare, depusă la arXiv pe 31 iulie 2026, afirmă că cadrul descrie şapte primitive conceptuale de cuantizare, arată cum pot fi compuse arbitrar şi reexprimă 25 de cuantizatoare comune ca pipeline‑uri ale acelor primitive.

Cum compune VQ-Bench cuantizatoarele

În VQ-bench, un cuantizator este orice poate prelua un set de vectori, să îi comprime şi să recupereze informaţiile dorite ulterior. Un cuantizator trebuie să implementeze patru metode: fit, care învaţă un model dintr-un eşantion de vectori şi opţional interogări; encode, care returnează coduri per‑vector date modelului; reconstruct, care reconstruieşte un vector din model şi codul său; şi score, care estimează produsul scalar dintre un vector de interogare şi un vector codificat.

O primitivă implementează aceleaşi patru metode plus alte două, apply şi apply_queries, care specifică cum etapa transmite datele următoarei. Aceste două metode formează contractul de înlănțuire care permite compunerea primitivelor. VQ-bench implementează trei grupuri de primitive: condiţionatori precum Center, Normalize, PCA şi RandomRotate; rotitori precum CastUint, CastAngular, CastNormal şi KMeans; şi separatori precum Segment.

Un pipeline înlănţuieşte două sau mai multe primitive. Metodele fit şi encode parcurg vectorii înainte prin lanţ, executând sarcina fiecărei etape şi concatenând modelul învăţat şi codurile de ieşire ale fiecărei etape; reconstruct începe de la ultima etapă şi parcurge înapoi, fiecare etapă reintegrând propria contribuţie; şi score mai întâi împinge interogarea înainte prin apply_queries înainte de a rula aceeaşi trecere înapoi. Un cuantizator nu trebuie să fie un pipeline, deoarece orice implementare a celor patru metode este eligibilă, dar autorii raportează că majoritatea cuantizatoarelor publicate pot fi exprimate ca pipeline‑uri de primitive.

Anunţul ilustrează E‑RaBitQ ca un exemplu de pipeline cu patru primitive: Center, care scade vectorul mediu al setului de date din fiecare vector; Normalize, care scalează fiecare vector la normă unită; o rotaţie aleatoare care aplică o transformare ortogonală sau Hadamard aleatoare; şi o conversie unghiulară care fixează fiecare vector pe o reţea de numere întregi pe b biţi prin rotunjirea la cel mai apropiat punct de reţea în unghi.

Configurarea benchmark‑ului și constatări raportate

Autorii au evaluat un set de 14 cuantizatoare pe cinci seturi de date din VIBE, prezentând rezultate detaliate pentru două dintre ele: ArXiv, cu 1,344,643 de vectori în 768 de dimensiuni, şi Yahoo, cu 677,305 vectori în 384 de dimensiuni. Rezultatele complete sunt publicate pe site‑ul de benchmark al proiectului.

Eroarea medie pătratică de reconstrucţie, pe care autorii o numesc metrica tradiţională pentru cuantizarea vectorială şi este importantă pentru aplicaţii precum comprimarea greutăţilor LLM, este măsurată pe 1,000 de vectori aleşi aleator din setul de date ca media distanţei pătratice dintre fiecare vector şi reconstrucţia sa. Pentru bazele de date vectoriale, autorii descriu recall‑ul ca metrica mai relevantă, în special pentru reordonare; recall@10 este măsurat prin calcularea pentru fiecare interogare a celor 1,000 de vectori din setul de date cu produsul scalar maxim şi verificarea ce fracţiune din top‑10 estimat de cuantizator se află în top‑10 real, media peste toate interogările. Valorile de timp de codare din anunţ au fost obţinute pe un Apple M2 Pro cu 16 GB RAM utilizând şase fire de execuţie, cu codarea efectuată în blocuri şi accelerată prin multithreading.

Autorii raportează că PQ şi OPQ au produs în mod constant cea mai mică eroare medie pătratică de reconstrucţie, că EDEN şi E‑RaBitQ au fost comparabile în ceea ce priveşte recall‑ul, în special la bugete de biţi mai mari, şi că EDEN a codificat mult mai rapid decât PQ, OPQ şi E‑RaBitQ, pe care îl descriu ca fiind un candidat bun pentru majoritatea aplicaţiilor de cuantizare.

Depozit, instrumente şi contribuţii

Depozitul depozitul GitHub este licențiat sub MIT și enumeră mentenanții Amir Ingber și Edo Liberty de la Pinecone și Ashwin Padaki de la University of Pennsylvania. Acesta furnizează un instrument de linie de comandă bazat pe Rust, vqb, ale cărui configurații de rulare JSON selectează seturi de date, metode și parametrii acestora, metrici de calitate, valori k pentru recall, temperaturi softmax, o sămânță principală, numărări de subsampling și un număr de fire; un indicator de rulare de probă validează o configurație înainte de a se calcula ceva. Un mod de streaming procesează seturi de date mai mari decât memoria citind vectorii de bază de pe disc în blocuri, de 256 MB implicit.

Depozitul acceptă două tipuri de contribuții, conform anunțului: noi cuantizatoare, care sunt adesea câteva linii de cod ce reordonează primitivele pe care biblioteca le furnizează deja, și noi primitive care implementează cele șase metode ale interfeței, care apoi se compun cu fiecare altă primitivă din catalog. Platforma de evaluare măsoară recall@k, reconstrucție și eroare de scor, bias, KL softmax și variație totală, dimensiunea în biți pe dimensiune, precum și costurile de codare, scor și reconstrucție. Autorii descriu această lansare ca prima iterație a VQ-bench și au declarat că vor adăuga mai multe cuantizatoare în timp; corecțiile pot fi depuse prin tracker‑ul de probleme al depozitului, iar benchmark‑ul publicat este actualizat periodic cu noi metode integrate.