Pinecone Membuka Sumber Kerangka VQ-Bench Kuantisasi Vektor

Pinecone telah merilis VQ-bench, sebuah kerangka kerja sumber terbuka untuk membangun dan menguji metode kuantisasi vektor, dalam sebuah pengumuman 17 September 2026 oleh Ashwin Padaki, Amir Ingber, dan Edo Liberty. Rilis ini menyertakan situs web publik yang menampilkan benchmark berjalan untuk kuantisator populer dengan repositori GitHub berlisensi MIT serta sebuah makalah yang dipresentasikan pada VecDB@VLDB 2026.

Mengapa Pinecone Membuat Benchmark Kuantisasi

Kuantisasi vektor mengurangi jumlah bit yang diperlukan untuk menyimpan sebuah vektor, yang penulis gambarkan sebagai bagian penting dalam memelihara basis data vektor dan penting bagi baik basis data vektor maupun model bahasa besar. Pinecone telah menggunakan kuantisasi sejak prototipe pertamanya, dan penulis menulis bahwa ketika mereka mulai meninjau dan menguji penelitian terbaru, mereka menemukan bahwa setiap makalah mengevaluasi kinerja secara berbeda: metrik yang berbeda, dataset yang berbeda, dan perangkat keras target yang berbeda. Mereka mengatakan tidak dapat menemukan upaya sistematis apa pun untuk mengevaluasi metode terkemuka satu sama lain.

Premis proyek, sebagaimana dijelaskan penulis, adalah bahwa kebanyakan kuantisator yang dipublikasikan disusun dari sekumpulan kecil operasi primitif, sehingga membangun kuantisator dapat direduksi menjadi resep tentang primitif mana yang digunakan dan dalam urutan apa. makalah pendamping, yang diajukan ke arXiv pada 31 Juli 2026, menyatakan bahwa kerangka kerja menjelaskan tujuh primitif kuantisasi konseptual, menunjukkan cara menggabungkannya secara arbitrer, dan mengekspresikan kembali 25 kuantisator umum sebagai pipeline dari primitif‑primitif tersebut.

Bagaimana VQ-Bench Menyusun Kuantisator

Dalam VQ-bench, kuantisator adalah apa saja yang dapat mengambil sekumpulan vektor, mengompresnya, dan kemudian memulihkan informasi yang diinginkan nanti. Kuantisator harus mengimplementasikan empat metode: fit, yang mempelajari model dari sampel vektor dan opsional kueri; encode, yang mengembalikan kode per‑vektor berdasarkan model; reconstruct, yang membangun kembali vektor dari model dan kodenya; dan score, yang memperkirakan produk titik antara vektor kueri dan vektor yang telah dikodekan.

Sebuah primitif mengimplementasikan keempat metode yang sama plus dua lagi, apply dan apply_queries, yang menentukan bagaimana tahap menyerahkan data ke tahap berikutnya. Kedua metode tersebut membentuk kontrak chaining yang memungkinkan primitif disusun bersama. VQ-bench mengimplementasikan tiga kelompok primitif: kondisioner seperti Center, Normalize, PCA, dan RandomRotate; pembulat seperti CastUint, CastAngular, CastNormal, dan KMeans; serta pemisah seperti Segment.

Sebuah pipeline menghubungkan dua atau lebih primitif. Metode fit dan encode menggerakkan vektor maju melalui rantai, melakukan pekerjaan setiap tahap dan menggabungkan model yang dipelajari serta kode keluaran tiap tahap; reconstruct memulai dari tahap terakhir dan bergerak mundur, dengan setiap tahap menambahkan kembali kontribusinya; dan score pertama‑tama mendorong kueri maju melalui apply_queries sebelum menjalankan proses mundur yang sama. Kuantisator tidak harus berupa pipeline, karena apa saja yang mengimplementasikan empat metode tersebut memenuhi syarat, namun penulis melaporkan bahwa kebanyakan kuantisator yang dipublikasikan dapat diekspresikan sebagai pipeline primitif.

Pengumuman tersebut menggunakan E‑RaBitQ sebagai contoh pipeline empat primitif: Center, yang mengurangi vektor rata‑rata dataset dari setiap vektor; Normalize, yang menskala setiap vektor ke norma satu; rotasi acak yang menerapkan transformasi ortogonal atau Hadamard acak; dan cast angular yang menempelkan setiap vektor ke grid bilangan bulat b‑bit dengan membulatkan ke titik grid terdekat dalam sudut.

Pengaturan Benchmark dan Temuan yang Dilaporkan

Penulis mengevaluasi rangkaian 14 kuantisator pada lima dataset dari VIBE, menyajikan hasil terperinci untuk dua di antaranya: ArXiv, dengan 1,344,643 vektor dalam 768 dimensi, dan Yahoo, dengan 677,305 vektor dalam 384 dimensi. Hasil lengkap dipublikasikan di situs web benchmark proyek.

Mean squared error rekonstruksi, yang penulis sebut sebagai metrik tradisional untuk kuantisasi vektor dan penting untuk aplikasi seperti kompresi bobot LLM, diukur pada 1,000 vektor dataset yang dipilih secara acak sebagai rata‑rata jarak kuadrat antara setiap vektor dan rekonstruksinya. Untuk basis data vektor, penulis menggambarkan recall sebagai metrik yang lebih relevan, khususnya untuk peranking‑ulangan; recall@10 diukur dengan menghitung 1,000 vektor dataset dengan produk titik maksimum untuk setiap kueri dan memeriksa berapa proporsi dari 10 teratas yang diperkirakan kuantisator berada dalam 10 teratas yang sebenarnya, dirata‑rata atas semua kueri. Angka waktu encode dalam pengumuman diperoleh pada Apple M2 Pro dengan RAM 16 GB menggunakan enam thread, dengan proses encoding dilakukan dalam potongan dan dipercepat melalui multithreading.

Penulis melaporkan bahwa PQ dan OPQ secara konsisten menghasilkan MSE rekonstruksi terendah, bahwa EDEN dan E‑RaBitQ memiliki performa recall yang sebanding, terutama pada anggaran bit yang lebih tinggi, dan bahwa EDEN meng‑encode jauh lebih cepat daripada PQ, OPQ, dan E‑RaBitQ, yang mereka gambarkan sebagai menjadikannya kandidat yang baik untuk kebanyakan aplikasi kuantisasi.

Repositori, Alat, dan Kontribusi

Repositori GitHub repository berlisensi MIT dan mencantumkan pemelihara Amir Ingber dan Edo Liberty dari Pinecone serta Ashwin Padaki dari University of Pennsylvania. Ia menyertakan alat baris perintah berbasis Rust, vqb, yang konfigurasi JSON‑nya memilih dataset, metode dan parameternya, metrik kualitas, nilai k untuk recall, suhu softmax, seed utama, jumlah subsampling, dan jumlah thread; flag dry-run memvalidasi konfigurasi sebelum apa pun dihitung. Mode streaming memproses dataset yang lebih besar dari memori dengan membaca vektor dasar dari disk dalam blok, default 256 MB.

Repositori menerima dua jenis kontribusi, menurut pengumuman: kuantisator baru, yang biasanya hanya beberapa baris kode yang menyusun ulang primitif yang sudah disertakan perpustakaan, dan primitif baru yang mengimplementasikan enam metode antarmuka, yang kemudian berkomposisi dengan setiap primitif lain dalam katalog. Kerangka evaluasi mengukur recall@k, rekonstruksi dan kesalahan skor, bias, softmax KL dan total variation, ukuran dalam bit per dimensi, serta biaya enkoding, skor, dan rekonstruksi. Penulis menyebut rilis ini sebagai iterasi pertama VQ-bench dan mengatakan mereka akan menambahkan lebih banyak kuantisator seiring waktu; koreksi dapat diajukan melalui pelacak isu repositori, dan benchmark yang dipublikasikan diperbarui secara berkala dengan metode baru yang dimasukkan.