Η Pinecone ανοίγει κώδικα του πλαισίου διανυσματικής κβαντοποίησης VQ-Bench

Η Pinecone κυκλοφόρησε το VQ-bench, ένα ανοιχτό πλαίσιο για τη δημιουργία και αξιολόγηση μεθόδων διανυσματικής κβαντοποίησης, σε μια ανακοίνωση της 17 Σεπτεμβρίου 2026 από τους Ashwin Padaki, Amir Ingber και Edo Liberty. Η κυκλοφορία συνδυάζει έναν δημόσιο ιστότοπο που φιλοξενεί ένα ενεργό benchmark δημοφιλών κβαντοποιητών με αποθετήριο GitHub υπό άδεια MIT και ένα άρθρο που παρουσιάστηκε στο VecDB@VLDB 2026.

Γιατί η Pinecone δημιούργησε ένα benchmark κβαντοποίησης

Η διανυσματική κβαντοποίηση μειώνει τον αριθμό των bits που απαιτούνται για την αποθήκευση ενός διανύσματος, κάτι που οι συγγραφείς περιγράφουν ως κρίσιμο μέρος της διατήρησης μιας βάσης δεδομένων διανυσμάτων και ως σημαντικό τόσο για βάσεις δεδομένων διανυσμάτων όσο και για μεγάλα γλωσσικά μοντέλα. Η Pinecone χρησιμοποιεί κβαντοποίηση από τα πρώτα της πρωτότυπα, και οι συγγραφείς ανέφεραν ότι όταν ξεκίνησαν να ερευνήσουν και να αξιολογήσουν νεότερη έρευνα, διαπίστωσαν ότι κάθε άρθρο αξιολογεί την απόδοση διαφορετικά: διαφορετικές μετρικές, διαφορετικά σύνολα δεδομένων και διαφορετικό υλικό‑στόχο. Δήλωσαν ότι δεν μπόρεσαν να βρουν καμία συστηματική προσπάθεια να αξιολογηθεί η ηγετική μέθοδος έναντι της άλλης.

Η υπόθεση του έργου, όπως την περιγράφουν οι συγγραφείς, είναι ότι οι περισσότερες δημοσιευμένες κβαντοποιήσεις είναι συναρμολογημένες από ένα σχετικά μικρό σύνολο πρωτογενών λειτουργιών, έτσι η δημιουργία μιας κβαντοποίησης μπορεί να μειωθεί σε μια συνταγή για το ποιες πρωτογενείς λειτουργίες να χρησιμοποιηθούν και με ποια σειρά. Το συνοδευτικό άρθρο, που υποβλήθηκε στο arXiv στις 31 Ιουλίου 2026, δηλώνει ότι το πλαίσιο περιγράφει επτά εννοιολογικές πρωτογενείς κβαντοποίησης, δείχνει πώς να τις συνθέσουμε αυθαίρετα και επανεκφράζει 25 κοινές κβαντοποιήσεις ως αγωγούς αυτών των πρωτογενών.

Πώς το VQ-Bench συνθέτει κβαντοποιητές

Στο VQ-bench, ένας κβαντοποιητής είναι οτιδήποτε μπορεί να πάρει ένα σύνολο διανυσμάτων, να τα συμπιέσει και να ανακτήσει τις επιθυμητές πληροφορίες αργότερα. Ένας κβαντοποιητής πρέπει να υλοποιεί τέσσερις μεθόδους: fit, η οποία μαθαίνει ένα μοντέλο από ένα δείγμα διανυσμάτων και προαιρετικά ερωτήματα· encode, η οποία επιστρέφει κωδικούς ανά διάνυσμα με βάση το μοντέλο· reconstruct, η οποία ανασυνθέτει ένα διάνυσμα από το μοντέλο και τον κωδικό του· και score, η οποία εκτιμά το εσωτερικό γινόμενο μεταξύ ενός ερωτηματικού διανύσματος και ενός κωδικοποιημένου διανύσματος.

Μια πρωτογενής λειτουργία υλοποιεί τις ίδιες τέσσερις μεθόδους συν δύο ακόμη, apply και apply_queries, που καθορίζουν πώς το στάδιο παραδίδει τα δεδομένα στο επόμενο. Αυτές οι δύο μέθοδοι σχηματίζουν τη σύμβαση αλυσίδας που επιτρέπει τη σύνθεση των πρωτογενών. Το VQ-bench υλοποιεί τρεις ομάδες πρωτογενών: conditioners όπως Center, Normalize, PCA και RandomRotate· rounders όπως CastUint, CastAngular, CastNormal και KMeans· και splitters όπως Segment.

Ένας αγωγός συνδέει δύο ή περισσότερες πρωτογενείς. Οι μέθοδοι fit και encode προωθούν τα διανύσματα διαμέσου της αλυσίδας, εκτελώντας τη δουλειά κάθε σταδίου και συνενώνοντας το μοντέλο που έμαθε το στάδιο και τους κωδικούς εξόδου· η μέθοδος reconstruct ξεκινά από το τελευταίο στάδιο και προχωρά προς τα πίσω, με κάθε στάδιο να ενσωματώνει τη δική του συνεισφορά· και η μέθοδος score αρχικά προωθεί το ερώτημα μέσω apply_queries πριν εκτελέσει την ίδια αντίστροφη διέλευση. Ένας κβαντοποιητής δεν χρειάζεται να είναι αγωγός, καθώς οποιοδήποτε αντικείμενο υλοποιεί τις τέσσερις μεθόδους είναι επαρκές, αλλά οι συγγραφείς αναφέρουν ότι οι περισσότερες δημοσιευμένες κβαντοποιήσεις μπορούν να εκφραστούν ως αγωγοί πρωτογενών.

Η ανακοίνωση χρησιμοποιεί το E‑RaBitQ ως παράδειγμα αγωγού τεσσάρων πρωτογενών: Center, που αφαιρεί το μέσο διάνυσμα του συνόλου δεδομένων από κάθε διάνυσμα· Normalize, που κλιμακώνει κάθε διάνυσμα σε μοναδιαίο μέγεθος· μια τυχαία περιστροφή που εφαρμόζει τυχαίο ορθογώνιο ή Hadamard μετασχηματισμό· και μια γωνιακή μετατροπή που τοποθετεί κάθε διάνυσμα σε πλέγμα ακεραίων b‑bit στρογγυλοποιώντας στο πλησιέστερο σημείο του πλέγματος κατά γωνία.

Διαμόρφωση Benchmark και Αναφερόμενα Αποτελέσματα

Οι συγγραφείς αξιολόγησαν μια σειρά από 14 κβαντοποιητές σε πέντε σύνολα δεδομένων από το VIBE, παρουσιάζοντας λεπτομερή αποτελέσματα για δύο από αυτά: το ArXiv, με 1.344.643 διανύσματα σε 768 διαστάσεις, και το Yahoo, με 677.305 διανύσματα σε 384 διαστάσεις. Τα πλήρη αποτελέσματα δημοσιεύονται στον ιστότοπο benchmark του έργου.

Το μέσο τετραγωνικό σφάλμα ανακατασκευής (MSE), που οι συγγραφείς ονομάζουν την παραδοσιακή μετρική για τη διανυσματική κβαντοποίηση και είναι σημαντικό για εφαρμογές όπως η συμπίεση βαρών LLM, μετράται σε 1.000 τυχαία δειγματοληπθέντα διανύσματα του συνόλου δεδομένων ως ο μέσος τετραγωνικός αποστάσεων μεταξύ κάθε διανύσματος και της ανακατασκευής του. Για βάσεις δεδομένων διανυσμάτων, οι συγγραφείς περιγράφουν το recall ως τη πιο σχετική μετρική, ειδικά για επανακατάταξη· το recall@10 μετράται υπολογίζοντας για κάθε ερώτημα τα 1.000 διανύσματα του συνόλου δεδομένων με το μέγιστο εσωτερικό γινόμενο και ελέγχοντας ποιο ποσοστό των εκτιμώμενων κορυφαίων 10 του κβαντοποιητή βρίσκεται εντός των πραγματικών κορυφαίων 10, μέσο όρο για όλα τα ερωτήματα. Οι αριθμοί χρόνου κωδικοποίησης στην ανακοίνωση ελήφθησαν σε Apple M2 Pro με 16 GB RAM χρησιμοποιώντας έξι νήματα, με την κωδικοποίηση να γίνεται σε τμήματα και να επιταχύνεται μέσω πολυνηματισμού.

Οι συγγραφείς αναφέρουν ότι τα PQ και OPQ παρήγαγαν σταθερά το χαμηλότερο MSE ανακατασκευής, ότι τα EDEN και E‑RaBitQ ήταν συγκρίσιμα στο recall, ιδιαίτερα σε υψηλότερα προϋπολογισμένα bits, και ότι το EDEN κωδικοποιούσε πολύ πιο γρήγορα από τα PQ, OPQ και E‑RaBitQ, κάτι που το καθιστά καλό υποψήφιο για τις περισσότερες εφαρμογές κβαντοποίησης.

Αποθετήριο, Εργαλεία και Συνεισφορές

Το αποθετήριο GitHub είναι αδειοδοτημένο υπό MIT και παραθέτει τους συντηρητές Amir Ingber και Edo Liberty της Pinecone και τον Ashwin Padaki του Πανεπιστημίου της Πενσυλβανίας. Περιλαμβάνει ένα εργαλείο γραμμής εντολών βασισμένο σε Rust, το vqb, του οποίου οι ρυθμίσεις εκτέλεσης JSON επιλέγουν σύνολα δεδομένων, μεθόδους και τις παραμέτρους τους, μετρικές ποιότητας, τιμές k για ανάκληση, θερμοκρασίες softmax, κύριο σπόρο, αριθμούς υποδειγματοληψίας και αριθμό νημάτων· μια σημαία dry‑run επικυρώνει μια ρύθμιση πριν υπολογιστεί οτιδήποτε. Μια λειτουργία ροής επεξεργάζεται σύνολα δεδομένων μεγαλύτερα από τη μνήμη διαβάζοντας τους βασικούς διανύσματα από το δίσκο σε τμήματα των 256 MB εξ ορισμού.

Το αποθετήριο δέχεται δύο είδη συνεισφορών, σύμφωνα με την ανακοίνωση: νέους ποσοτικοποιητές, που συχνά αποτελούν λίγες γραμμές κώδικα που αναδιατάσσουν τις πρωτογενείς λειτουργίες που ήδη παρέχει η βιβλιοθήκη, και νέες πρωτογενείς λειτουργίες που υλοποιούν τις έξι μεθόδους διεπαφής, οι οποίες στη συνέχεια συνδυάζονται με κάθε άλλη πρωτογενή λειτουργία στον κατάλογο. Η πλατφόρμα αξιολόγησης μετρά το recall@k, την ανακατασκευή και το σφάλμα βαθμολογίας, την προκατάληψη, το softmax KL και τη συνολική διακύμανση, το μέγεθος σε bits ανά διάσταση, καθώς και το κόστος κωδικοποίησης, βαθμολόγησης και ανακατασκευής. Οι συγγραφείς περιγράφουν αυτήν την έκδοση ως την πρώτη επανάληψη του VQ‑bench και ανέφεραν ότι θα προσθέσουν περισσότερους ποσοτικοποιητές με την πάροδο του χρόνου· διορθώσεις μπορούν να υποβληθούν μέσω του συστήματος παρακολούθησης ζητημάτων του αποθετηρίου, και το δημοσιευμένο benchmark ανανεώνεται σε τακτική βάση με ενσωμάτωση νέων μεθόδων.