Pinecone ने VQ-Bench वेक्टर क्वांटाइज़ेशन फ्रेमवर्क को ओपन‑सोर्स किया

Pinecone ने VQ-bench, एक ओपन‑सोर्स फ्रेमवर्क जो वेक्टर क्वांटाइज़ेशन विधियों का निर्माण और बेंचमार्किंग करता है, को 17 सितंबर, 2026 घोषणा में Ashwin Padaki, Amir Ingber, और Edo Liberty द्वारा जारी किया। यह रिलीज़ एक सार्वजनिक वेबसाइट के साथ जुड़ी है जो लोकप्रिय क्वांटाइज़र का चल रहा बेंचमार्क होस्ट करती है, साथ ही MIT‑लाइसेंस वाला GitHub रिपॉजिटरी और VecDB@VLDB 2026 में प्रस्तुत पेपर।

Pinecone ने क्वांटाइज़ेशन बेंचमार्क क्यों बनाया

वेक्टर क्वांटाइज़ेशन वेक्टर को संग्रहीत करने के लिए आवश्यक बिट्स की संख्या को कम करता है, जिसे लेखक एक महत्वपूर्ण भाग के रूप में वर्णित करते हैं जो वेक्टर डेटाबेस और बड़े भाषा मॉडलों दोनों को बनाए रखने में आवश्यक है। Pinecone ने अपने पहले प्रोटोटाइप से ही क्वांटाइज़ेशन का उपयोग किया है, और लेखकों ने लिखा कि जब उन्होंने नवीनतम शोध का सर्वेक्षण और बेंचमार्क करने का प्रयास किया, तो उन्होंने पाया कि प्रत्येक पेपर प्रदर्शन को अलग-अलग तरीके से मूल्यांकित करता है: अलग-अलग मेट्रिक्स, अलग-अलग डेटासेट, और अलग-अलग लक्ष्य हार्डवेयर। उन्होंने कहा कि वे प्रमुख विधियों की आपस में तुलना करने के लिए कोई व्यवस्थित प्रयास नहीं पा सके।

परियोजना की धारणाएँ, जैसा कि लेखक वर्णन करते हैं, यह है कि अधिकांश प्रकाशित क्वांटाइज़र अपेक्षाकृत छोटे सेट के मूलभूत ऑपरेशनों से बने होते हैं, इसलिए क्वांटाइज़र बनाना यह तय करने की रेसिपी में घटित किया जा सकता है कि कौन से प्रिमिटिव उपयोग किए जाएँ और किस क्रम में। सहायक पेपर, जो 31 जुलाई, 2026 को arXiv पर सबमिट किया गया, बताता है कि फ्रेमवर्क सात अवधारणात्मक क्वांटाइज़ेशन प्रिमिटिव का वर्णन करता है, दिखाता है कि उन्हें मनचाहे रूप में कैसे संयोजित किया जा सकता है, और 25 सामान्य क्वांटाइज़र को उन प्रिमिटिव के पाइपलाइन के रूप में पुनः व्यक्त करता है।

VQ-Bench क्वांटाइज़र को कैसे संयोजित करता है

VQ-bench में, एक क्वांटाइज़र वह कोई भी चीज़ है जो वेक्टरों के सेट को ले सके, उन्हें संकुचित कर सके, और बाद में आवश्यक जानकारी पुनः प्राप्त कर सके। एक क्वांटाइज़र को चार विधियों को लागू करना आवश्यक है: fit, जो वेक्टरों के नमूने से मॉडल सीखता है और वैकल्पिक रूप से क्वेरी करता है; encode, जो मॉडल के आधार पर प्रति‑वे़क्टर कोड लौटाता है; reconstruct, जो मॉडल और उसके कोड से वेक्टर को पुनः बनाता है; और score, जो क्वेरी वेक्टर और कोडेड वेक्टर के बीच डॉट प्रोडक्ट का अनुमान लगाता है।

एक प्रिमिटिव वही चार विधियों के साथ दो अतिरिक्त विधियों, apply और apply_queries, को लागू करता है, जो निर्धारित करती हैं कि चरण डेटा को अगले चरण को कैसे सौंपता है। ये दो विधियाँ चेनिंग अनुबंध बनाती हैं जो प्रिमिटिव को संयोजित करने की अनुमति देती हैं। VQ-bench तीन समूहों के प्रिमिटिव को लागू करता है: कंडीशनर जैसे Center, Normalize, PCA, और RandomRotate; राउंडर जैसे CastUint, CastAngular, CastNormal, और KMeans; तथा स्प्लिटर जैसे Segment।

एक पाइपलाइन दो या अधिक प्रिमिटिव को जोड़ती है। fit और encode विधियाँ वेक्टरों को चेन के माध्यम से आगे ले जाती हैं, प्रत्येक चरण का कार्य करती हैं और प्रत्येक चरण के सीखे हुए मॉडल और आउटपुट कोड को जोड़ती हैं; reconstruct अंतिम चरण से शुरू होकर पीछे की ओर चलती है, जहाँ प्रत्येक चरण अपना योगदान वापस जोड़ता है; और score पहले क्वेरी को apply_queries के माध्यम से आगे धकेलता है, फिर वही पीछे की पास चलाता है। क्वांटाइज़र को पाइपलाइन होने की आवश्यकता नहीं है, क्योंकि चार विधियों को लागू करने वाली कोई भी चीज़ योग्य है, लेकिन लेखकों ने बताया कि अधिकांश प्रकाशित क्वांटाइज़र को प्रिमिटिव के पाइपलाइन के रूप में व्यक्त किया जा सकता है।

यह घोषणा E‑RaBitQ को चार प्रिमिटिव के उदाहरण पाइपलाइन के रूप में उपयोग करती है: Center, जो प्रत्येक वेक्टर से औसत डेटासेट वेक्टर घटाता है; Normalize, जो प्रत्येक वेक्टर को इकाई मानक पर स्केल करता है; एक रैंडम रोटेशन जो यादृच्छिक ऑर्थोगोनल या हैडामार्ड ट्रांसफ़ॉर्म लागू करता है; और एक एंगलर कास्ट जो प्रत्येक वेक्टर को b‑बिट पूर्णांक ग्रिड पर निकटतम एंगल ग्रिड पॉइंट को राउंड करके स्नैप करता है।

बेंचमार्क सेटअप और रिपोर्ट किए गए निष्कर्ष

लेखकों ने VIBE के पाँच डेटासेट पर 14 क्वांटाइज़र का एक समूह मूल्यांकन किया, और उनमें से दो के विस्तृत परिणाम प्रस्तुत किए: ArXiv, जिसमें 1,344,643 वेक्टर 768 आयामों में हैं, और Yahoo, जिसमें 677,305 वेक्टर 384 आयामों में हैं। पूर्ण परिणाम परियोजना की बेंचमार्क वेबसाइट पर प्रकाशित हैं।

पुनर्निर्माण माध्य वर्ग त्रुटि, जिसे लेखक वेक्टर क्वांटाइज़ेशन के पारम्परिक मीट्रिक और LLM वज़न संपीड़न जैसी अनुप्रयोगों के लिए महत्वपूर्ण मानते हैं, 1,000 यादृच्छिक रूप से चुने गए डेटासेट वेक्टरों पर मापी जाती है, जहाँ प्रत्येक वेक्टर और उसके पुनर्निर्माण के बीच औसत वर्ग दूरी ली जाती है। वेक्टर डेटाबेस के लिए, लेखक रिकॉल को अधिक प्रासंगिक मीट्रिक के रूप में वर्णित करते हैं, विशेष रूप से री‑रैंकिंग के लिए; recall@10 को प्रत्येक क्वेरी के 1,000 अधिकतम डॉट‑प्रोडक्ट डेटासेट वेक्टरों की गणना करके और क्वांटाइज़र के अनुमानित टॉप‑10 में से वास्तविक टॉप‑10 में कितने प्रतिशत आते हैं, सभी क्वेरीज़ पर औसत लेकर मापा जाता है। घोषणा में एन्कोड‑टाइम आँकड़े Apple M2 Pro पर 16GB RAM और छह थ्रेड्स का उपयोग करके प्राप्त किए गए थे, जहाँ एन्कोडिंग को टुकड़ों में किया गया और मल्टी‑थ्रेडिंग द्वारा तेज किया गया।

लेखकों ने बताया कि PQ और OPQ लगातार सबसे कम पुनर्निर्माण MSE उत्पन्न करते हैं, कि EDEN और E‑RaBitQ रिकॉल में तुलनीय थे, विशेष रूप से उच्च बिट बजट पर, और कि EDEN ने PQ, OPQ और E‑RaBitQ की तुलना में एन्कोडिंग बहुत तेज़ की, जिसे उन्होंने अधिकांश क्वांटाइज़ेशन अनुप्रयोगों के लिए एक अच्छा उम्मीदवार माना।

रिपॉजिटरी, टूलिंग, और योगदान

The GitHub रिपॉजिटरी MIT-licensed है और Pinecone के Amir Ingber और Edo Liberty तथा University of Pennsylvania के Ashwin Padaki को मेंटेनर के रूप में सूचीबद्ध करता है। यह एक Rust-आधारित कमांड‑लाइन टूल vqb प्रदान करता है, जिसकी JSON रन कॉन्फ़िगरेशन डेटा सेट, विधियों और उनके पैरामीटर, गुणवत्ता मीट्रिक, रिकॉल के लिए k मान, सॉफ्टमैक्स तापमान, एक मास्टर सीड, सबसैंपलिंग काउंट और थ्रेड काउंट चुनती है; एक ड्राई‑रन फ़्लैग किसी भी गणना से पहले कॉन्फ़िगरेशन को मान्य करता है। एक स्ट्रीमिंग मोड मेमोरी से बड़े डेटा सेट को डिस्क से बेस वेक्टर को ब्लॉकों में, डिफ़ॉल्ट रूप से 256 MB, पढ़कर प्रोसेस करता है।

घोषणा के अनुसार, रिपॉजिटरी दो प्रकार के योगदान स्वीकार करता है: नए क्वांटाइज़र, जो अक्सर लाइब्रेरी में पहले से मौजूद प्रिमिटिव्स को पुनः क्रमबद्ध करने वाले कुछ कोड पंक्तियों होते हैं, और नए प्रिमिटिव्स जो छह इंटरफ़ेस मेथड्स को लागू करते हैं, जो तब कैटलॉग में मौजूद प्रत्येक अन्य प्रिमिटिव के साथ संयोजित होते हैं। मूल्यांकन हर्नेस recall@k, पुनर्निर्माण और स्कोर त्रुटि, बायस, सॉफ्टमैक्स KL और टोटल वैरिएशन, प्रति आयाम बिट्स में आकार, तथा एन्कोड, स्कोर और पुनर्निर्माण लागत को मापता है। लेखक इस रिलीज़ को VQ-bench का पहला संस्करण बताते हैं और कहते हैं कि वे समय के साथ अधिक क्वांटाइज़र जोड़ेंगे; सुधार रिपॉजिटरी के इश्यू ट्रैकर के माध्यम से दर्ज किए जा सकते हैं, और प्रकाशित बेंचमार्क को नियमित अंतराल पर नए तरीकों को शामिल करके अपडेट किया जाता है।