Pinecone يفتح المصدر لإطار VQ‑Bench لتكميم المتجهات

أصدرت Pinecone إطار VQ‑bench مفتوح المصدر لبناء وتقييم أساليب تكميم المتجهات، في إعلان 17 سبتمبر 2026 من قبل Ashwin Padaki وAmir Ingber وEdo Liberty. يرافق الإصدار موقعًا إلكترونيًا عامًا يستضيف معيارًا تشغيليًا للمقاييس للكمّامات الشائعة مع مستودع GitHub مرخص بترخيص MIT وورقة قُدّمت في VecDB@VLDB 2026.

لماذا قامت Pinecone بإنشاء معيار لتكميم المتجهات

يقلل تكميم المتجهات عدد البتات اللازمة لتخزين المتجه، وهو ما يصفه المؤلفون بأنه جزء حاسم من صيانة قواعد بيانات المتجهات ومهم لكل من قواعد بيانات المتجهات والنماذج اللغوية الكبيرة. استخدمت Pinecone التكميم منذ نماذجها الأولية، وكتب المؤلفون أنه عندما شرعوا في مسح وتقييم الأبحاث الحديثة، وجدوا أن كل ورقة تقيم الأداء بشكل مختلف: مقاييس مختلفة، مجموعات بيانات مختلفة، وأجهزة مستهدفة مختلفة. وقالوا إنهم لم يتمكنوا من العثور على أي محاولة منهجية لتقييم الأساليب الرائدة مقارنةً ببعضها.

الفرضية الأساسية للمشروع، كما يصفها المؤلفون، هي أن معظم الكمّامات المنشورة مُجمّعة من مجموعة صغيرة نسبيًا من العمليات الأولية، لذا يمكن تقليل بناء الكمّام إلى وصف للوصفات التي تحدد أي العمليات الأولية تُستخدم وبأي ترتيب. الورقة المصاحبة، التي قُدمت إلى arXiv في 31 يوليو 2026، تُشير إلى أن الإطار يصف سبع عمليات تكميم مفهومية، ويظهر كيفية تركيبها بشكل عشوائي، ويعيد صياغة 25 كمّامًا شائعًا كخطوط أنابيب لتلك العمليات.

كيف يُركّب VQ‑Bench الكمّامات

في VQ‑bench، يُعَدّ الكمّام أي شيء يمكنه أخذ مجموعة من المتجهات، ضغطها، واستعادة المعلومات المطلوبة لاحقًا. يجب على الكمّام تنفيذ أربع طرق: fit، التي تتعلم نموذجًا من عينة من المتجهات وتستقبل استعلامات اختيارية؛ encode، التي تُعيد رموزًا لكل متجه بناءً على النموذج؛ reconstruct، التي تُعيد بناء المتجه من النموذج ورمزه؛ وscore، التي تُقدّر حاصل الضرب النقطي بين متجه الاستعلام والمتجه المشفر.

تنفّذ العملية الأولية نفس الأربع طرق بالإضافة إلى طريقتين إضافيتين، apply وapply_queries، اللتين تحددان كيفية تمرير المرحلة للبيانات إلى المرحلة التالية. هاتان الطريقتان تشكّلان عقد السلسلة الذي يسمح بتركيب العمليات الأولية. يطبق VQ‑bench ثلاث مجموعات من العمليات الأولية: المُعَدّلات مثل Center وNormalize وPCA وRandomRotate؛ المُقَرّبات مثل CastUint وCastAngular وCastNormal وKMeans؛ والمقسّمات مثل Segment.

تسلسل الأنابيب يربط عمليتين أوليتين أو أكثر. طريتا fit وencode تمرّان المتجهات إلى الأمام عبر السلسلة، مُنفّذتين مهمة كل مرحلة ومُدمجتين النموذج المتعلم لكل مرحلة والرموز الناتجة؛ تبدأ طريقة reconstruct من المرحلة الأخيرة وتمشي إلى الخلف، حيث تُدمج كل مرحلة مساهمتها الخاصة؛ وتقوم طريقة score أولاً بدفع الاستعلام إلى الأمام عبر apply_queries قبل تنفيذ نفس المرور العكسي. لا يلزم أن يكون الكمّام أنبوبًا، إذ أن أي شيء يُنفّذ الأربع طرق يُعتبر مؤهلًا، لكن المؤلفون أفادوا أن معظم الكمّامات المنشورة يمكن تمثيلها كأنابيب من العمليات الأولية.

يُظهر الإعلان مثالًا عبر E‑RaBitQ كأنبوب مثال لأربع عمليات أولية: Center، التي تُطرح متوسط متجه مجموعة البيانات من كل متجه؛ Normalize، التي تُقوّم كل متجه إلى معيار الوحدة؛ دوران عشوائي يطبق تحويلًا عشوائيًا متعامدًا أو هادامارد؛ وتحويل زاوي يُقرب كل متجه إلى شبكة أعداد صحيحة ب‑بت عن طريق التقريب إلى أقرب نقطة شبكة في الزاوية.

إعداد المعيار والنتائج المبلغ عنها

قَيَّم المؤلفون مجموعة من 14 كمّامًا على خمس مجموعات بيانات من VIBE، مقدمين نتائج مفصلة لاثنتين منهما: ArXiv، التي تحتوي على 1,344,643 متجهًا في 768 بُعدًا، وYahoo، التي تحتوي على 677,305 متجهًا في 384 بُعدًا. تُنشر النتائج الكاملة على موقع الويب الخاص بالمعيار الخاص بالمشروع.

متوسط الخطأ التربيعي لإعادة الإعمار، الذي يُسميه المؤلفون المقياس التقليدي لتكميم المتجهات ومهم لتطبيقات مثل ضغط أوزان النماذج اللغوية الكبيرة، يُقاس على 1,000 متجه عشوائي من مجموعة البيانات كمتوسط المسافة التربيعية بين كل متجه وإعادة إعادته. بالنسبة لقواعد بيانات المتجهات، يصف المؤلفون الاستدعاء (recall) بأنه المقياس الأكثر صلة، خصوصًا لإعادة الترتيب؛ يُقاس recall@10 بحساب أعلى 1,000 متجه بمنتج نقطي لكل استعلام والتحقق من النسبة التي يقع فيها أعلى 10 تقديرات للكمّام ضمن أعلى 10 حقيقي، مُتوسطًا على جميع الاستعلامات. تم الحصول على أرقام زمن الترميز في الإعلان على جهاز Apple M2 Pro بذاكرة 16 جيجابايت RAM باستخدام ستة خيوط، حيث تم تنفيذ الترميز على دفعات وتسريعه عبر تعدد الخيوط.

أفاد المؤلفون أن PQ وOPQ قدّما باستمرار أقل متوسط خطأ تربيعي لإعادة الإعمار، وأن EDEN وE‑RaBitQ كانا متقاربين في الاستدعاء، خصوصًا عند ميزانيات البتات الأعلى، وأن EDEN قام بالترميز أسرع بكثير من PQ وOPQ وE‑RaBitQ، وهو ما وصفوه بأنه يجعله مرشحًا جيدًا لمعظم تطبيقات التكميم.

المستودع، الأدوات، والمساهمات

مستودع GitHub مرخص برخصة MIT ويذكر المشرفين أمير إنغبر وإدو ليبرتي من Pinecone وآشوين باداكي من جامعة بنسلفانيا. يتضمن أداة سطر أوامر مبنية على Rust تُدعى vqb، حيث تختار تكوينات التشغيل بتنسيق JSON مجموعات البيانات، والأساليب ومعلماتها، ومقاييس الجودة، وقيم k للاسترجاع، ودرجات حرارة softmax، وبذرة رئيسية، وعدد العينات الفرعية، وعدد الخيوط؛ علم تشغيل تجريبي (dry‑run) يتحقق من صحة التكوين قبل تنفيذ أي عملية. وضع البث يعالج مجموعات البيانات التي تتجاوز حجم الذاكرة بقراءة المتجهات الأساسية من القرص على شكل كتل، 256 ميغابايت افتراضيًا.

وفقًا للإعلان، يقبل المستودع نوعين من المساهمات: الكمّامات الجديدة، التي غالبًا ما تكون بضع أسطر من الشيفرة تعيد ترتيب البدائيات التي توفرها المكتبة بالفعل، والبدائيات الجديدة التي تُطبق الأساليب الستة للواجهة، والتي تُدمج بعد ذلك مع كل بدائية أخرى في الفهرس. تقيس أداة التقييم استدعاء@k، وإعادة البناء وخطأ التقييم، والتحيز، وsoftmax KL والتباين الكلي، والحجم بالبتات لكل بُعد، وتكلفة الترميز، والتقييم، وإعادة البناء. يصف المؤلفون هذا الإصدار بأنه التكرار الأول من VQ-bench وقالوا إنهم سيضيفون المزيد من الكمّامات مع مرور الوقت؛ يمكن تقديم التصحيحات عبر متعقب المشكلات في المستودع، ويتم تحديث معيار الأداء المنشور بانتظام مع دمج الأساليب الجديدة.