نماذج ومنصات الذكاء الاصطناعي
Databricks تقدم البحث النصي الكامل والبحث المتجه إلى Lakebase Postgres

النقاط الرئيسيةتدمج Lakebase Search البحث الشعاعي وبحث BM25 داخل Postgres حتى يتجنب الوكلاء محرك بحث…
عرض المزيد
- تدمج Lakebase Search البحث الشعاعي وبحث BM25 داخل Postgres حتى يتجنب الوكلاء محرك بحث منفصل وخط أنابيب ETL.
- تدّعي Databricks أن lakebase_vector يضاعف الإنتاجية مقارنة بأفضل نظام تالٍ في معيار VectorDBBench 100M.
- تفرض pgvector ذاكرة مقيمة دائمة مكلفة لأن فهرس HNSW الخاص بها يتدهور بشدة بمجرد امتداده إلى القرص.
Databricks في 28 سبتمبر 2026، قدمت Lakebase Search، محرك بحث مدمج لقاعدة بيانات Lakebase Postgres الخاصة بها يُقدَّم عبر امتدادين: lakebase_vector للبحث عن أقرب الجيران التقريبي و lakebase_text لبحث النص الكامل BM25. كلا الامتدادين متاحان بشكل عام على AWS و Azure.
تتيح الامتدادات للمطورين تشغيل البحث الدلالي، والبحث بالكلمات المفتاحية، والبحث المختلط مباشرة داخل Postgres جنبًا إلى جنب مع البيانات التشغيلية. صرّح Databricks أن أنظمة OLTP التقليدية لم تُصمم لتلبية متطلبات البحث الخاصة بوكلاء الذكاء الاصطناعي، الذين يحتاجون إلى استرجاع منخفض الكمون وعالي الدقة وغالبًا ما يُجرون عمليات بحث متوازية ضخمة، وأن حل هذه المشكلة حتى الآن كان يعني ربط محرك بحث مستقل بقاعدة البيانات الأساسية عبر خط أنابيب ETL. وقالت الشركة إنها بنت Lakebase Search استنادًا إلى ملاحظات مئات العملاء في مرحلة التجريب.
نتائج القياس ونشر Conexiom
صرّحت Databricks بأن lakebase_vector يقدّم ضعف معدل النقل مقارنةً بالنظام التالي الأفضل في معيار VectorDBBench 100M، الذي يستخدم مجموعة بيانات LAION، وهو أرخص بأربع مرات من مزوّد Postgres السحابي الذي يستخدم pgvector، قبل توفيرات إضافية من التحجيم التلقائي. أفادت الشركة بأن زمن الاستجابة P99 كان 71 مللي ثانية بنسبة استدعاء 97%، مما يعني أن المحرك استرجع الجيران الحقيقيين بنجاح 97% من الوقت، وأشارت إلى أن pgvector و DiskANN تم اختبارهما فقط على مثيل سحابي كبير واحد.
كما أفادت Databricks بنتيجة عميل من Conexiom، الذي يُجري بحثًا مختلطًا BM25 على أكثر من 100 مليون صف بنصف البصمة الحاسوبية لإعداد pgvector السابق. وقالت الشركة إن تكاليف البنية التحتية لـ Conexiom انخفضت إلى ثلث ما كانت عليه وارتفع معدل النقل إلى خمسة أضعاف مقارنةً بـ pgvector.
قال جوردن فوفس، مهندس AI/ML في Conexiom: “توفر لنا Lakebase Search مستوى جديدًا تمامًا من القابلية للتوسع مقارنةً بـ pgvector، وتفتح إمكانات BM25 في قاعدة البيانات الخالية من الخوادم نفسها.” وأضاف: “نستخدم Lakebase لربط البيانات بوكلائنا على نطاق واسع.”
حدود Pgvector وراء التصميم
قال Databricks إن pgvector هو الامتداد الأكثر تثبيتًا في Lakebase Postgres، ووصف ثلاث نقاط ألم متكررة لاحظها من العملاء الذين يستخدمونه على نطاق واسع.
الأول هو التكلفة التي تتصاعد مع حجم البيانات بدلاً من الاستخدام. يحتفظ pgvector بفهرس HNSW في ذاكرة قاعدة البيانات، وبما أن بحث HNSW يعتمد على اجتياز الرسم البياني بوصول عشوائي، فإن الأداء ينخفض بمقدار 10 إلى 50 مرة بمجرد أن ينسكب الفهرس إلى القرص وتتحول الاستعلامات إلى سلاسل من القراءات العشوائية. يشغل المتجه ذو 768 بُعدًا من نوع float32 حوالي 3.3 كيلوبايت من الذاكرة بمجرد تضمين روابط الرسم البياني وعبء Postgres، لذا فإن فهرسًا يضم 100 مليون صف يتطلب تقريبًا 330 جيجابايت من الذاكرة العشوائية للبقاء مقيمًا، مُوفرًا بالكامل سواء تم استدعاؤه في الاستعلامات أم لا.
الثاني هو صيانة الفهرس. عندما ينسكب بناء إلى القرص، استغرق فهرس pgvector ما يقرب من 50 ساعة لإنشائه على مثيل سحابي قياسي، وفقًا لما صرح به Databricks، وتتعرض عمليات الكتابة لنفس الاختناق لأن إدخال متجه يتطلب اجتيازًا بوصول عشوائي وتعديل عدة طبقات من الرسم البياني. وبما أن HNSW لا يمتلك إعادة موازنة شاملة، فإن استعادة جودة البحث تعني تشغيل REINDEX كامل، وهي عملية تُقفل الجدول وتوقف عمليات الكتابة الإنتاجية.
الثالث هو أن استعلامًا واحدًا لا يمكن موازاته. يُنفّذ استعلام pgvector بواسطة عملية خلفية واحدة في Postgres، مما يترك مسح فهرس HNSW بدون أي موازاة. رفع الاستدعاء يتطلب زيارة المزيد من عقد الرسم البياني، مما يضيف قراءات عشوائية للذاكرة ومقارنات مسافة، مما يزيد من الكمون ويقلل عدد الاستعلامات في الثانية، لذا فإن توسيع معدل النقل يعني إضافة اتصالات قاعدة بيانات أو نسخ قراءة.
كيفية بناء Lakebase_vector
يفصل Lakebase Postgres بين التخزين والحوسبة: تُخزن البيانات الدائمة في تخزين كائنات سحابي منخفض التكلفة، بينما تُستخدم الذاكرة RAM وNVMe المحلي كذاكرات مؤقتة قصيرة الأمد تحتفظ بمجموعة العمل النشطة. فوق هذا الأساس، دمجت Databricks تقنيتين.
تجميع IVF الهرمي يجمع المتجهات في مجموعات تُخزن ككتل متجاورة. يُقَيِّم الاستعلام مراكز المجموعات في الذاكرة، ثم يقرأ فقط القليل من الكتل التي تبدو واعدة كقراءات متسلسلة كبيرة بدلاً من إجراء العديد من القفزات العشوائية. التكميم الثنائي، باستخدام طريقة RaBitQ، يضغط كل متجه إلى حوالي بت واحد لكل بُعد، أي أصغر بنحو 32 مرة من float32، لذا تقوم الاستعلامات بمسح الرموز المدمجة لتقليل المرشحين وإعادة ترتيب تلك القائمة المختصرة فقط مقابل المتجهات ذات الدقة الكاملة.
نظرًا لأن التصميم عديم الحالة، فإنه يتوسع إلى الصفر، وعند السكون يدفع المستخدمون فقط مقابل التخزين. أفادت Databricks بقياس P90 قدره 1.13 ثانية للاستعلام الأول بعد التحجيم إلى الصفر على مجموعة بيانات مكوّنة من 100 مليون متجه، كل منها 768 بُعدًا، وقالت إن 100 مليون متجه يمكن خدمتها على وحدة حوسبة Lakebase واحدة.
أثناء بناء الفهرس، تُدرَّب مراكز التجمع مرة واحدة فقط على عينة عشوائية صغيرة؛ ثم يُخصص كل متجه إلى أقرب مركز له، يُكمَّم، ويُكتب إلى الكتلة المناسبة كعملية مستقلة، بحيث يتوزع العمل على عدد الأنوية المتاحة. صرّح Databricks أن بنية LTAP الخاصة به تنقل بناء الفهارس من قاعدة البيانات الأساسية إلى محركات موزَّعة مثل Spark، مما يقلل أوقات البناء إلى دقائق، وأشار إلى أن المزيد سيأتي بشأن هذه القدرة. وبما أن الشروط تُطبق أثناء مسح الكتلة نفسه، فإن الاستعلامات المصفَّاة تتجنب جلب المرشحين الزائد وتحافظ على استرجاع عالٍ، ويتوازي استعلام واحد عبر أنوية المعالج.
بحث النص BM25 والاستعلامات المختلطة
أوضح Databricks أن بحث tsvector القياسي في Postgres يفتقر إلى سياق الصلة على مستوى المجموعة. يسند lakebase_text درجات للمصطلحات باستخدام التردد العكسي للوثائق على مستوى المتن كله، مما يمنح وزنًا أكبر للمصطلحات النادرة ذات النية العالية وأقل لكلمات الحشو الشائعة. كما يتحقق من حدود الدرجات العليا أثناء عبور الفهرس، متجاهلاً كتل القوائم المعكوسة الكاملة التي لا يمكن أن تؤثر على نتيجة أعلى K، وهو ما قالت الشركة إن ذلك يجعل الأداء أسرع من tsvector مع فهارس GIN.
يتيح الجمع بين الامتدادين البحث المختلط الأصلي داخل Postgres: يمكن لاستعلام واحد تطبيق شروط تصفية SQL عادية، وربط جداول تشغيلية حية، ودمج تقييم المتجه الدلالي مع صلة الكلمات المفتاحية BM25. صرّح Databricks أن النظام يتوسع من صف واحد إلى مليار متجه، ومن استعلام واحد في الثانية إلى آلاف الاستعلامات دون الحاجة إلى إعادة تخصيص يدوية، موضحًا أن التصميم موجه لوكلاء الذكاء الاصطناعي الذين يمكن لسير عملهم أن يُطلق آلاف طلبات الاسترجاع المتزامنة خلال ثوانٍ.
تُصنّف Databricks Lakebase Search للمستخدمين الذين يرغبون في دمج البيانات التشغيلية وبيانات البحث في قاعدة بيانات واحدة، بينما يظل Databricks AI Search محركها المُدار للاسترجاع الذي يعمل مباشرةً دون إعداد إضافي. تتوفر Lakebase Search بشكل عام على AWS وAzure؛ يمكن للمستخدمين الحاليين لـ Lakebase تمكين الامتدادات، ويمكن للمستخدمين الجدد الاشتراك في Lakebase.












