الذكاء الاصطناعي 101
ما هو بحث Vector Similarity Search & كيف يتم استخدامه؟
البحث الحديث عن البيانات هو مجال معقد. يُمثل بحث Vector Similarity Search أو VSS البيانات بعمق سياقي ويعيد معلومات أكثر صلة للمستهلكين استجابة لاستعلام بحث. لنأخذ مثالًا بسيطًا.
استعلامات البحث مثل “علم البيانات” و “الخيال العلمي” تشير إلى أنواع مختلفة من المحتوى على الرغم من أن كلاهما يحتوي على كلمة مشتركة (“علم”). كانت تقنية البحث التقليدية ستطابق العبارات الشائعة لإرجاع نتائج ذات صلة، والتي ستكون غير دقيقة في هذه الحالة. سيقوم بحث Vector Similarity Search بمراعاة نية البحث الفعلية ومعنى هذه استعلامات البحث لإرجاع استجابة أكثر دقة.
سيتم مناقشة جوانب مختلفة من بحث Vector Similarity Search في هذه المقالة، مثل مكوناته وتحدياته وفوائده وتطبيقاته. لنبدأ.
ما هو بحث Vector Similarity Search (VSS)؟
يجد بحث Vector Similarity Search ويسترد المعلومات المتشابهة سياقيًا من مجموعات كبيرة من البيانات المهيكلة أو غير المهيكلة عن طريق تحويلها إلى تمثيلات رقمية تعرف باسم متجهات أو تعبئات.
يمكن لـ VSS التعامل مع مجموعة متنوعة من صيغ البيانات، بما في ذلك الرقمية والفئوية والنصية والصورة والفيديو. يقوم بتحويل كل كائن في مجموعة البيانات إلى تمثيل متجه عالي الأبعاد يتوافق مع تنسيقه ذي الصلة (المتحدث عنه في القسم التالي).
عادة ما يجد VSS كائنات قابلة للمقارنة، مثل عبارات أو فقرات متشابهة، أو يجد صور متعلقة في أنظمة استرجاع الصور الواسعة. تستخدم الشركات الاستهلاكية الكبيرة مثل Amazon وeBay وSpotify هذه التقنية لتحسين نتائج البحث لملايين المستخدمين، أي تقديم محتوى ذي صلة الذي قد يرغب المستخدمون في شراءه أو مشاهدته أو استماعه.
المكونات الثلاث الرئيسية لبحث Vector Similarity Search
قبل أن نفهم كيف يعمل بحث Vector Similarity Search، لننظر إلى مكوناته الرئيسية. في المقام الأول، هناك ثلاثة مكونات أساسية لتنفيذ منهجية VSS فعالة:
- تعبئة المتجهات: تمثل التعبئة أنواع البيانات المختلفة في تنسيق رياضي، أي مصفوفة منضبطة أو مجموعة من الأرقام. تقوم بتحديد الأنماط في البيانات باستخدام الحسابات الرياضية.
- مقاييس المسافة أو التشابه: هذه هي الوظائف الرياضية التي تحسب مدى تشابه أو قرب متجهين.
- خوارزميات البحث: تساعد الخوارزميات في العثور على متجهات مشابهة لاستعلام بحث معين. على سبيل المثال، يتم استخدام خوارزمية K-Nearest Neighbors أو KNN بشكل متكرر في أنظمة البحث التي تمكّنها VSS لتحديد K متجهات في مجموعة بيانات هي الأكثر تشابهًا مع استعلام بحث معين.
الآن، لنناقش كيف تعمل هذه المكونات في نظام بحث.
كيف يعمل بحث Vector Similarity Search؟
الخطوة الأولى في تنفيذ بحث Vector Similarity Search هي تمثيل أو وصف الكائنات في مجموعة البيانات كتعبئة متجهات. يستخدم طرق تعبئة متجهات مختلفة، مثل GloVe و Word2vec و BERT، لتعيين الكائنات إلى فضاء المتجهات.
لكل تنسيق بيانات، مثل النص والصوت والفيديو، يبني VSS نماذج تعبئة مختلفة، ولكن النتيجة النهائية لهذا العملية هي تمثيل مصفوفة رقمية.
الخطوة التالية هي إنشاء فهرس يمكن أن يرتب الكائنات المتشابهة معًا باستخدام هذه التمثيلات الرقمية. تعمل خوارزمية مثل KNN كأساس لتنفيذ تشابه البحث. ومع ذلك، لترتيب المصطلحات المتشابهة، تستخدم أنظمة البحث طرقًا حديثة، مثل Locality Sensitive Hashing (LSH) و Approximate Nearest Neighbor (ANNOY).
كما أنه يحسب خوارزميات VSS مقياس التشابه أو المسافة، مثل المسافة الأوربية أو تشابه الكوزين أو تشابه Jaccard، لمقارنة جميع تمثيلات المتجهات في مجموعة البيانات وإرجاع محتوى متشابه استجابة لاستعلام بحث من المستخدم.
التحديات الرئيسية والفوائد لبحث Vector Similarity Search
بشكل عام، الهدف هو العثور على سمات مشتركة بين كائنات البيانات. ومع ذلك، يقدم هذا العملية عدة تحديات محتملة.
التحديات الرئيسية لتنفيذ VSS
- تقدم تقنيات تعبئة المتجهات ومقاييس التشابه نتائج مختلفة. اختيار التكوينات المناسبة لأنظمة البحث عن التشابه هو التحدي الرئيسي.
- لبASE كبير، يعد VSS مكلفًا حسابيًا ويتطلب وحدات معالجة الرسومات عالية الأداء لإنشاء فهارس كبيرة.
- قد لا تمثل المتجهات ذات الأبعاد الكثيرة هيكل البيانات وأساليب الاتصال الحقيقية بدقة. لذلك، يجب أن يكون عملية تعبئة المتجهات خالية من الخسارة، وهو تحدي.
حاليًا، تقنية VSS قيد التطوير المستمر والتحسين. ومع ذلك، يمكنها تقديم العديد من الفوائد لتجربة البحث لشركة أو منتج.
فوائد VSS
- يسمح VSS لأنظمة البحث بالعثور على كائنات متشابهة بسرعة فائقة على أنواع بيانات مختلفة.
- يضمن VSS إدارة الذاكرة بكفاءة منذ تحويل جميع كائنات البيانات إلى تعبئة رقمية يمكن للماكينات معالجتها بسهولة.
- يمكن لـ VSS تصنيف الكائنات على استعلامات بحث جديدة قد لا تكون النظام قد واجهتها من المستهلكين.
- يعد VSS طريقة ممتازة للتعامل مع البيانات الضعيفة والغير كاملة لأنه يمكن العثور على كائنات متشابهة سياقيًا حتى لو لم تكن مطابقة تمامًا.
- أهم شيء، يمكنه اكتشاف وتجميع الكائنات المتعلقة بمقياس (حجم بيانات متغير).
التطبيقات التجارية الرئيسية لبحث Vector Similarity Search
في الأعمال التجارية، يمكن لتقنية VSS ثورة في مجموعة واسعة من الصناعات والتطبيقات. بعض هذه التطبيقات تشمل:
- الإجابة على الأسئلة: يمكن لبحث Vector Similarity Search العثور على أسئلة متعلقة في مناقشات الأسئلة والإجابات التي تتشابه تقريبًا، مما يسمح بإجابات أكثر دقة وملاءمة للمستخدمين النهائيين.
- بحث الويب الدلالي: يمكن لبحث Vector Similarity Search العثور على وثائق أو صفحات ويب متعلقة بناءً على “قرب” تمثيلاتها المتجهات. يهدف إلى زيادة صلة نتائج البحث على الويب.
- توصيات المنتجات: يمكن لبحث Vector Similarity Search تقديم توصيات منتجات مخصصة بناءً على تاريخ تصفح أو بحث المستهلك.
- تقديم الرعاية الصحية بشكل أفضل: يستخدم باحثو الرعاية الصحية وممارسوها بحث Vector Similarity Search لتحسين التجارب السريرية من خلال تحليل تمثيلات متجهات الأبحاث الطبية ذات الصلة.
اليوم، لم يعد من الممكن إدارة وتحليل وبحث البيانات باستخدام تقنيات البحث التقليدية القائمة على SQL. يطرح مستهلكو الإنترنت استعلامات بحث معقدة على الويب – التي قد تبدو بسيطة للبشر ولكنها معقدة للغاية للأجهزة (محركات البحث) لفهمها. يعد فهم أشكال مختلفة من البيانات في تنسيق يمكن للماكينات فهمه تحديًا طويل الأمد للأجهزة.
يجعل بحث Vector Similarity Search من الممكن لأنظمة البحث فهم سياق المعلومات التجارية بشكل أفضل.
هل تريد قراءة المزيد من المحتوى المتعلق بالذكاء الاصطناعي؟ زر unite.ai.
