إحضار التماثلات البصرية إلى الذكاء الاصطناعي

تفتقر نماذج الذكاء الاصطناعي الحالية إلى التعرف على التشابهات “العلاقية” في الصور، مثل التشابه بين طبقات الأرض و الخوخ، مما يفتقر إلى جانب أساسي من كيفية تصور البشر للصور.

على الرغم من وجود العديد من نماذج الرؤية الحاسوبية القادرة على مقارنة الصور وإيجاد التشابهات بينها، إلا أن الجيل الحالي من الأنظمة المقارنة تفتقر إلى القدرة على التخيل. فكر في بعض كلمات الأغنية الكلاسيكية في الستينيات، Windmills of Your Mind:

مثل دوار الكرسي الذي يدور، يجري حول القمر
مثل ساعة يد تجري حول دقائق وجهها
والعالم مثل التفاحة التي تدور صامتة في الفضاء

تجسد هذه المقارنات مجالًا من الإشارات الشعرية التي لها معنى للبشر بطريقة تتجاوز التعبير الفني؛ بل هي مرتبطة بطورنا لنظام الإدراك؛ حيث نطور قدرة على التشابه البصري، بحيث – على سبيل المثال – مقاطع عرضية لخوخ والكرة الأرضية، أو التكرارات الكسيرية مثل دوامات القهوة وفرع الغالاكسي، تسجل كمتشابهة معنا.

بهذه الطريقة، يمكننا استنتاج الاتصالات بين الكائنات غير المرتبطة ونوع الكائنات، و استنتاج النظم (مثل الجاذبية والزخم والتماسك السطحي) التي يمكن تطبيقها على مجموعة متنوعة من المجالات بمستويات مختلفة.

رؤية الأشياء

حتى أحدث جيل من أنظمة مقارنة الصور، مثل LPIPS و DINO، والتي يتم إعلامها من خلال反馈 بشري، تقوم فقط بمقارنات سطحية.

قدرتها على إيجاد الوجوه حيث لا توجد – أي باريدوليا – لا تمثل نوع الآليات المماثلة البصرية التي يطورها البشر، ولكنها تحدث لأن خوارزميات البحث عن الوجه تستخدم ميزات هيكل الوجه منخفضة المستوى الميزات التي تتوافق أحيانًا مع الأشياء العشوائية:

أمثلة على الإيجابيات الكاذبة للتعرف على الوجه في مجموعة “الوجوه مع الأشياء”. مصدر مصدر

لتحديد ما إذا كان بإمكان الآلات تطوير قدرة تخيلية للاعتراف بالتشابه البصري عبر المجالات، أجريت دراسة في الولايات المتحدة حول التشابه البصري العلاقي، حيث تم تجميع وتدريب مجموعة بيانات جديدة مصممة لفرض علاقات مجردة بين كائنات مختلفة متصلة بعلاقة مجردة:

معظم نماذج الذكاء الاصطناعي تعترف بالتشابه فقط عند مشاركة الصور سمات السطح مثل الشكل أو اللون، وهو السبب في ربطها فقط المجموعة ب مع المرجع. من ناحية أخرى، يرى البشر أيضًا المجموعة أ تشابهًا – ليس لأن الصور تشبه بعضها البعض، ولكن لأنها تتبع نفس المنطق الكامن، مثل إظهار تحول مع مرور الوقت. يحاول العمل الجديد إعادة إنتاج هذا النوع من التشابه الهيكلي أو العلاقي، بهدف جعل إدراك الآلة أقرب إلى التفكير البشري. مصدر

نظام التسمية الذي تم تطويره لمجموعة البيانات يسهل تسميات مجردة غير عادية، مصممة لفرض على نظم الذكاء الاصطناعي التركيز على سمات القاعدة بدلاً من التفاصيل المحلية المحددة:

التسميات المجردة المتوقعة التي تساهم في مقياس “relsim” للمؤلفين.

المجموعة المجمعة وأسلوب التسمية غير العادي يغذي مقياس المؤلفين الجديد المقترح relsim، الذي تم تحسينه في نموذج رؤية-لغة (VLM).

مقارنة بين أسلوب التسمية في مجموعات البيانات التقليدية، التي تركز على التشابه السمة، وأسلوب “relsim” (الصف السفلي) الذي يؤكد على التشابه العلاقي.

ينصب التركيز الجديد على منهجيات من العلوم المعرفية، ولا سيما نظرية التشابه الهيكلي (دراسة التشابه) و تعريف التشابه العلاقي و السمة.

من موقع المشروع المرتبط، مثال على التشابه العلاقي. مصدر

يصرح المؤلفون:

‘[البشر] يعالجون التشابه السمة إدراكيًا، ولكن التشابه العلاقي يتطلب تجريد مفهومي، غالبًا مدعومًا باللغة أو المعرفة السابقة. هذا يشير إلى أن الاعتراف بالتشابه العلاقي يتطلب أولًا فهم الصورة، والاستفادة من المعرفة، وتجريد هيكلها الكامن.’

الورقة الجديدة بعنوان التشابه البصري العلاقي، وتأتي مع موقع مشروع (انظر الفيديو المضمن في نهاية هذه المقالة).

الطريقة

استخدم الباحثون واحدة من مجموعات البيانات الهائبة الأكثر شهرة ك điểm بداية لمجموعتهم – LAION-2B:

معلومات وصفية لمدخلة في مجموعة LAION-2B. مصدر

تم استخراج 114,000 صورة تحتوي على هياكل علاقة مرنة من LAION-2B، بما في ذلك تصفية الصور منخفضة الجودة الموجودة في مجموعة البيانات القليلة التحضير.

لإنشاء خط أنابيب لعمليات اختيار هذه الصور، استخدم المؤلفون Qwen2.5-VL-7B، مع 1,300 مثال إيجابي و 11,000 مثال سلبي تمت تسميته من قبل البشر:

نظام “relsim” يتدرب في ثلاث مراحل: تصفية الصور من LAION-2B للعلاقة؛ تعيين تسمية مجردة مشتركة لكل مجموعة تلتقط منطقها الكامن؛ وتعلم ربط الصور بتلك التسميات باستخدام خسارة تقابلية.

تنص الورقة على ما يلي:

‘تم توجيه المُصنّفين: “هل يمكنك رؤية أي نمط علاقي أو منطق أو هيكل في هذه الصورة يمكن أن يكون مفيدًا لإنشاء أو ربط صورة أخرى؟”. النموذج المُحسّن يصل إلى اتفاقية بنسبة 93٪ مع أحكام البشر، وعند تطبيقه على LAION-2B، ينتج عنه N = 114k صورة تم تحديدها على أنها مثيرة للاهتمام علاقيًا.’

لгенерации تسميات علاقة، حث الباحثون نموذج Qwen على وصف المنطق المشترك بين مجموعات الصور دون تسمية كائنات محددة. كانت هذه التجريد صعبة الحصول عليها عندما رأى النموذج صورة واحدة، ولكنها أصبحت قابلة للتحقيق عندما أظهرت عدة أمثلة النمط الكامن.

استُخدمت التسميات المجردة الناتجة لتحل محل المصطلحات المحددة بمحاذير مثل ‘{الموضوع}’ أو ‘{نوع الحركة}’، مما يجعلها قابلة للتطبيق على نطاق واسع.

بعد التحقق البشري، تم ربط كل تسمية بجميع الصور في مجموعتها. تم استخدام أكثر من 500 مجموعة من هذا القبيل لتدريب النموذج، الذي تم تطبيقه بعد ذلك على 114,000 صورة تمت تصفيتها لإنتاج مجموعة كبيرة من عينات تمت تسجيلها بشكل مجرد وعلاقي.

البيانات والاختبارات

بعد استخراج الميزات العلاقة باستخدام Qwen2.5-VL-7B، تم تحسين نموذج باستخدام LoRA، لمدة 15,000 خطوة، عبر ثمانية A100*. للجانب النصي، تم تضمين تسميات علاقة باستخدام all-MiniLM-L6-v2 من مكتبة Sentence-Transformers.

تم تقسيم مجموعة البيانات البالغ عدد عناصرها 114,000 صورة تمت تسميتها إلى 100,000 لتدريب و 14,000 لتقييم. لاختبار النظام، تم استخدام إعداد استرجاع: عند صورة استعلام، كان على النموذج إيجاد صورة أخرى من مجموعة تضم 28,000 عنصر تعبر عن نفس الفكرة العلاقة. 포함ت مجموعة الاسترجاع 14,000 صورة تقييم و 14,000 نموذج إضافي من LAION-2B، مع 1,000 استعلام تم اختياره عشوائيًا من مجموعة التقييم للاختبار.

لتحديد جودة الاسترجاع، تم استخدام GPT-4o لتقييم التشابه العلاقي بين كل استعلام و صورة تم استرجاعها على مقياس من 0 إلى 10. كما تم إجراء دراسة بشرية منفصلة لتقييم تفضيل المستخدم (انظر أدناه).

تم عرض كل مشارك على صورة استعلام مجهولة الهوية مع مرشحين، أحدهما تم استرجاعه بواسطة الطريقة المقترحة، والآخر بواسطة خط أساس. سُئل المشاركون عن أي صورة أكثر تشابهًا علاقيًا مع الاستعلام، أو إذا كانت كلا الصورتين متساويتين في القرب. تم إنشاء 300 ثلاثية لكل خط أساس وتم تقييمها من قبل ثلاثة أشخاص على الأقل لكل منها، مما أدى إلى حوالي 900 استجابة.

تم مقارنة نهج “relsim” بالأساليب التقليدية لتخزين الصور، بما في ذلك LPIPS و DINO و dreamsim و CLIP-I. بالإضافة إلى الأساليب الأساسية التي تحسب درجات التشابه مباشرة بين أزواج الصور، مثل LPIPS و DINO و dreamsim و CLIP-I، قام المؤلفون أيضًا باختبار أساليب قائمة على التسمية، حيث تم استخدام Qwen لإنشاء تسمية مجهولة أو مجردة لكل صورة؛ ثم تم استخدامها كاستعلام للاسترجاع.

تم تقييم متغيرين للاسترجاع، مع استخدام استرجاع الصورة-النص القائم على CLIP (CLIP-T) للاسترجاع النصي-الصور، واستخدام Qwen-T للاسترجاع النصي-النص. استخدم كلا نهج أساس التسمية استخدام نموذج Qwen المسبق التدريب بدلاً من الإصدار المُحسّن على المنطق العلاقي. هذا سمح للمؤلفين بفحص تأثير التدريب المبني على المجموعة، حيث تم تعريض النموذج المُحسّن إلى مجموعات الصور، وليس الأمثلة المنفردة.

المقاييس الحالية والتشابه العلاقي

ابتداءً، اختبر المؤلفون ما إذا كانت المقاييس الحالية يمكن أن تكتشف التشابه العلاقي:

مقارنة الأداء الاسترجاعي حسب تقييم GPT-4o، مع متوسط درجة التشابه العلاقي لكل طريقة. سجلت مقاييس التشابه التقليدية مثل LPIPS و DINO و CLIP-I درجات أقل، حتى عند ضبطها. كما أدت أساليب التسمية القائمة على Qwen-T و CLIP-T أداءً أسوأ. سجل نهج “relsim” أعلى درجة (6.77، العمود الأزرق الأيمن)، مما يشير إلى أن التحسين على أنماط علاقة المجموعة حسّن الانسجام مع تقييمات GPT-4o.

بخصوص هذه النتائج، يصرح المؤلفون**:

‘[LPIPS]، التي تركز بشكل صارم على التشابه الإدراكي، تحقق أدنى درجة (4.56). [DINO] يؤدي بشكل أفضل قليلا (5.14)، على الأرجح لأنها تم تدريبها فقط بطريقة ذاتية الإشراف على بيانات الصور. [CLIP-I] يُنتج أقوى نتائج بين الأساليب الأساسية (5.91)، ربما لأن بعض التجريدات موجودة أحيانًا في تسميات الصور.

‘ومع ذلك، [CLIP-I] لا يزال يؤدي أداءً أسوأ مقارنة بطريقتنا، حيث قد يتطلب تحقيق درجة أفضل القدرة على الوصول إلى تجريدات أعلى مستوى، مثل تلك الموجودة في التسميات المجردة.’

في الدراسة التي أجريت على البشر، تفضّل البشر باستمرار نهج “relsim” على جميع الأساليب الأساسية:

درجات التشابه العلاقي المحددة بواسطة GPT-4o لكل طريقة. سجلت مقاييس التشابه التقليدية مثل LPIPS و DINO و CLIP-I درجات أقل، وأدت أساليب التسمية مثل Qwen-T و CLIP-T أداءً قليلاً أفضل. حتى الإصدارات المعدلة من DINO و CLIP لم تغلق الفجوة. سجل نهج “relsim” أعلى درجة، 6.77، وهو ما تم تحقيقه بواسطة النموذج المقترح المُدرّب بالاشراف المبني على المجموعة.

يلاحظ المؤلفون:

‘هذا مشجع للغاية، حيث يظهر ليس فقط أن نموذجنا، relsim, يمكن استرجاع صور علاقة متشابهة بنجاح، ولكن أيضًا يؤكد مرة أخرى أن البشر يدركون التشابه العلاقي – وليس فقط التشابه السمة!’

للتدقيق في كيفية تعزيز التشابه العلاقي والسمة لبعضهما البعض، استخدم الباحثون طريقة مرئية مشتركة. تم مقارنة صورة استعلام واحدة (‘كلب يحمل كاميرا’) مع 3,000 صورة عشوائية، وتم حساب التشابه باستخدام كلا النماذج العلاقي والسمة:

تجسيد مشترك لمساحة التشابه البصري باستخدام المحاور العلاقي والسمة. تم مقارنة صورة استعلام واحدة، تظهر كلبًا يستخدم كاميرا، مع 3,000 أخرى. تم تنظيم النتائج حسب التشابه العلاقي (رأسي) والتشابه السمة (أفقي). يحتوي الجزء العلوي الأيمن على صور تشبه الاستعلام في المنطق والمظهر، مثل كلاب أخرى تستخدم أدوات. يحتوي الجزء العلوي الأيسر على حالات متعلقة семantically ولكنها متميزة بصريًا، مثل حيوانات مختلفة تقوم بأفعال متعلقة بالكاميرا. تتشكل معظم الأمثلة المتبقية في الجزء السفلي من المساحة، مما يعكس تشابهًا أقل. يُظهر التصميم كيف يبرز النماذج العلاقي والسمة جوانب互لمة من البيانات البصرية. يرجى الرجوع إلى الورقة الأصلية للحصول على دقة أفضل.

كشفت النتائج عن تجمعات تتوافق مع أنواع مختلفة من التشابه: بعض الصور كانت تشابهًا علاقيًا وبصريًا؛ البعض الآخر كان له منطق علاقي مشترك ولكن لا يظهر تشابهًا في المظهر؛ والباقي لا يظهر أي تشابه.

يُقترح هذا التحليل أن أنواع التشابه هذه تخدم أدوارًا منفصلة وتعطي هيكلاً أكثر ثراءً عند دمجها.

حالات الاستخدام

تستكشف الورقة أيضًا بعض حالات الاستخدام النهائية المحتملة للتشابه العلاقي، بما في ذلك استرجاع الصور العلاقي، الذي يسمح بالبحث عن الصور أكثر توافقًا مع طريقة البشر الإبداعية في النظر إلى العالم:

استرجاع علاقي يُرجع صورًا تشترك في هيكل概念ي أعمق مع الاستعلام، بدلاً من مطابقة ميزات السطح. على سبيل المثال، عنصر طعام مصمم ليشبه وجه يُرجع وجبات أخرى متشابهة؛ كائن مقطوع يُرجع أشكالًا مقطوعة أخرى؛ ومشاهد تفاعل بين البالغين والأبناء تُرجع صورًا تظهر أدوارًا علاقة مماثلة، حتى عند اختلاف الأنواع والتركيبة.

إمكانية أخرى هي توليد الصور التناظرية، التي من شأنها أن تسمح بتركيب استعلامات تستخدم هياكل علاقة بدلاً من وصف مباشر. في مقارنة النتائج التي تم الحصول عليها من الجيل الحالي من نماذج النص-الصورة، يمكن رؤية أن نتائج هذا النهج سوف تكون أكثر تنوعًا:

عندما يتم تقديم صورة استعلام و استعلام علاقي، يُطلب من النماذج توليد صورة جديدة تعبر عن نفس المفاهيم الكامنة. أنتجت النماذج المملوكة نتائج أكثر وفاء بالتناظر، حيث حافظت على المنطق الهيكلي عبر تغييرات كبيرة في الشكل، في حين انحرفت النماذج المفتوحة المصدر إلى مطابقة حرفية أو أسلوبية، و실패 في نقل الفكرة العميقة. تم مقارنة الإخراجات بالتناظر البشري المحدد، الذي يُجسد التحول المقصود.

الخلاصة

يبدو أن أنظمة الذكاء الاصطناعي التوليدية ستكون محسنة بشكل ملحوظ بفضل القدرة على دمج التمثيل المجرد في مفاهيمها. كما هو الحال الآن، يؤدي الطلب على صور مفاهيمية مثل “الغضب” أو “السعادة” إلى إرجاع صور تمت تصفيتها من أكثر الصور شعبية أو كثرة في مجموعة البيانات؛ وهو ما يُعد تذكرًا وليس تجريدًا.

من المحتمل أن يكون هذا المبدأ مفيدًا بشكل أكبر إذا كان يمكن تطبيقه على الكتابة التوليدية – خاصة النصوص التحليلية أو التكهنية أو الخيالية.

اضغط للعب. مصدر

* يمكن أن يكون A100 40Gb أو 80GB من VRAM؛ هذا لم يُحدد في الورقة.

** إشارات المؤلفين مكررة ومستبعدة.

نشر لأول مرة يوم الثلاثاء، 16 ديسمبر 2025