أنظمة الرؤية الإصطناعية غالباً ما لا تكون “تبصر” على الإطلاق

قد تفسر أنظمة الرؤية الإصطناعية الصور بالاستعانات بدلاً من ما ترى فعلاً. إذا أزلنا التسمية، فإن解释اتها المفترضة ت崩.

منذ أن تتقاضى منصات الذكاء الإصطناعي الحدودية الأموال باستمرار في محاولة لتحقيق أفق الذكاء الإصطناعي، فإن التوفيرات الصغيرة في توفيرها وخدماتها تساوي مدخرات كبيرة: على سبيل المثال، كل مرة يمكن فيها للنموذج اللغوي الكبير تقديم إجابة من مصفوفة التدريب الخاصة به بدلاً من القيام برحلة إلى الويب لتحقيق معالجة توليد محسّن بالاسترجاع لتحصل على معلومات حالية تحتاج إلى التقطير والتنقية، يُجيب بسرعة أكبر، ويوفر على المزود المال.

من المرجح أن يتخيل، دون إنفاق رموز وطاقة إضافية على وضعها في السياق وتحقق افتراضاته.

كما أن النموذج اللغوي الكبير، حتى عندما يصل إلى الويب، غالباً ما يذكر عناوين ويب غامضة أو غير مناسبة أو حتى غير متعلقة، لأنها وفرت الطاقة من خلال تقييم البيانات الوصفية فقط لهذه الصفحات، بدلاً من قراءتها فعلاً.

وبالمثل، إذا قمت بتحميل ملف PDF إلى نموذج لغوي كبير وتريد مناقشته، قد يمحو النموذج في النهاية محتوى ملف PDF من ذاكرته وسيستخدم فقط البيانات الوصفية النادرة عنه للاجابة على استفساراتك، دون حتى الإشارة إلى أنك يجب أن تقوم بتحميله مرة أخرى – مما يؤدي إلى أخطاء وافتراضات خاطئة وأكثر من ذلك.

التجارب الصناعية

هذه هي الاقتصادات الواقعية، إن لم تكن صادقة تماماً، التي تفرضها على المستخدم لأسباب تشغيلية. في عالم جمع البيانات وتدريب النماذج في مجرى النهر، حيث يجب معالجة ملايين الصور ككتلة، ولا يمكن أن تكون مُحكمة يدوياً من قبل البشر، فإن الضغط لتحقيق الحد الأقصى من توفير الطاقة والزمن شديد أيضاً.

إحدى هذه “الطرق المختصرة” هي استخدام نموذج لغة رؤية وسيط مثل التمييز اللغوي المسبق للصورة (CLIP)، الذي ي ánhة الصور والنصوص إلى مساحة семантиكية مشتركة، بحيث يمكن مقارنة المفاهيم البصرية باستخدام اللغة، بدلاً من التسميات الصريحة.

ماذا يعني ذلك؟ حسنًا، تخيل طفلاً يتعلم من ملايين الصور المُحكمة حتى يطور فكرة خشنة عن الصور والكلمات التي تتوافق بشكل طبيعي.

المشكلة هي أن التسميات، في كثير من الأحيان، كانت مكتوبة من قبل مالكي المواقع وغيرهم من الكيانات التي كانت أكثر اهتماماً بالتحسين للبحث من التسمية الجيدة، مما أدى إلى الكثير من “الضوضاء” أو التسمية غير دقيقة.

ومع ذلك، فإن مقياس المفاهيم والكلمات المرتبطة في مجموعات البيانات الكبيرة يعني أن الكلمات الأساسية ستُرتبط بالصورة الصحيحة، منذ أن سيتم دفع العدد الأصغر من “التسميات غير المنطقية” إلى مجموعة المنفذين، ولن تكتسب عادةً ارتباطاً بالصورة. لذلك يعمل بشكل معقول، معظم الوقت.

يتم إجراء تحكيم البيانات بهذه الطريقة لأنها رخيصة ووظيفية بشكل ضعيف، وليس لأنها جيدة.

خارج التسمية

دخلت إلى هذا السيناريو المتعثر ورقة جديدة من جامعة كارنيجي ميلون، توضح بشكل صارخ أن العديد من التسميات المخصصة للصور – على سبيل المثال بواسطة CLIP – هي في الواقع استعانات تعتمد على الإشارة إلى تسمية الصورة (النصية) بدلاً من النظر الفعلي إلى الصورة نفسها.

في أحد الأمثلة الملحوظة في الورقة، يتم تركيب CLIP مع واصفات تم توليدها من اسم فئة ImageNet الفراولة، ثم يتم اختبارها على ImageNet-Sketch، حيث كل فراولة هي رسم بالأسود والأبيض – ومع ذلك، لا تزال الواصفات تصر على أن الفاكهة هي حمراء و ناضجة:

فشل واصفات اسم الفئة في ImageNet-Sketch: السابقة اللغوية تقول ‘حمراء’ و ‘ناضجة’، في حين أن السمات الموجودة في الصورة تتوافق مع الرسم بالأسود والأبيض. مصدر

هنا، يتم تركيب CLIP مع واصفات تم توليدها فقط من اسم الفئة الفراولة، عبر GPT-3 أو معرفة خارجية. هذه لا ترى الصورة أبداً، لذلك تعتمد على السمات التقليدية مثل حمراء و leafy. عند تطبيقها على الرسومات الخطية بالأسود والأبيض في ImageNet-Sketch، يفشل العملية.

من ناحية أخرى، يتم اشتقاق السمات التي يتم اشتقاقها من الصور نفسها لتحديد السمات التي لا تزال صحيحة تحت التحول، مثل متنقطة أو قلبية الشكل.

بالتالي يمكننا أن نرى أن الكائن المحدد يتم الترويج له ليس لما هو عليه، ولكن، كما لو كان “بسمعته”; الصفتان “حمراء” و “leafy” دقيقتان للفئة الفرعية فراولة، ولكنها تتجاوز حدود الصورة (الحالة) المعنية.

يجادل مؤلفو العمل الجديد – بعنوان يجب أن تأتي السمات من الصور، وليس من أسماء الفئات: اختيار السمات المشروطة بالتوزيع لنماذج اللغة والرؤية – بأن هذا هو مشكلة مستمرة وشائعة، ويشيرون إلى اختيار السمات مباشرة من الصور نفسها، بحيث تعكس ما هو مرئي فعلاً تحت تحول التوزيع، بدلاً من الاعتماد على السابقة الفئوية.

يصر مؤلفو الورقة على ما يلي:

‘طريق شائع إلى التصنيف بدون صور يطلب من نموذج لغوي كبير وصف كل اسم فئة، ويحفز CLIP بالواصفات الناتجة. نُظهر أن هذه الواصفات تحمل قليلاً من الأدلة البصرية الخاصة بها: إزالة اسم الفئة من التحفيز يؤدي إلى انهيار دقة ImageNet من 59.5٪ إلى 15.5٪.

‘التشخيص هو أن الواصفات مشروطة على التسمية بدلاً من الصور، لذلك تصف المفاهيم بشكل عام وتضلل بالضبط عندما تتغير البيانات؛ يصر النموذج اللغوي الكبير على أن الفراولة حمراء، ولكن كل فراولة في ImageNet-Sketch هي رسم بالأسود والأبيض.

‘لذلك نختار السمات من مجموعة الصور المستهدفة بدلاً من ذلك: نحسب مجموعة كبيرة من السمات ضد الصور في مساحة التضمين المشتركة ل CLIP، ونحتفظ بالسمات الأعلى تصنيفاً لكل فئة.’

علاجهم المقترح هو أن النموذج يبقى على حاله، ولكنه بدلاً من الاعتماد على وصف أسماء الفئات، يتحقق من مجموعة مرشحة من السمات ضد الصور، ويحتفظ فقط بتلك التي تتوافق فعلاً مع ما هو مرئي.

تكلفة ذلك قابلة للقبول، لأنها لا تشير إلى إعادة استدعاء الطاقة المحفوظة من “الطرق الغش” التي أدت إلى المشكلة في المقام الأول. بل تضيف ممر التقييم على السمات المرشحة لكل فئة، بحيث يزيد التأخير قليلاً – ولكن بأقل بكثير من إعادة التدريب أو خطوط الأنابيب الكاملة بنمط RAG. في النظرية، سيكون التكلفة الطاقوية مقبولة، معززة بالتحسين في التوجه.

الطريقة

منذ أن تكون منهجية اختبارات المؤلفين غامضة بشكل خاص، ومنذ أن لن نكتسب أي رؤية مفيدة إضافية من خلال فحصها بعمق، سنعتمد، على عكس العادة، على نظرة عامة مقصورة على نهجهم.

توصف الأعمال المشكلة الأساسية بأنها الارتباك بين اسم الفئة: حالة يبدو فيها الأداء كما لو كان يأتي من واصفات ذات معنى، ولكن في الواقع يعتمد على اسم الفئة نفسه، مع إضافة الواصفات القليلة – ويفشل بمجرد إزالة هذا الدعم.

ثم يجادل البحث بأن هذا الفشل هو حتمي، لأن الواصفات التي تم توليدها من اسم فئة يمكنها وصف فقط ما يبدو عادةً، بدلاً من ما هو موجود فعلاً في صورة معينة. بمجرد أن تخرج البيانات عن هذه التوقعات، تصبح الواصفات غير مفيدة فقط، بل مضللة بشكل فعال، وتعطي تصويتاً ضد الإجابة الصحيحة.

كما راجعت الأبحاث ما إذا كان CLIP يمكن أن يكون سيئاً في الكشف عن السمات بدون مساعدة التسميات الفئوية، أو ما إذا كانت واصفات GPT المولدة слишком عامة لكي تكون مفيدة. ومع ذلك، فإن تجاربهم اللاحقة سوف تنفي كلتا التفسيرات.

للتعامل مع هذه القضية، تم استخدام نموذج CLIP مجمّد لمقارنة الصور مع مجموعة كبيرة من واصفات مرشحة تم سحبها من VAW و LSA و GPT-3، مع الاحتفاظ فقط بالسمات التي تتوافق بشكل أفضل مع الصور، دون الحاجة إلى إعادة التدريب أو إشراف إضافي على الصورة والنص:

نظرة عامة على النظام المقترح: نموذج CLIP المجمّد يشفّر الصور والنصوص، ويستخدم تشابه الكوزين لقياس قوة كل واصف. يتم الاحتفاظ بالسمات الأعلى تصنيفاً لكل فئة، مما ينتج مجموعة واصفات قابلة للتفسير.

البيانات والاختبارات

استخدمت تجارب المؤلفين CLIP مع ResNet-50 وقيّم الأداء على ImageNet مع أربعة متغيرات من تحول التوزيع: ImageNetV2؛ ImageNet-Sketch؛ ImageNet-A؛ و ImageNet-R.

تم اختيار السمات باستخدام فقط الصور الأصلية من مجموعة تدريب ImageNet – مما يسمح لمجموعات البيانات الموجودة بالخارج لاختبار ما إذا كانت السمات المشتقة من الصور لا تزال مفيدة عندما تتغير المظاهر البصرية:

دقة التصنيف الأعلى عبر ImageNet وأربعة مجموعات بيانات من تحول التوزيع. تُظهر النتائج أن الأداء يبقى متشابهاً عندما يتم تضمين أسماء الفئات في التحفيزات، ولكن ينهار عندما يتم إجبار الواصفات على الوقوف وحدها، مما يشير إلى أن الكثير من فعاليتها الواضحة تنشأ من التسمية الفئوية نفسها. من ناحية أخرى، تظل السمات المحددة مباشرة من الصور أكثر إفادة عبر جميع مجموعات البيانات التي تم اختبارها.

أعيد اختيار السمات من نفس مجموعة GPT المولدة، ولكن مشروطة بمجموعة صور ImageNet، مما رفع دقة أسماء الفئات الحرة من 15.5٪ إلى 19.4٪.由于 أن النموذج و مجموعة السمات و بروتوكول التقييم ظلوا غير متغيرين، يمكن أن يعزى الربح كله إلى اختيار مشروط بالصورة.

أشار النتيجة أيضاً إلى أن CLIP يمكنه تحديد السمات بدون أسماء فئات، وأن مجموعة GPT المولدة تحتوي بالفعل على واصفات مفيدة. الفشل الرئيسي بدلاً من ذلك يبدو أنه يقع في توليد مشروط بالتسمية، الذي يفشل غالباً في الكشف عن السمات الأكثر صلة بالصور نفسها.

尽管 يستمر المؤلفون في جولة من التجارب الإضافية الشاملة، يجب أن نُحيل القارئ إلى المواد الأصلية لمزيد من التفاصيل حول هذه، منذ أن لا تمدد نطاق النتائج، بل تؤكد فقط الفرضيات المركزية المحددة حتى الآن – أن الاعتماد على التسميات يمكن أن يعرض إمكانات البيانات الحقيقية في تطبيقات الرؤية الإصطناعية الحديثة للخطر، مع أن التوفير الرخيص من خلال احتمال “السمعة” خطراً على دقة النتائج.

الاستنتاج

من المثير للاهتمام أن نعتبر الديون التي تدين بها الذكاء الإصطناعي التوليدي الحديثة لملايين الصور الموصوفة يدويًا التي تم ابتلاعها في مجموعات بيانات ضخمة مثل Common Crawl، في بداية عصر الهيبرسكيل.

كل مرة يحاول فيها نظام التعرف على الصور أو التسمية الآلية تصنيف أو إعادة تسمية صورة قديمة أو جديدة، فإن أصل هذه المعرفة يعود إلى بعض البائعين الذين كتبوا مجلة ساخنة من السبعينيات! في علامة alt لبعض قائمة على eBay في عام 2004، أو حدث مماثل.

على الرغم من أن العديد يعتقد أن العصر الذهبي لتعبئة الكلمات قد تم مسحه بواسطة خوارزمية PageRank الأكثر تطوراً من جوجل قبل ثلاثة عقود تقريباً، فإن نهج “جدار من النص، أتمنى أن يلتصق شيء ما” لا يزال على قيد الحياة تماماً: فقط البارحة، في الجزء العلوي من HTML لصفحة إصدار نموذج Qwen-Image-3.0، كان هناك انفجار من تعبئة الكلمات الرئيسية:

رمز HTML لإصدار Qwen Image 3 هو جدار من نص الكلمات الرئيسية، على الأقل في وقت الكتابة. مصدر

سواء كان هذا الجدار من الكلمات الرئيسية مكتوباً بشكل منهجي من قوائم مستهدفة، أو مكتوباً يدويًا من قبل خبراء تحسين محركات البحث، فإن هذا هو مثال رئيسي على الأصول الخام لنظام الذكاء الإصطناعي التوليدي الحديث، مع意义 غالباً ما يحمل حمولة كبيرة من المصلحة الذاتية التي ستحتاج إلى إزالتها أو على الأقل مراعاة في بعض الطرق، عندما تتدخل هذه العبارات مع الأنظمة والتطبيقات العقلانية.

نُشر لأول مرة يوم الأربعاء، 22 يوليو 2026