وهم ‘تحميل المزيد من التسميات!’ في أبحاث الذكاء الاصطناعي

من وجهة النظر الشائعة في أبحاث التعلم الآلي الحالية ، يمكن استخدام التعلم الآلي نفسه لتحسين جودة تسميات مجموعة بيانات الذكاء الاصطناعي – ولا سيما التعليقات على الصور المُقترنة لاستخدامها في نماذج اللغة والرؤية (VLMs). يُحفز هذا النهج من خلال التكلفة العالية لتسمية البشر ، والعبء الإضافي لمراقبة أداء المُصنفين.

يمكن القول إن هذا هو مكافئ الذكاء الاصطناعي للميم “تحميل المزيد من الذاكرة” في أوائل عام 2000 ، الذي سخر من فكرة أن تقييد الأجهزة يمكن حلها بواسطة إصلاح قائم على البرمجيات.

كما أنها مشكلة غير معترف بها؛ بينما تلقى نماذج الذكاء الاصطناعي الجديدة انتباهًا واسعًا في كل من المجالات العامة والتجارية ، غالبًا ما تظهر التسمية على أنها تفاصيل ثانوية في أنابيب التعلم الآلي ، مُغفلة من قبل الإثارة المحيطة بالإطارات الأوسع.

في الواقع ، تعتمد قدرة أنظمة التعلم الآلي على التعرف على الأنماط وإعادة إنتاجها (الحالة الرئيسية لاستخدام معظم أنظمة الذكاء الاصطناعي) على جودة التسميات في العالم الحقيقي و التوافق – التسميات والجمل التي تم إنشاؤها أو التحكيم بواسطة أشخاص حقيقيين ، غالبًا ما يقومون بقرارات خاضعة للذات بشأن نقاط البيانات الفردية في ظروف غير مثالية.

لا يمكن أن تؤدي الأنظمة التي تسعى إلى ملاحظة سلوك المُصنفين وإعادة إنتاجها (وبالتالي استبدال المُصنفين البشر وتسهيل التسمية الدقيقة على نطاق واسع) إلى أداء جيد على البيانات غير الموجودة في الأمثلة المأخوذة من المراقبين البشر. لا شيء “م슷” هو تماما نفس الشيء ، ويبقى التكافؤ عبر النطاقات مشكلة مثيرة للجدل في رؤية الكمبيوتر.

يجب أن يتوقف “دولار البيانات في العاصمة” في مكان ما ، وفي هذه الحالة ، هذا هو المكان الذي يتوقف فيه – مع قشرة مخية بشرية تقوم ببعض التمييز الذاتي من أجل ترميز البيانات لنظام اصطناعي.

تجارة الراج

حتى وقت قريب ، كانت الغلطات الناشئة عن تسميات مجموعة البيانات غير مدققة تعتبر ، ربما ، ضررًا جانبيًا مقبولًا في سياق النتائج غير الكاملة ولكن لا تزال سوقية لأنظمة الذكاء الاصطناعي التوليدية.

في الواقع ، فقط هذا العام ، خلصت دراسة من سنغافورة إلى أن الهلوسة – أي المرات التي يخترع فيها أنظمة الذكاء الاصطناعي أشياء تتعارض مع نوايانا – أمر لا مفر منه ، ومرتبط ببنية هذه الأنظمة.

لمواجهة ذلك ، أصبحت وكلاء RAG – الذين يمكنهم “التحقق” من الحقائق من خلال عمليات بحث على الإنترنت – شائعة في الأبحاث والحلول التجارية التطبيقية. ومع ذلك ، فإنها تزيد من التكلفة وتأخير الاستفسارات ؛ بالإضافة إلى ذلك ، لا يمكن أن تتنافس المعلومات الجديدة المطبقة على نموذج مدرب مع الاتصالات الأكثر تعقيدًا والمتشابكة التي تتميز بالطبقات الأصلية في نموذج مدرب.

لذلك سيكون من الأفضل إذا كانت بيانات التسمية التي تُخبر هذه النماذج أقل عيوبًا في المقام الأول ، حتى لو لا يمكن أن تكون كاملة (ليس أقلها لأن هذه النشاط تتجاوز إلى نطاق الذاتية البشرية).

RePOPE

يبرز ورقة جديدة من ألمانيا المشاكل التي تطرأ نتيجة الاعتماد على مجموعات بيانات قديمة على نطاق واسع ، مع التركيز بشكل خاص على دقة وموثوقية تعليقات الصور. تشير نتائج الباحثين إلى أن أخطاء التسمية في المعايير يمكن أن تخفي أو تمثل هلوسة في نماذج اللغة والرؤية.

تخيل أن نموذجًا يُظهر صورة لمشهد شوارع ويُطلب منه أن يقول إذا كان هناك دراجة في الصورة. يجيب النموذج نعم. إذا قالت مجموعة البيانات الأساسية أن هناك keine دراجة ، يُعتبر النموذج خاطئ. لكن إذا كان هناك دراجة واضحة في الصورة ، وتم تجاهلها فقط أثناء التسمية ، فإن إجابة النموذج كانت صحيحة ، ومعيار البيانات الأساسية فشل.

تتجمع أخطاء مثل هذه عبر مجموعة البيانات ، مما يعطي صورة مشوهة لما هي النماذج الدقيقة وما هي النماذج التي تميل إلى الهلوسة ، وتجعل من الصعب تشخيص أو معالجة المشكلة بثقة.

يُعاد النظر في ورقة جديدة في معيار يُستخدم على نطاق واسع يُسمى Polling-based Object Probing Evaluation (POPE) ، والذي يختبر ما إذا كان نماذج اللغة والرؤية يمكن أن تقول بشكل صحيح ما هو موجود أو غير موجود في صورة.

يستند POPE على تسميات من مجموعة بيانات Microsoft COCO: Common Objects in Context (MSCOCO) ، وهي مجموعة من الصور المُannotated التي عُتبرت على مدار طويل أنها توفر مستوى جيدًا من دقة التسمية.

يُقيّم POPE هلوسة الكائنات في نماذج اللغة والرؤية الكبيرة من خلال إعادة صياغة المشكلة على أنها مهمة تصنيف ثنائية. بدلاً من تحليل التعليقات المُنشأة ، يطرح النظام أسئلة بسيطة نعم/لا على النموذج حول ما إذا كان هناك كائنات معينة في الصورة ، باستخدام قوالب مثل ‘هل هناك <كائن> في الصورة؟’.

يُقارن النظام بين الكائنات الحقيقية (الإجابة: نعم) والكائنات غير الموجودة (الإجابة: لا) ، ويُختار الكائنات غير الموجودة بشكل عشوائي أو شائع أو استباقي.

يسمح هذا الإعداد بتقييم أكثر استقرارًا وقليل الحساسية للهلوسة دون الاعتماد على تحليل القوالب القائم على القواعد.

يُجادل مؤلفو الورقة الجديدة – التي تحمل عنوان RePOPE: Impact of Annotation Errors on the POPE Benchmark – بأن دقة POPE مفترضة ، من خلال إعادة فحص التسميات على صور المعيار (أي MSCOCO) – ووجدوا عددًا مذهلاً من الأخطاء أو الغموض.

تغيرت هذه الأخطاء طريقة تصنيف النماذج ، حيث انخفضت بعض النماذج التي أدت أداء جيدًا في البداية إلى أسفل عندما تم تحديدها مقابل التسميات المصححة.

في الاختبارات ، قيم المؤلفون مجموعة من نماذج اللغة والرؤية المفتوحة على معيار POPE الأصلي ومعيار RePOPE المُصحح.

تشير الورقة إلى أن التسميات المصححة أدت إلى تغييرات ملحوظة في تصنيف النماذج ، خاصة في نتائج F1 ، حيث انخفضت بعض النماذج ذات الأداء الجيد في POPE إلى أسفل تحت RePOPE.

يُجادل المؤلفون بأن هذا التحول يُظهر مدى تأثير أخطاء التسمية على نتائج المعيار ، ويقدمون RePOPE كأداة أكثر موثوقية لتقييم الهلوسة.

الطريقة والاختبارات

أعيد تسمية جميع التسميات في مجموعة بيانات MSCOCO الأصلية ، مع تعيين两个 مُصنفين بشريين لكل مثيل بيانات. حيث ظهرت غموض حول جودة التسميات الأصلية (كما هو موضح في الأمثلة أدناه) ، تم وضع هذه النتائج جانبًا من جولة الاختبار.

يُشير المؤلفون إلى أن “المُصنفون الأصليون 忽略وا أشخاصًا في الخلفية أو خلف الزجاج ، وطالب التنس يُخفي ‘الأكراس’ في الخلف ، ويتضمن الكول سلاو فقط شريطًا مرئيًا صغيرًا من الجزر.

من أجل بعض الكائنات ، تكون تسميات COCO غير متسقة على الأرجح بسبب التعريفات المختلفة لتلك الكائنات التي استخدمها المُصنفون الأصليون. تصنيف ‘الدب الطفل’ على أنه ‘دب’ ، أو دراجة نارية على أنها ‘دراجة’ ، أو مركبة مطار على أنها ‘سيارة’ يعتمد على تعريفات محددة ، مما يؤدي إلى عدم الاتساق في تسميات POPE.

تم تقييم مجموعة من نماذج اللغة والرؤية المفتوحة على POPE و RePOPE ، عبر معمارية و حجم نموذج متنوعين. تمت إضافة النماذج التي تم اختيارها إلى قائمة OpenVLM ، بما في ذلك InternVL2.5 (8B/26B/38B/78B و 8B-MPO/26B-MPO) ؛ LLaVA-NeXT ؛ Vicuna ؛ Mistral 7b ؛ Llama ؛ LLaVA-OneVision ؛ Ovis2 (1B/2B/4B/8B) ؛ PaliGemma-3B ؛ و PaliGemma2 (3B/10B).

تُظهر النتائج أعلاه كيف يتغير عدد الإيجابيات الصحيحة والخاطئة بعد تصحيح التسميات في المعيار.

انخفضت الإيجابيات الصحيحة عبر جميع النماذج ، مما يدل على أنها كانت تعطى ائتمانًا للاجابات الصحيحة عندما كانت تلك الإجابات صحيحة فقط تحت التسميات الخاطئة ، في حين اتبعت الإيجابيات الخاطئة نمطًا أكثر تنوعًا.

على نسخة “عشوائية” من POPE ، زادت الإيجابيات الخاطئة تقريبًا مضاعفة بالنسبة للعديد من النماذج ، مما يشير إلى أن عددًا كبيرًا من الكائنات التي تم تحديدها على أنها هلوسة كانت في الواقع موجودة في الصور ولكن تم تجاهلها خلال التسمية.

على نسخة “استباقية” من POPE ، حيث كانت الأسئلة مبنية على كائنات ت出现 بشكل متكرر ، انخفضت الإيجابيات الخاطئة. هذا يُرجع على الأرجح إلى زيادة احتمال أن يكون الكائن الغائب موجودًا في الواقع في الصورة ولكن تم إغفاله.

على الرغم من أن هذه التحولات أثرت على الدقة والاستدلال ، ظلت تصنيفات النماذج مستقرة نسبيًا لكلا المقاييس.

كانت درجة F1 – مقياس التقييم الرئيسي ل POPE – أكثر حساسية لتصحيح التسميات. على مجموعة العشوائية ، انخفضت النماذج التي صنفت بالقرب من أعلى التصنيفات تحت التسميات الأصلية إلى أسفل عندما تم تقييمها مع RePOPE. Others ، مثل Ovis2-4B و Ovis2-8B ، rose إلى أعلى المجموعة على مجموعة العشوائية تحت RePOPE.

يُجادل المؤلفون بأن التأثير القوي لأخطاء التسمية على نتائج المعيار يُظهر الحاجة إلى بيانات عالية الجودة. لدعم تقييم أكثر موثوقية للهلوسة الكائنات ، قاموا bynishing التسميات المصححة على GitHub.

然而 ، يلاحظون أن إعادة التسمية هذه لا تعالج تمامًا مشكلة تشبع المعيار ، حيث لا تزال العديد من النماذج تحقق معدلات إيجابية حقيقية وسلبية فوق 90٪. يُقترح استخدام معايير إضافية ، مثل DASH-B ، التي تستخدم مجموعة أكثر تحديًا من الأمثلة السلبية ، جنبًا إلى جنب مع RePOPE.

الخلاصة

كانت هذه التجربة ممكنة بسبب صغر حجم مجموعة البيانات المُستخدمة. سيكون إثبات نفس الفرضية على مجموعات بيانات ضخمة يتطلب العمل على قطع محدودة من البيانات ؛ في مجموعات بيانات كبيرة ومتنوعة ، قد يُصبح من الصعب عزل مجموعات ممثلة إحصائيًا ومتسقة семantically – مما قد يُؤدي إلى تحيز النتائج.

حتى لو كان ذلك ممكنًا ، ما هي العلاج تحت حالة الفن الحالي؟ يتحرك الحجة إلى الوراء بشكل لا مفر منه نحو الحاجة إلى تسمية بشرية أفضل وأكثر.

في هذا الصدد ، “أفضل” و “أكثر” هما مشكلتان منفصلتان ، حيث يمكن الحصول على حجم أكبر من التسميات من خلال اقتصاديات السباق إلى أسفل مثل Amazon Mechanical Turk (AMT). من الواضح أن هذه الاقتصاد الفرعي المحتمل الاستغلال يؤدي غالبًا إلى نتائج رديئة.

بديلًا ، يمكن مُزارعة مهام التسمية إلى مناطق اقتصادية حيث يمكن أن يُield نفس الإنفاق حجمًا أكبر من التسميات. ومع ذلك ، كلما ابتعد المُصنف عن حالة الاستخدام المقصودة للنموذج الذي ستشكل تسمياته ، أصبح أقل احتمالًا أن يتوافق النموذج الناتج مع احتياجات أو توقعات المجال المستهدف.

هذا يبقى واحدًا من التحديات الأكثر صلابة وغير محلولة في اقتصاديات تطوير التعلم الآلي.

نُشر لأول مرة يوم الأربعاء ، 23 أبريل 2025