زاوية Anderson
حتى النماذج اللغوية المتقدمة تعاني من فهم المنطق الزمني
أضف Unite.AI إلى مصادرك المفضلة على Google
تعتبر التنبؤ بالحالات المستقبلية مهمة حرجة في أبحاث الرؤية الحاسوبية – ولا سيما في الروبوتات، حيث يجب مراعاة الحالات في العالم الحقيقي. لذلك، فإن أنظمة التعلم الآلي المكلفة بمهام حرجة تحتاج إلى فهم كافٍ لفهم العالم المادي.
然而، في بعض الحالات، قد يكون المعرفة الواضحة للواقع الزمني خداعة: لقد وجدت ورقة جديدة من الإمارات العربية المتحدة أن النماذج اللغوية الكبيرة متعددة الوضع، بما في ذلك قادة القطاع GPT-4o و جيميني من جوجل، تفشل عندما يتعلق الأمر بتفسير كيفية تمثيل الوقت في الصور.
الأزواج التسلسلية للمثال (انظر الصورة أدناه)، والتي لن تكون محددة للبشر حتى لو تم وضعها في الترتيب الخاطئ، يمكن أن تضل النماذج اللغوية المتقدمة عندما يتم تقديمها في سياقات غير متوقعة أو تكوينات (مثل صورة ثانية أولاً، متصلاً في صور فردية، صور متعددة تسلسلية قد تمثل أو لا تمثل الترتيب الزمني الصحيح، إلخ.).
عينات من واحدة من مجموعات البيانات المجمعة لدراسة جديدة، والتي تظهر الأحداث التسلسلية في شكل “قبل وبعد” الصور. وقد جعل الباحثون هذه البيانات متاحة في https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer
كلف الباحثون النماذج بالتحديات الأساسية في التفكير الزمني، مثل تحديد ترتيب الحدث أو تقدير الفجوات الزمنية، ووجدوا أن النماذج السبع التي تم اختبارها أدت أداءً أقل بكثير من دقة البشر:
‘بشكل عام، فإن [النتائج] تظهر أن جميع النماذج اللغوية الحالية، بما في ذلك GPT-4o – النموذج الأكثر تقدمًا في تقييمنا – تعاني من بنشمرك المقترح. على الرغم من الأداء الأفضل ل GPT-4o相对于 النماذج الأخرى، إلا أنه يفشل في التحليق بشكل مستمر بالتفكير الزمني الدقيق عبر مختلف الإعدادات.
‘درجات الدقة الثابتة منخفضة بشكل ملحوظ لجميع النماذج، مما يشير إلى قيود كبيرة في قدرتهم على فهم وتفسير التسلسلات الزمنية من المدخلات البصرية. هذه النقصيات واضحة حتى عندما يتم تزويد النماذج بمُدخلات صورة متعددة أو تحفيزات محسنة، مما يشير إلى أن الهياكل والمنهجيات الحالية غير كافية لتحقيق فهم زمني قوي.
تم تصميم أنظمة التعلم الآلي لتحقيق النتائج الأكثر دقة، ولكن أيضًا الأكثر كفاءة ورضا للناس*. منذ أن لا تكشف عن منطقها بشكل صريح، يمكن أن يكون من الصعب معرفة متى تخدع أو تستخدم “الطرق القصيرة”.
في مثل هذه الحالة، قد تصل النموذج اللغوي إلى الإجابة الصحيحة من خلال الطريقة الخاطئة. قد يؤدي حقيقة أن مثل هذه الإجابة يمكن أن تكون صحيحة إلى الثقة الزائفة في النموذج، والذي قد ينتج عنه نتائج خاطئة بنفس الطريقة في المهام اللاحقة التي يتم تقديمها إليه.
وما هو أسوأ، يمكن أن تصبح هذه التضليل أكثر ترسيخًا في سلسلة التطوير إذا كان البشر متأثرين بها، ويعطون ردود فعل إيجابية في التجارب والدورات التأهيلية التي قد تساهم في اتجاه البيانات و/أو النموذج.
في هذه الحالة، تشير الاقتراح إلى أن النماذج اللغوية المتقدمة “تقلد” فهمًا حقيقيًا للتسلسل الزمني والظواهر الزمنية، من خلال ملاحظة وترسخ المؤشرات الثانوية (مثل العلامات الزمنية، على سبيل المثال، في بيانات الفيديو، أو ترتيب الصور في التخطيط، أو حتى – بشكل محتمل – أسماء الملفات المُرقمة تسلسليًا).
كما يشير إلى أن النماذج اللغوية المتقدمة الحالية تفشل في إرضاء أي تعريف حقيقي لتحقيق مفهوم الظواهر الزمنية – على الأقل، إلى الحد الذي يمكن للبشر تحقيقه.
الورقة الجديدة بعنوان هل يمكن للنماذج اللغوية متعددة الوضع القيام بفهم زمني بصرية وتفكير؟ الإجابة هي لا!، وتنشر من قبل ثلاثة باحثين من جامعة محمد بن زايد للذكاء الاصطناعي وألبابا للكوميرس الرقمي الدولي.
البيانات والاختبارات
يشير المؤلفون إلى أن المقاييس والدراسات السابقة، مثل MMMU و TemporalBench، تركز على مدخلات الصورة المفردة أو صياغة الأسئلة للنماذج اللغوية التي قد تكون سهلة جدًا للإجابة، وقد لا تكشف عن ميلًا إلى سلوك القصيرة.
لذلك يقدم المؤلفون نهجين محدثين: فهم الترتيب الزمني (TOU) و تقدير الفجوة الزمنية (TLE). يختبر نهج TOU قدرة النماذج على تحديد تسلسل الأحداث الصحيح من أزواج الإطارات الفيديوية؛ ويقيم نهج TLE قدرة النموذج اللغوي على تقدير الفترة الزمنية بين صورتين، تتراوح من ثوان إلى سنوات.
من الورقة، المهمتان الرئيسيتان لمعيار TemporalVQA: في فهم الترتيب الزمني، يقرر النموذج أي صورة من الصورتين تظهر حدثًا حدث أولاً؛ في تقدير الفجوة الزمنية، يُقدر النموذج مقدار الوقت الذي مر بين الصورتين، ويت選択 من الخيارات بما في ذلك الثواني، الدقائق، الساعات، الأيام، أو السنوات. تهدف هذه المهمات إلى اختبار كيفية قيام النماذج اللغوية بفهم وتحليل الأحداث البصرية الزمنية. مصدر: https://arxiv.org/pdf/2501.10674
قام الباحثون بتحضير 360 زوجًا من الصور لاختبار TOU، باستخدام مقاطع فيديو مفتوحة المصدر من Pixabay و Pexels، بحيث يمكن جعل مجموعة البيانات متاحة عبر واجهة مستخدم رسومية.
غطت مقاطع الفيديو مجموعة من الموضوعات، من الأشخاص في الأنشطة اليومية إلى المحتوى غير البشري مثل الحيوانات والنباتات. من هذه المقاطع، تم انتخاب أزواج من الإطارات لتصوير تسلسل للأحداث مع تباين كافٍ لجعل الإطار الأول “واضحًا”.
تم استخدام التحديد البشري لضمان أن الإطارات يمكن أن تُمرَّر بشكل قاطع. على سبيل المثال، يُظهر أحد الأزواج المُحضَّر كوب شاي جزئيًا ممتلئًا في إطار واحد، والكوب نفسه ممتلئًا بالشاي في الإطار التالي، مما يجعل منطق التسلسل سهلًا للتعرّف.
منطق زمني هذه الصورتين لا يمكن الهروب منه، لأن الشاي لا يمكن أن يُتمشى обратًا عبر الفوهة.
بهذه الطريقة، تم الحصول على 360 زوجًا من الصور.
لنهج TLE، تم اختيار الصور المجانية من جوجل و فليكر، بالإضافة إلى إطارات محددة من مقاطع فيديو مجانية على يوتيوب. كان موضوع هذه المقاطع مشاهد أو كائنات تظهر تغييرًا زمنيًا يتراوح من ثوان إلى أيام إلى فصول – على سبيل المثال، الفواكه الناضجة، أو تغيير الفصول في المناظر الطبيعية.
تم تجميع 125 زوجًا من الصور لنهج TLE.
لم تكن جميع النماذج اللغوية التي تم اختبارها قادرة على معالجة الصور المتعددة؛ لذلك تختلف الاختبارات لتناسب قدرات كل نموذج.
تم إنشاء نسخ متعددة من مجموعات البيانات المُحضَّرة، حيث تم تجميع بعض الأزواج رأسيًا، والبعض الآخر أفقيًا. تم تبديل بعض التباينات للترتيب الزمني الصحيح للأزواج.
تم تطوير نوعان من التحفيزات. اتبعت الأولى هذا النموذج:
هل حدث الحدث في الصورة (اليسار / الأعلى / الأول) قبل الحدث في الصورة (اليمين / الأسفل / الثاني)? اشرح بالصواب أو الخطأ مع المنطق.
اتبعت الثانية هذا الخطة:
ما هي الصورة التي تظهر الحدث الذي حدث أولاً بين هاتين الصورتين؟ اشرح (اليسار أو اليمين / الأعلى أو الأسفل / الأول أو الثاني) مع المنطق.
لنهج TLE، كانت الأسئلة متعددة الخيارات، حيث طُلب من النماذج تقدير الفترة الزمنية بين الصورتين المقدمتين، مع ثوان، ساعات، دقائق، أيام، أشهر، و سنوات متاحة كوحدات زمنية. في هذه التكوين، تم تقديم الصورة الأكثر حداثة على اليمين.
تم استخدام التحفيز التالي:
في الصورة المعروضة، قم بتقدير الوقت الذي مر بين الصورة الأولى (اليسار) والصورة الثانية (اليمين).
اختر واحدة من الخيارات التالية:
-
أقل من 15 ثانية
ب. بين 2 دقيقة و 15 دقيقة
ج. بين ساعة و 12 ساعة
د. بين 2 يوم و 30 يوم
ه. بين 4 أشهر و 12 شهر
و. أكثر من 3 سنوات
تم اختبار النماذج اللغوية التالية: ChatGPT-4o؛ Gemini1.5-Pro؛ LlaVa-NeXT؛ InternVL؛ Qwen-VL؛ Llama-3-vision؛ و LLaVA-CoT.
فهم الترتيب الزمني: النتائج
نتائج فهم الترتيب الزمني عبر نماذج وتنسيقات مدخلات مختلفة، مع دقة وثبات في مختلف الإعدادات والتحفيزات.
فيما يتعلق بالنتائج المذكورة أعلاه، وجد المؤلفون أن جميع النماذج اللغوية التي تم اختبارها، بما في ذلك GPT-4o (التي أظهرت أفضل أداء عام)، تعاني بشكل كبير من معيار TemporalVQA – وأنه حتى GPT-4o فشل في التحليق بشكل مستمر بالمنطق الزمني عبر مختلف التكوينات.
يجادل المؤلفون بأن درجات الدقة الثابتة المنخفضة عبر النماذج اللغوية تسلط الضوء على قيود كبيرة في قدرة النماذج على تفسير وتحليل التسلسلات الزمنية من المدخلات البصرية. يشير الباحثون إلى أن هذه التحديات تظل حتى مع استخدام مدخلات الصورة المتعددة والتحفيزات المُحسَّنة، مما يشير إلى قيود أساسية في هياكل النماذج وطرق التدريب الحالية.
أظهرت الاختبارات تباينًا كبيرًا في الأداء عبر استراتيجيات التحفيز. بينما تحسنت GPT-4o مع التحفيزات المُحسَّنة (وصلت إلى 4% في الصورة المفردة و 65.3% في الصور المتعددة)، ظل الأداء دون المستوى المقبول.
كانت نماذج مثل LLaVA-NeXT و Qwen-VL أكثر حساسية، حيث انخفض أداؤهم عند استخدام تحفيزات بديلة، مما يشير إلى أن هندسة التحفيز وحدها لا يمكن أن تتغلب على قيود النماذج اللغوية الأساسية فيما يتعلق بالمنطق الزمني.
كما أشارت الاختبارات إلى أن تنسيق الصورة (أي، رأسي مقابل أفقي) أثر بشكل كبير على أداء النموذج. تحسنت GPT-4o من ثباتها مع الترتيبات الرأسية، حيث ارتفعت من 39.2% إلى 52.8%؛ ومع ذلك، أظهرت نماذج أخرى، بما في ذلك سلالة LLaVA، تحيزات اتجاهية قوية، وتفوقت في اتجاه واحد وفشلت في الآخر.
يشيرPaper إلى أن هذه الانconsistencies تشير إلى الاعتماد على الإشارات المكانية، وليس المنطق الزمني الحقيقي، حيث لا تقوم النماذج اللغوية بتحليل تسلسل الأحداث أو فهم تقدمها بمرور الوقت. بدلاً من ذلك، يبدو أنها تعتمد على الأنماط أو الميزات البصرية المرتبطة بترتيب الصور، مثل موضعها أو محاذاتها، لاتخاذ القرارات.
اختبارات نوعية تسلط الضوء على تنبؤات GPT-4o عند مواجهة أوامر مدخلات مختلفة. في الأمر الأول، يتم تقديم أزواج الصور في تسلسلها الأصلي، بينما في الأمر الثاني، يتم عكس التسلسل. يتم تحديد التصنيفات الصحيحة باللون الأخضر، والتصنيفات الخاطئة باللون الأحمر، والمنطق المتخيل باللون البرتقالي، والمنطق غير المنطقي أو “غير صالح” باللون البني، مما يكشف عن عدم ثبات النموذج عبر تكوينات مدخلات مختلفة.
أظهرت الاختبارات بين مدخلات الصورة المفردة والصورة المتعددة تحسنًا محدودًا، حيث أدت GPT-4o بشكل أفضل قليلاً مع مدخلات الصورة المتعددة، حيث ارتفعت من 31.0% إلى 43.6% (مع P1) و 46.0% إلى 65.3% (مع P2).
أظهرت نماذج أخرى، مثل InternVL، أداءً مستقرًا ولكن منخفضًا، بينما حقق Qwen-VL مكاسب صغيرة. يخلص المؤلفون إلى أن هذه النتائج تشير إلى أن السياق البصري الإضافي لا يعزز بشكل كبير قدرات المنطق الزمني، حيث تعاني النماذج من دمج المعلومات الزمنية بشكل فعال.
دراسة بشرية
في دراسة بشرية، تم إجراء ثلاثة استطلاعات لتقييم أداء أفضل نموذج لغوي متعدد الوضع (GPT-4o) مقارنة بالأداء البشري.
حققت البشر دقة 90.3%， متجاوزة أداء GPT-4o بنسبة 25%. أظهرت مجموعة البيانات موثوقية، مع أخطاء بشرية طفيفة ووافقة متسقة على الإجابات الصحيحة.
نتائج دراسة المستخدمين البشر في الجولة الأولى من الاختبارات.
تقدير الفجوة الزمنية: النتائج
نتائج TLE: تقدير الفجوة الزمنية يقيم دقة النموذج في تحديد الفترات بين أزواج الصور، عبر مقاييس زمنية من ثوان إلى سنوات. تُقيم المهمة قدرة كل نموذج على اختيار مقياس زمني صحيح للفجوة الزمنية.
في هذه الاختبارات، أدت النماذج اللغوية بشكل كافٍ فقط في تقدير الفجوة الزمنية: حققت GPT-4o دقة 70%، ولكن أدت النماذج الأخرى بشكل أسوأ بكثير (انظر الجدول أعلاه)، وأداء النماذج تباين أيضًا بشكل ملحوظ عبر المقاييس الزمنية المختلفة.
يشير المؤلفون إلى ما يلي:
‘مهمة تقدير الفجوة الزمنية تختبر قدرة النماذج اللغوية على استنتاج الفترات الزمنية بين أزواج الصور. جميع النماذج اللغوية، بما في ذلك الأفضل مثل GPT-4o و Gemini1.5-Pro، تعاني من هذه المهمة، وتحقق مستويات دقة متوسطة فقط، تتراوح بين 60-70%. تُظهر GPT-4o أداءً غير متسق، مع أداء قوي في الثواني والسنة، ولكنها تتفوق في الساعات.
‘في modo مشابه، يُظهر LLaVA-CoT أداءً استثنائيًا في فترات زمنية الثواني والأيام، بينما يُظهر أداءً ضعيفًا بشكل ملحوظ في الفترات الزمنية الأخرى.’
دراسة بشرية
في دراسة بشرية لتقدير الفجوة الزمنية، تحسنت الأداء البشري المتوسط على GPT-4o (أفضل نموذج لغوي في هذه الفئة أيضًا) بنسبة 12.3%.
يشير المؤلفون إلى أن بعض التحديات كانت صعبة بشكل خاص، وأن جميع المشاركين البشر عادوا إجابة خاطئة في حالة واحدة، إلى جانب جميع المشاركين الآليين.
يخلص المؤلفون إلى أن GPT-4o تُظهر قدرات منطقية معقولة، على الرغم من ترتيب الصور المقدمة لها.
الاستنتاج
إذا جمعت النماذج اللغوية في النهاية ما يكفي من بيانات “الطرق القصيرة” لتغطية حتى التحديات الأكثر حيلولة في نوعية الدراسة التي قدمها المؤلفون، فمن المحتمل أن يصبح سؤال ما إذا كانت قد طورت قدرات عامة على النمط البشري في هذا المجال أمرًا غير ذي صلة.
لا يُعرف أيضًا بالضبط كيف نكتسب قدراتنا الخاصة في المنطق الزمني – هل نخدع أيضًا حتى تظهر لنا الكمية الهائلة من الخبرات المكتسبة نمطًا يعمل كـ “غريزة” فيما يتعلق بهذا النوع من الاختبار؟
* من وجهة النظر التي يتم فيها تحسين النماذج بشكل متزايد مع وظائف الخسارة التي ساهمت فيها ردود فعل بشرية، وتم تحسينها بشكل فعال من خلال تجارب بشرية وترشيح لاحق.
نشر لأول مرة يوم الإثنين، 27 يناير 2025
