يفضل الذكاء الاصطناعي قراءة الكتاب أكثر من مشاهدة الفيلم

من المدهش أن يكون من الصعب الحصول على نماذج الذكاء الاصطناعي لمشاهدة ومعلق على المحتوى المرئي الفعلي ، حتى لو تم تصميمها لهذا الغرض. إنهم أكثر اهتماما بالكلمة المكتوبة.

إذا كنت قد حاولت تحميل مقطع فيديو صغير إلى ChatGPT أو إلى نموذج رؤية/لغة مشابه ، فقد تفاجأت بمعرفة أنهم لا يستطيعون في الواقع تحليل الفيديو. بينما يمكن للنماذج مثل ChatGPT-4o+ تحليل الإطارات الفردية – في شكل صور ، مثل JPEG و PNG – فإنهم يفضلون أن يقوم المستخدم باستخراج إطاراته الخاصة و تحميلها كصور (التي هم مستعدون للتعليق عليها).

في حالة سلسلة OpenAI GPT ، يمكن ، بعد بعض الجهد ، استخراج تشغيل كامل من إطار من مقطع فيديو و تغذيته إلى ChatGPT ، لغرض ، على سبيل المثال ، توليد مسار روائي من صنع الذكاء الاصطناعي للفيديو:

صور ورمز من درس OpenAI حول تحليل الإطارات المستخرجة المتعددة لغرض تطوير تعليق من صنع الذكاء الاصطناعي لمقطع فيديو. مصدر

لكن يقع على عاتق المستخدم القيام بتحويل الفيديو إلى إطارات ، إما عن طريق استدعاء الوظائف في روتين أكبر ، كما هو الحال في المثال السابق ، أو استخراج الإطارات باستخدام FFMPEG أو حلول تحرير فيديو مجانية ومुगतلة.

إلى حد ما ، ربما إلى حد كبير ، تعتمد القيود على تحليل الفيديو في منتجات كبيرة مثل ChatGPT على استخدام الموارد: مجرد تزويد مثيل واحد من الذكاء الاصطناعي باختيار من أشهر ترميزات الفيديو ، وتخصيص موارد الحاسوب لعملية استخراج الفيديو التي تثقل على القرص وتحد من معالجة الحاسوب ، ليست مسألة تافهة ، إذا قرر مئات الملايين من المستخدمين البدء في استخدام هذه المرافق كل يوم.

علاوة على ذلك ، يمكن التحليل الزمني أن ي描ين صورة مختلفة تمامًا عن الإطار الفردي (تخيل شخصًا يدخل منزلًا بحالة مزاج جيدة ثم يكتشف جثة) ؛ لذلك ، يجب مراعاة الخلاصة الزمنية الكاملة حتى للفيديو القصير هو مهمة صعبة ومكلفة من حيث الموارد – بالإضافة إلى كونها مجالًا متخصصًا من أدبيات البحث ، على سبيل المثال ، مع التطور المستمر لإطارات مثل الflux البصري – الذي “يفتح” في الواقع مقطعًا من الفيديو حتى يمكن اعتباره واعتباره وكأنه وثيقة ثابتة:

<img class=" wp-image-225176" src="https://www.unite.ai/wp-content/uploads/2025/10/optical-flow.jpg" alt="رسومات flux البصري توضح كيف يتم تتبع الحركة عبر الإطارات في تسلسل فيديو ، مع وجود متجهات خضراء توضح اتجاه و شدة الحركة. توفر هذه الخرائط الاستمرارية الزمنية اللازمة للنماذج اللغة البصرية ويمكن أن تخدم أيضًا كدليل هيكلي في تدفقات العمل للفكس.

مصدر

الاستسلام لمذكرات كليف

على الرغم من ذلك ، منذ أن يمكن لنماذج مثل Notebook LM التابعة لجوجل ومدخلات ChatGPT الأخيرة قراءة البيانات الوصفية المرتبطة (أي المحتوى النصي المضمن الذي يوفر سياقًا للفيديو ب某种方式) ، فإنهم لا يحظرون تحميل ملفات الفيديو ؛ وأحيانًا ، قد يحاولون حتى تفسير فيديو لا يحتوي على بيانات مفيدة:

في الحالة التالية ، قمت بتحميل مقطعًا عشوائيًا مدته 6 ثوانٍ من الفيلم الإيطالي يد الله (2021) إلى NotebookLM ، مع التأكد من أن المقطع لا يحتوي على نص مفيد ، إما في البيانات الوصفية أو في اسم الملف.

ثم قام NotebookLM بمخاطرة متعمدة لخلق محتوى غير متعلق بالفيديو ، كاملاً مع بودكاست غير منطقي وغير متعلق مدته خمس دقائق:

لحظة يومية في مقطع فيديو مدته 6 ثوانٍ من فيلم إيطالي يتم تفسيره بشكل خيالي من قبل NotebookLM. مصدر: جوجل NotebookLM

على الرغم من أن Notebook ، مثل ChatGPT ، سيقبل فيديو YouTube كمدخل ، إلا أنه سيفعل ذلك فقط إذا كان الفيديو يحتوي على طبقة نصية قابلة للتفسير و / أو عناوين:

بهذه الطريقة ، يتم عمل الجهد الشاق لفعلually النظر إلى المحتوى الفعلي للفيديو والاستماع إليه وتنفيذ التفسير الدلالي (الذي هو ضرورة قانونية لشركة YouTube ، بسبب إجراءات حماية حقوق النشر ، و نظامها القادم لتحديد الهوية) بعد تحميل المستخدم ، و عند توافر الموارد اللازمة:

TL;DW

هذا ، وفقًا для ورقة جديدة من جامعة بريستول في المملكة المتحدة ، بعنوان الفيديو ليسworth ألف كلمة ، حيث يخلص المؤلفان إلى أن نماذج اللغة البصرية الحالية (VLMs) – النماذج المخصصة لتحليل الفيديو بطرق أكثر جهدًا ، والمشاركة في إجابة الأسئلة الفيديوية (VQA) – تعتمد أيضًا على المعلومات النصية عند وجودها:

عندما قدم المؤلفون نماذج مع صور متحركة وأسئلة و إجابات متعددة ، وجدوا أن النماذج غالبًا ما اعتمدت على الأنماط في النص ، chứ لا شيء يحدث على الشاشة – وفي العديد من الحالات ، أدت بنفس القدر من الجودة حتى عند إزالة السؤال كاملًا.

في ما يبدو أنه شكل من أشكال الاختصار أو الغش ، ما كان مهمًا للغاية بالنسبة لأغلب النماذج هو القدرة على تحديد الأنماط في الإجابات الممكنة ؛ فقط عندما أصبح المهمة أكثر صعوبة ، من خلال إضافة المزيد من خيارات الإجابة ، بدأت الذكاء الاصطناعي في الاهتمام أكثر بالفيديو:

أجرى المؤلفون اختبارات VQA تحت ظروف مختلفة على ست نماذج VLM ذات سمات متنوعة ؛ ووجدوا أن النتائج تشير إلى اعتماد النماذج على النص أكثر من المحتوى الفيديوي:

مثال من الدراسة يظهر كيف يزن نموذج تحليل الفيديو ما يرى وما يقرأ. يظهر المقطع شخصًا ينسج البامبو ، ومع ذلك ، يخصص النموذج أهمية أكبر للنص السؤال والإجابة أكثر من إطارات الفيديو نفسها. تظهر الألوان الزرقاء الداكنة العناصر التي تدعم الإجابة المختارة ، في حين تظهر الألوان الحمراء الداكنة تلك التي تسحبها في الاتجاه المعاكس ، مما يظهر كيف يركز منطق النموذج على الصياغة أكثر من الصور المتحركة.

الطريقة

للفهم كيف يساهم كل مدخل في قرار النموذج ، يستخدم العمل الجديد طريقة من نظرية الألعاب تسمى قيم شابلي. تم تصميم هذه الطريقة في الأصل لتوزيع العائد العادل بين اللاعبين في تحالف ، وتخصص قيم شابلي الائتمان لكل “لاعب” بناءً على تأثيره الفردي.

بصورة فعالة ، إذن ، “اللاعبون” في هذا السيناريو هم إما إطارات الفيديو أو مكونات النص (التعليقات ، العناوين ، إلخ) لمهمة VQA ؛ و “العائد” هو إجابة النموذج النهائية. من خلال اختبار ما يحدث عند إضافة أو إزالة كل جزء ، تكشف التقنية عن مدى أهمية كل عنصر في الوصول إلى الإجابة المختارة.

المقاييس

تم تعريف مقياسان بسيطان لمقارنة مقدار مساهمة كل نمطية (أي الفيديو أو السؤال أو الإجابة) في قرار النموذج: مساهمة النمطية يقيس مقدار Explanation الكلي الذي جاء من كل نوع من المدخلات ؛ هنا ، يتم جمع جميع قيم شابلي المتاحة ، ويتم حساب الحصة الخاصة بكل نمطية كنسبة مئوية من الإجمالي.

ثانيًا ، مساهمة لكل ميزة يصحح حقيقة أن بعض النمطيات ، مثل الفيديو ، تحتوي على العديد من الميزات أكثر من غيرها. بدلاً من ذلك ، يتم حساب قيمة شابلي المتوسطة لكل ميزة ، ويتم مقارنة هذه القيم المتوسطة لتحديد نمطية السائد.

البيانات والاختبارات

قام المؤلفون باختبار النهج على ست نماذج VLM ذات سمات متنوعة ، مصممة لضمان أن مبادئ الاختبارات تكون قابلة للتطبيق بشكل عام:

تم اختيار النماذج لطول سياق مختلف ، وعمر مختلف (أي منذ إطلاق الإطار) ، وتكوين بنية مختلف. كان المتسابقون FrozenBiLM؛ InternVideo؛ VideoLLaMA2؛ VideoLLaMA3؛ LLaVa-Video (الذي يعتمد على Qwen2) ؛ و LongVA (الذي يستخدم أيضًا Qwen2).

من أجل التنوع نفسه ، تم اختيار أربعة مجموعات بيانات مستهدفة: EgoSchema ، وهو مجموعة بيانات VQA مصممة لتكون مستحيلة دون مشاهدة الفيديو المرتبط ؛ HD-EPIC ، وهو مجموعة بيانات تركز على المطبخ وتتميز بفيديوهات غير عادية الطول ؛ MVBench ، وهي مجموعة محددة من المساهمات من مجموعات بيانات أخرى ؛ و LVBench ، الذي يطرح أسئلة VQA حول فيديوهات طويلة جدًا.

منها ، قام المؤلفون بتصميم 60 سؤالاً – عشرة من كل نوع سؤال.

أوضحت مقاييس المساهمة أن معظم النماذج تعتمد أقل على الفيديو وأكثر على النص ، خاصة عند الحكم على الإطارات إطارًا إطارًا. حتى عندما كان للفيديو أداء معقول في المساهمة الإجمالية ، كانت تأثيراته لكل ميزة غالبًا ما تكون طفيفة ، مما يشير إلى أن النموذج قد يستخدم الفيديو بشكل عام ، ولكنه يهمل الإطارات الفردية. كان VideoLLaMA3 هو المتميز الرئيسي هنا ، مع اعتماد مرئي أقوى ، خاصة على التسلسلات الأطول في LVBench:

درجات مساهمة النمطية (MC) ومساهمة لكل ميزة (PFC) عبر النماذج والمجموعات البيانية ، مما يظهر الوزن النسبي للمدخلات الفيديو (V) ، والسؤال (Q) ، والإجابة (A). تشير الألوان الباردة إلى مساهمات أقوى ، بينما تشير الألوان الدافئة إلى تأثيرات أضعف أو غير مهمة. في معظم الإعدادات ، يهيمن اللغة على الفيديو – خاصة في التأثير لكل إطار.

فيما يتعلق بالنص ، كان السؤال يميل إلى أن يكون أكثر أهمية من الإجابة ، خاصة في النماذج الأقوى. كان هذا أكثر وضوحًا في مجموعات بيانات مثل EgoSchema ، حيث كانت الأسئلة أطول وأكثر طبيعية ، بينما كانت الإجابات قصيرة وأحيانًا مخططة. عكس MVBench هذا إلى حد ما ، حيث زادت بنية الإجابة الثنائية من أهمية رمز الإجابة.

عبر جميع النماذج والمجموعات البيانية ، ومع ذلك ، تم التخلي عن الرؤية باستمرار ، حيث قامت اللغة بأداء العمل الشاق.

ينصPaper على ما يلي:

‘[لنماذج السياق الطويل] ، يظهر الفيديو مساهمات مخفضة بشكل كبير ، مما يعني أن قيم شابلي لكل إطار تكون أصغر بكثير من نظيراتها في ميزات النص. ‘

‘الفيديو كنمطية برمتها لا يزال ذا صلة بالغ الأهمية ، ولكن هذا يدل على أن قيم شابلي لإطاراته الفردية أكثر مركزًا حول الصفر ، وأن انتباه النموذج إليها أقل توجيهًا من النص.’

لاختبار كيف يساهم كل جزء من المدخل في دقة النموذج ، أجرى الباحثون اختبارات إضافية باستخدام التحويل – إخفاء جزء أو أكثر من المدخل ، ومراقبة مدى تغير دقة النموذج الناتجة:

إذا انخفضت الأداء بشكل حاد عند إزالة مدخل معين ، فإن ذلك المدخل مهم ؛ إذا أدى النموذج بنفس القدر من الجودة ، فذلك يشير إلى أن الجزء المفقود لم يكن يعتمد عليه بشكل كبير. في هذا الصدد ، تعتبر اختبارات التحويل نوعًا من دراسة الإزالة التكرارية.

تأثير أداء إخفاء مدخلات الفيديو أو السؤال أو الإجابة عبر أربعة معايير VQA. تظهر النقاط التغيير من خط القاعدة غير المحجوب. الأحمر يعني دقة أقل ، والأخضر يعني دقة أعلى. غالبًا ما احتفظت النماذج بنقاط عالية بدون فيديو ، ولكن خسروا المزيد عند إزالة الإجابة (النص). يمكن إخفاء السؤال عادةً مع تأثير ضئيل.

تشير النتائج (الموضحة أعلاه) إلى أن الإجابات (الإجابات النصية في بيانات الاختيار المتعدد) تحمل أكبر وزن عبر اللوحة. غالبًا ما تسبب إخفاء الإجابة أكبر انخفاض في الدقة ، وأحيانًا يؤدي إلى خفض النماذج إلى أداء عشوائي:

ومع ذلك ، كان لإخفاء السؤال تأثير أقل بكثير ، مما يدعم الاكتشاف السابق بأن النماذج تقلل من قيمة السؤال.

في بعض الحالات ، حتى تحسنت الدقة عند إزالة السؤال ، مما يشير إلى أن النماذج كانت في بعض الأحيان مجرد مطابقة للإجابات مع أدلة نصية أو بصرية بدلاً من تقييم السؤال بشكل صحيح.

تختلف النماذج أيضًا في اعتمادها على الفيديو: بعضها احتفظ بأداء معقول بدون فيديو ، مما يؤكد مرة أخرى على مساهمة الفيديو المحدودة في العديد من التكوينات الحالية.

ثم قام المؤلفون بتحديد ما إذا كان يمكن إجبار النماذج على الاعتماد على الفيديو عن طريق إضافة المزيد من الإجابات الخاطئة إلى خيارات الاختيار المتعدد.

عندما كانت الإجابات الخاطئة سهلة ومستعارة من أسئلة أخرى ، تحسنت الأداء ، حيث قامت النماذج بمطابقة الأنماط النصية بدون تفكير كبير. لكن مع عشرة إجابات أو أكثر غير متعلقة ، بدأت في الاعتماد أكثر على الفيديو والسؤال:

مساهمة لكل ميزة ودقة لمدخلات الفيديو والسؤال والإجابة ، حيث يتم إضافة إجابات خاطئة إضافية إلى كل اختبار VQA ، مما يظهر أن زيادة عدد الإجابات الخاطئة يقلل من هيمنة النص ويزيد من التأثير النسبي للميزات البصرية والسؤال.

对于 VideoLLaMA3 ، قللت إخفاء الفيديو الدقة بنسبة 40٪ على EgoSchema و 15٪ على LVBench ، مما يشير إلى أن زيادة بسيطة في عدد الإجابات يمكن أن تhift النماذج بعيدًا عن اختصارات النص وتoward التفكير المتعدد الوسائط الحقيقي.

كما قام الباحثون بفحص كيف يتم توزيع الإسناد عبر المدخلات ، ونرى أدناه خرائط حرارة لقيم شابلي لكل مدخل نموذج:

خرائط حرارة لقيم شابلي لأربعة مجموعات بيانات ، حيث يظهر كل صف واحد من VQA ، وكل عمود ميزة فردية. تظهر ميزات الفيديو على اليسار ، تليها النص. تؤكد القيم الأقوى في مناطق النص (الحمراء) أن النماذج تعتمد بشكل أكبر على اللغة من الفيديو.

في تعليق على النتائج أعلاه ، يشير المؤلفون إلى ما يلي:

‘magnitude قيم شابلي أكبر بكثير على الجانب الأيمن من كل خريطة حرارة ، تمثيل الإسناد للسؤال والإجابة. هذه الحدود الواضحة هي حيث تنتهي الإطارات الفيديو وتبدأ ميزات النص ، مما يدل على أن مساهمة نمطية الفيديو أقل بكثير من السؤال / الإجابة. ‘

باختصار ، عبر جميع المجموعات البيانية ، تكون القيم أقوى بكثير نحو نهاية النص ، مما يشير بقوة إلى أن النماذج تعتمد بشكل أكبر على اللغة من الإشارات البصرية. حتى عندما يستخدم الفيديو ، تكون المساهمة موزعة بشكل رقيق عبر العديد من الإطارات ، غالبًا بدون نمط متسق.

نرى أدناه مثالًا موضحًا من EgoSchema. تم تحديد 16 إطارًا “أهم” باستخدام قيم شابلي وتم تلوينها وفقًا لتأثيرها ، مع توجيه الأزرق نحو مساهمة إيجابية والحمراء نحو مساهمة سلبية:

إسنادات شابلي لمثال واحد من EgoSchema ، مع عرض 16 إطارًا الأكثر تأثيرًا وجميع مدخلات النص. مساهمات الفيديو طفيفة مقارنة بالنص ، الذي يهيمن على منطق النموذج. الأزرق والحمراء تشير إلى التأثير الإيجابي والسلبي على الإجابة المختارة.

النتيجة هي أن كل إطار له تأثير ضعيف فقط مقارنة بالكلمات في السؤال والإجابة. الإشارات البصرية نادرة وغير متسقة ، بينما توجيه الكلمات مثل “كرسي” و “سياج” النموذج نحو الخيار الصحيح – أو بعيدًا عنه ، اعتمادًا على السياق.

الخلاصة

من يعمل في تحرير الفيديو أو تحليله سيعرف بالفعل كم هذه العمليات مكلفة من حيث الموارد ، ويفهم لماذا لا يمكن للشركات التي تتعامل مع ملايين الطلبات القائمة على الذكاء الاصطناعي يوميًا أن تسمح بمعالجات فيديو تفسيرية و تحريرية عشوائية للمستخدمين.

شيء واحد يجب تذكره في هذا الصدد هو أن معظم واجهات API للذكاء الاصطناعي التي ستجربها (باستثناء إصدار تجريبي جديد قصير الأمد لدعم بحث علمي جديد) تسعى إلى تحقيق رغبات المستخدمين على أدنى مستوى من إنفاق الموارد.

ذلك يعني الاعتماد على البيانات الوصفية الحالية من البيانات التي قدمها المستخدم أو استرجاع RAG ، إذا كان ذلك ممكنًا ؛ و استخراج البيانات الوصفية (إذا لزم الأمر) لمواد قابلة للفهم أكثر مثل PDF و المستندات و الصور الفردية.

ما لا يُعتبر هو تشغيل فيديو تم تحميله عبر CLIP أو أحدث إصدار من YOLO ، أو عبر أي نموذج VLM مكلف ومستهلك للزمن يمكنه تحديد ما يوجد في الإطارات وفهم ما يحدث في الفيديو المقدم ، مع مراعاة الزمنية.

ومع ذلك ، لا يعني ذلك أن الظواهر التي توثقها الورقة الحالية تنجم عن نهج هندسي مقتصد. يشير المؤلفون إلى أن النص يهيمن على أنماذج التدريب المتعددة الحالية بأي حال ، مما يشير إلى أن “اللغة البصرية” أقل تطورًا أو أقل أهمية أو إعلامية في سياق متعدد الوسائط أو (على الأقل في الوقت الحالي) أقل فهمًا.

* من المثير للاهتمام أن يبدو أن المواد التي جاءت بها NotebookLM هي إما أصلية تمامًا أو غير مؤشرة بواسطة جوجل ، لأنني غير قادر على العثور على أي نتائج ويب يمكن أن تكون قد تسربت إلى بيانات التدريب وطورت هذه الإخراج.

نشر لأول مرة يوم الجمعة ، 31 أكتوبر 2025 ؛ تم تحريره في الساعة 14:20 لتنسيق