تعليم الذكاء الاصطناعي لتقديم نقد أفضل للفيديوهات

في حين يمكن أن تكون نماذج اللغة والرؤية الكبيرة (LVLMs) مساعدة في تفسير بعض المقالات الصعبة في أدب الرؤية الحاسوبية، هناك مجال واحد حيث يتم تقييد هذه النماذج: تحديد الجودة والجوانب الخاضعة للرقابة من أي أمثلة فيديو التي ت συνοδεύ Accompany جديدة.

هذا هو جانب حاسم من الورقة، حيث غالباً ما تهدف الأوراق العلمية إلى generar التهيج من خلال النص أو الصور المثيرة – أو كليهما.

لكن في حالة المشاريع التي تتضمن 합성 فيديو، يجب على المؤلفين عرض خرج الفيديو الفعلي أو مخاطرة برفض عملهم؛ وفي هذه العروض يظهر الفجوة بين المطالبات الجريئة والأداء في العالم الحقيقي أكثر souvent.

قرأت الكتاب، لم أشاهد الفيلم

في الوقت الحالي، لا تتعامل معظم نماذج اللغة الكبيرة الشائعة (LLMs) ونماذج اللغة والرؤية الكبيرة (LVLMs) مع تحليل محتوى الفيديو بأي شكل من الأشكال، سواء كان نوعياً أو كمياً. بدلاً من ذلك، يمكنها فقط تحليل النصوص ذات الصلة – وربما خيوط التعليقات والنصوص الأخرى.

ومع ذلك، قد تخفي LLM عدم khả năngها الفعلية في تحليل الفيديوهات، trừ إذا كنت تطلب منها ذلك:

على سبيل المثال، يمكن لنموذج LLM مثل ChatGPT-4o أن يخفي أو ينكر عدم قدرته على مشاهدة الفيديوهات، trừ إذا طُلب منه ذلك:

على الرغم من أن نماذج مثل ChatGPT-4o متعددة الوظائف، ويمكنها تحليل الصور الفردية (مثل الإطارات المستخرجة من فيديو، انظر الصورة أعلاه)، هناك بعض القضايا حتى مع هذا:

أولاً، هناك قليل من الأساس للاعتماد على رأي LLM الخاضع للرقابة، لا سيما لأن LLMs لها ميل إلى “الرضا عن الناس” بدلاً من الخطاب الصادق.

ثانياً، من المحتمل أن تكون معظم مشاكل فيديو تم إنشاؤها لها جانب زمني يتم فقدانه تماماً في لقطة إطار – وبالتالي فإن فحص الإطارات الفردية لا يخدم الغرض.

أخيراً، يمكن للنموذج LLM تقديم حكم قيمي فقط بناءً على المعرفة النصية المكتسبة، على سبيل المثال فيما يتعلق بالصور المزيفة أو تاريخ الفن:

هذا ليس لقول أن LLM لا يمكنه الحصول على المعلومات مباشرة من فيديو؛ على سبيل المثال، مع استخدام أنظمة ذكاء اصطناعي مساعدة مثل YOLO، يمكن للنموذج LLM تحديد الكائنات في فيديو – أو يمكنه القيام بذلك مباشرة إذا تم تدريبه على عدد متجاوز للوظائف متعددة الوظائف.

然而، فإن الطريقة الوحيدة التي يمكن للنموذج LLM تقييم فيديو بشكل خاضع للرقابة (أي “لا يبدو ذلك حقيقيا لي”) هي من خلال تطبيق مقياس قائم على دالة الخسارة الذي يعكس الرأي البشري جيداً، أو الذي يتم إعلامه مباشرة من خلال الرأي البشري.

دالات الخسارة هي أدوات رياضية تستخدم خلال التدريب لقياس مدى ابتعاد تنبؤات النموذج عن الإجابات الصحيحة. توفر هذه الأدوات ملاحظات توجيهية لتعلم النموذج:

كلما زادت الخطأ، زادت دالة الخسارة. مع تقدم التدريب، يعدل النموذج معاملاته لتقليل هذه الخسارة، ويتحسن تدريجياً من قدرته على إجراء تنبؤات دقيقة.

تستخدم دوال الخسارة لتنظيم تدريب النماذج، ولضبط الخوارزميات المصممة لتقييم خرج نماذج الذكاء الاصطناعي (مثل تقييم المحتوى المحاكى الفوتوغرافي من نموذج فيديو مولد).

رؤية مشروطة

أحد أكثر المقاييس/دوال الخسارة شعبية هو مسافة فرشيت للاختراع (FID)، الذي يقيم جودة الصور المولدة عن طريق قياس التشابه بين توزيعها (الذي يعني هنا “كيف يتم توزيع الصور أو تصنيفها حسب الميزات البصرية“) وتوزيع الصور الحقيقية.

بشكل خاص، يقوم FID بحساب الفرق الإحصائي، باستخدام الوسيطات والانحرافات، بين الميزات المستخرجة من كلا المجموعتين من الصور باستخدام شبكة التصنيف Inception v3 (التي غالباً ما يتم انتقادها). يُظهر رقم FID الأقل أن الصور المولدة تشبه الصور الحقيقية أكثر، مما يعني جودة بصرية أفضل وتنوعاً.

然而، FID هو أساساً مقارن، ويمكن القول أنه ذاتي المرجعية. لتصحيح ذلك، يختلف نهج مسافة فرشيت المشروطة (CFD، 2021) عن FID من خلال مقارنة الصور المولدة بالصور الحقيقية، وتقييم درجة بناءً على مدى توافق كلا المجموعتين مع شرط إضافي، مثل تسمية فئة خاضعة للرقابة أو صورة إدخال.

بهذه الطريقة، يأخذ CFD في الاعتبار مدى دقة الصور في تلبية الشروط المقصودة، وليس فقط واقعيتها أو تنوعها بينها.

CFD يتبع اتجاهاً حديثاً نحو دمج التفسير البشري الخاضع للرقابة في دوال الخسارة و الخوارزميات المقاييسية. على الرغم من أن هذا النهج القائم على الإنسان يضمن أن الخوارزمية الناتجة لن تكون “بلا روح” أو ميكانيكية فقط، إلا أنه يطرح في الوقت نفسه عدداً من القضايا:

إمكانية التحيز؛ عبء تحديث الخوارزمية بما يتماشى مع الممارسات الجديدة، وحقيقة أن هذا سيزيل إمكانية المعايير المقارنة الثابتة على مدى سنوات عبر المشاريع؛ والقيود المالية (سيكون عدد أقل من المساهمين البشريين يجعل القرارات أكثر موثوقية، بينما يمكن أن يمنع عدد أكبر من التحديثات المفيدة بسبب التكلفة).

cFreD

هذا يأتي إلى ورقة جديدة من الولايات المتحدة التي تقدم Apparently مسافة فرشيت المشروطة (cFreD)، وهي نهج جديد في CFD مصمم لت phản映 تفضيلات الإنسان بشكل أفضل من خلال تقييم الجودة البصرية وتناغم الصورة والنص

يجادل المؤلفون بأن الأساليب التقليدية لتقييم نماذج الصورة-النص لا تتماشى جيداً مع الحكم البشري لأنها تقيس فقط جودة الصورة دون النظر في كيفية مطابقة الصور للنصوص:

على سبيل المثال، في مجموعة بيانات تحتوي على صورة كلب و صورة قطة، كل واحدة منها مقترنة بتحفيزها المقابل، سيكون نموذج الصورة-النص المثالي الذي يخطئ في مطابقة الصور (أي يولد صورة قطة لتحفيز كلب و العكس) سيكون له درجة FID قريبة من الصفر لأن التوزيع العام للكلاب والقطط يتم الحفاظ عليه، على الرغم من عدم مطابقة التحفيزات المقصودة.

يُظهر المؤلفون أن cFreD يلتقط بشكل أفضل تقييم جودة الصورة وشرط الإدخال، مما يؤدي إلى تحسين المطابقة مع تفضيلات الإنسان:

概念 وطريقة

يشير المؤلفون إلى أن المعيار الذهبي الحالي لتقييم نماذج الصورة-النص يتضمن جمع بيانات تفضيل الإنسان من خلال مقارنات جماعية، مشابهة للطرق المستخدمة في نماذج اللغة الكبيرة (مثل LMSys Arena).

على سبيل المثال، يستخدم PartiPrompts Arena 1600 تحفيز إنجليزي، ويقدم للمشاركين أزواجاً من الصور من نماذج مختلفة ويسألهم اختيار صورة مفضلة.

بشكل مشابه، يستخدم Text-to-Image Arena Leaderboard مقارنات المستخدم لخرج النماذج لتوليد تصنيفات من خلال نقاط ELO.

然而، يُجمع هذا النوع من بيانات التقييم البشري ببطء وبتكلفة، مما أدى إلى توقف بعض المنصات – مثل PartiPrompts Arena – عن التحديثات.

تعتمد الطرق البديلة على بيانات تفضيل بشري تاريخية، ولكن فعاليتها في تقييم نماذج مستقبلية لا تزال غير مؤكدة، لأن تفضيلات الإنسان تتطور باستمرار.

لذلك، من المرجح أن تظل المقاييس الآلية مثل FID و cFreD أدوات تقييم حاسمة.

يفترض المؤلفون أن الصور الحقيقية والصور المولدة مشروطة على تحفيزها تتبع توزيعات غاوسية، كل واحدة منها محددة بواسطة وسائط مشروطة ومتغيرات.

يقيس cFreD المسافة الفرشيت المتوقعة عبر التحفيزات بين هذه التوزيعات المشروطة. يمكن صياغة هذا إما بشكل مباشر من حيث الإحصاءات المشروطة أو من خلال دمج الإحصاءات غير المشروطة مع التباين المتقاطع المتعلق بالتحفيز.

من خلال دمج التحفيز بهذه الطريقة، يمكن ل cFreD تقييم كل من واقعية الصور وتماسكها مع النص المقدم.

بيانات واختبارات

为了 تقييم مدى مطابقة cFreD لتفضيلات الإنسان، استخدم المؤلفون تصنيفات الصور من نماذج مختلفة تم تحفيزها بنفس النص.

استندت تقييماتهم إلى مصدرين: مجموعة بيانات Human Preference Score v2 (HPDv2) التي تحتوي على تسعة صور مولدة و صورة COCO حقيقية لكل تحفيز؛ و PartiPrompts Arena التي تحتوي على خرج من أربعة نماذج عبر 1600 تحفيز.

جمّع المؤلفون النقاط المبعثرة من Arena في مجموعة بيانات واحدة؛ في الحالات التي لم تصنف الصورة الحقيقية أعلى تصنيف في التقييمات البشرية، استخدموا الصورة الأعلى تصنيفاً كمرجع.

为了 اختبار نماذج أحدث، عينوا 1000 تحفيز من مجموعات تدريب و اختبار COCO، مع التأكد من عدم وجود أي تكرار مع HPDv2، وأنشأوا صوراً باستخدام تسعة نماذج من قائدة Arena. خدمت الصور الأصلية من COCO كمراجع في هذه المرحلة من التقييم.

تم تقييم نهج cFreD من خلال أربعة مقاييس إحصائية: FID؛ FDDINOv2؛ CLIPScore؛ و CMMD. كما تم تقييمه مقابل أربعة مقاييس تم تدريبها على بيانات تفضيل بشري: Aesthetic Score؛ ImageReward؛ HPSv2؛ و MPS.

تم تقييم التطابق مع الحكم البشري من منظور التصنيف والتصنيف:

أظهرت النتائج الأولية للمؤلفين أن:

من بين المقاييس الإحصائية، حقق cFreD أعلى مطابقة مع تفضيلات الإنسان، حيث بلغت نسبة المطابقة 0.97. بين المقاييس الإحصائية، حقق cFreD أعلى مطابقة وأعلى تصنيف، متجاوزاً حتى HPSv2، وهو نموذج تم تدريبه على بيانات تفضيل بشري.

أظهرت النتائج أن cFreD ي 제공 تصنيفات أكثر موثوقية عبر نماذج متنوعة مقارنة بالمقاييس الآلية التقليدية والمقاييس المدربة على بيانات تفضيل بشري.

أخيراً، قام المؤلفون بتقييم على مجموعة بيانات COCO باستخدام تسعة نماذج مولدة للصورة-النص الحديثة:

تم الحصول على تصنيفات تفضيل الإنسان من Text-to-Image Leaderboard، وتم تقديمها كدرجات ELO:

بخصوص هذه الجولة، يذكر الباحثون:

من بين المقاييس الإحصائية (FID و FDDINOv2 و CLIPScore و CMMD و cFreD) و المقاييس المدربة على تفضيل بشري (Aesthetic Score و ImageReward و HPSv2 و MPS)، حقق cFreD أعلى مطابقة مع تفضيلات الإنسان، حيث بلغت نسبة المطابقة 0.33 و دقة تصنيف 66.67%.

يُظهر هذا النتيجة أن cFreD هو الثالث في ترتيب المقاييس الأكثر مطابقة، متجاوزاً فقط المقاييس المدربة على تفضيل بشري.

ختام

من الواضح أن حلول الحكم البشري في الحلقة هي النهج الأمثل لتطوير المقاييس ودوال الخسارة، ولكن نطاق وتكرار التحديثات اللازمة لهذه الأنظمة سيظل يجعلها غير عملية – ربما حتى وقت متأخر عندما يصبح المشاركة العامة في التقييمات مشجعة على نطاق واسع؛ أو كما هو الحال مع CAPTCHAs، يتم فرضها.

لا تزال مصداقية نظام المؤلفين الجديد تعتمد على مطابقته للحكم البشري، على الرغم من أنه على مسافة أبعد من العديد من النهج التي تشمل المشاركة البشرية.

يمكن أن يكون تجسيد معاييرنا الحالية للواقعية في الإخراج التوليدي في دالة مقياس خطأ، ويمكن أن يكون ذلك خطأ في المدى الطويل، لأن تعريفنا لهذا المفهوم يتعرض حالياً لهجوم من موجة جديدة من أنظمة الذكاء الاصطناعي التوليدية، ومن المقرر أن يتم استعراضه وتعديله بشكل متكرر.

في هذه المرحلة، كنت سأدرج عادةً مثالًا توضيحيًا للفيديو، ربما من إرسال أكاديمي حديث؛ لكن ذلك سيكون قاسياً – أي شخص قضى أكثر من 10-15 دقيقة في تصفح خرج الذكاء الاصطناعي التوليدي سيكون قد واجه بالفعل فيديوهات إضافية تظهر جودة موضوعية سيئة تشير إلى أن الورقة المرتبطة لن تكون دراسة رائدة.

† تم استخدام إجمالي 46 نموذجًا للعظام الصورية في التجارب، وليس جميعها مدرجة في النتائج المرسومة. يرجى الرجوع إلى ملحق الورقة للحصول على قائمة كاملة؛ تلك المذكورة في الجداول والأشكال تم إدراجها.

نُشر لأول مرة يوم الثلاثاء، 1 أبريل 2025