إعادة التفكير في تدريب الذكاء الاصطناعي للفيديو مع بيانات مُحَدَّثة من قبل المستخدم

نوع المحتوى الذي قد يرغب المستخدمون في إنشائه باستخدام نموذج مولد مثل Flux أو Hunyuan Video قد لا يكون دائمًا متاحًا بسهولة ، حتى لو كان طلب المحتوى معقولًا ، ويمكن أن نتوقع أن النموذج المولد قد يتعامل معه.

مثال على ذلك ، كما هو موضح في ورقة جديدة سنناقشها في هذا المقال ، يلاحظ أن نموذج OpenAI Sora المتزايد التعتيم لديه بعض الصعوبة في تقديم فراشة النار بشكل صحيح ، باستخدام التحفيز ‘الفراشة تلمع على ورقة العشب في ليلة صيفية هادئة’:

يملك نموذج OpenAI Sora فهمًا قليلاً مشوهًا لتشريح فراشة النار. مصدر: https://arxiv.org/pdf/2503.01739

منذ أن أختبرت التحفيز نفسه على Sora اليوم وحصلت على نتيجة قليلاً أفضل. ومع ذلك ، فشل Sora في تقديم الإضاءة بشكل صحيح – بدلاً من إضاءة طرف ذيل فراشة النار ، حيث تحدث الإضاءة الحيوية ، وضع الإضاءة بالقرب من قدمي الحشرة:

تجربتي الخاصة للتحفيز الذي قدمه الباحثون في Sora تنتج نتيجة تظهر أن Sora لا يفهم من أين تأتي ضوء الفراشة.

على العكس ، فإن محرك الاختلاس التوليدي Adobe Firefly ، الذي تم تدريبه على صور ومقاطع فيديو محمية بحقوق النشر التابعة للشركة ، تمكنت فقط من تحقيق معدل نجاح بنسبة 1 من 3 في هذا الصدد ، عندما حاولت التحفيز نفسه في ميزة الذكاء الاصطناعي التوليدي في Photoshop:

ينتج فقط آخر ثلاثة أجيال مقترحة للتحفيز الذي قدمه الباحثون ضوءًا في Adobe Firefly (مارس 2025) ، على الرغم من أن الضوء يتمتع بموقع صحيح في جزء من تشريح الحشرة.

هذا المثال تم تسليطه من قبل الباحثين في الورقة الجديدة لتوضيح أن التوزيع والتركيز والتغطية في مجموعات التدريب المستخدمة في النماذج الأساسية الشائعة قد لا تتوافق مع احتياجات المستخدم ، حتى لو كان المستخدم لا يطلب شيئًا خاصًا – وهو موضوع يثير التحديات المُستَجدَة في تعديل مجموعات بيانات التدريب على نطاق كبير إلى نتائجها الأكثر فعالية كنموذج مولد.

يصرّح المؤلفون:

‘[Sora] يفشل في التقاط مفهوم فراشة مُتَلَوِّمَة بينما ينجح في توليد العشب والليلة [ال夏ية]. من منظور البيانات ، نستدل أن هذا يعود في الغالب إلى أن [Sora] لم يتم تدريبه على مواضيع متعلقة بفراشة النار ، بينما تم تدريبه على العشب والليلة. بالإضافة إلى ذلك ، إذا كان [Sora] قد رأى الفيديو المعروض في [الصورة أعلاه] ، فسوف يفهم كيف يجب أن يبدو ضوء فراشة النار.’

هم يقدمون مجموعة بيانات جديدة ومحسَّنة ويقترحون أن طريقةهم يمكن أن يتم تحسينها في الأعمال المستقبلية لإنشاء مجموعات بيانات تتوافق بشكل أفضل مع التوقعات المستخدمة من العديد من النماذج الحالية.

بيانات للمستخدمين

بما أنهم يطرحون مقاربة لتحضير البيانات تقع بين البيانات المخصصة لنوع نموذج مثل LoRA (وهذه المقاربة quá محددة للاستخدام العام) ؛ ومجموعات عالية الحجم ومتعددة غير محددة (مثل مجموعة LAION التي تزوّد Stable Diffusion) التي لا تتوافق بشكل خاص مع أي سيناريو نهاية الاستخدام.

المنهجية الجديدة ، سواء كمنهجية أو مجموعة بيانات جديدة ، هي (بصورة معقدة) VideoUFO ، أو Users’ FOcus in text-to-video. تضم مجموعة بيانات VideoUFO 1.9 مليون مقطع فيديو يغطون 1291 موضوعًا محدَّدًا من قبل المستخدم. تم تطوير المواضيع نفسها بشكل متقن من مجموعة فيديو موجودة ، وتم تحليلها من خلال نماذج لغة متعددة و تقنيات معالجة اللغة الطبيعية (NLP):

أمثلة على المواضيع المُستَخْلَصة المُقَدَّمة في الورقة الجديدة.

تتميز مجموعة بيانات VideoUFO بكمية كبيرة من مقاطع الفيديو الجديدة التي تم جمعها من يوتيوب – “جديدة” بمعنى أن مقاطع الفيديو في السؤال لا تظهر في مجموعات بيانات الفيديو الحالية في الأدبيات ، وبالتالي في العديد من المجموعات الفرعية التي تم إنشاؤها منها (وكثير من مقاطع الفيديو تم تحميلها في الواقع بعد إنشاء المجموعات القديمة المذكورة في الورقة).

في الواقع ، يزعم المؤلفون أن هناك فقط 0.29% من الت重疊 مع مجموعات بيانات الفيديو الحالية – وهو إظهار مثير للإعجاب للجدة.

قد يكون أحد الأسباب هو أن المؤلفين كانوا سيقبلون فقط مقاطع فيديو يوتيوب ذات رخصة Creative Commons التي من شأنها أن تكون أقل احتمالاً لتقييد المستخدمين في المستقبل: من المحتمل أن هذا الفئة من مقاطع الفيديو قد تم تجاهلها في الغالب في المسح السابق ليوتيوب ومنصات أخرى عالية الحجم.

ثانيًا ، تم طلب مقاطع الفيديو على أساس الاحتياجات المُقدَّرة للمستخدم (انظر الصورة أعلاه) ، وليس بالتأكيد من خلال جمعها بشكل عشوائي. يمكن أن يؤدي هذا العاملان معًا إلى مجموعة così جديدة.

بالإضافة إلى ذلك ، قام الباحثون بفحص أرقام تعريف يوتيوب لمقاطع الفيديو المساهمة (أي مقاطع الفيديو التي قد تم تقسيمها لاحقًا وتخيلها من أجل مجموعة VideoUFO) مقابل تلك الموجودة في المجموعات الحالية ، مما يضفي مصداقية على الادعاء.

على الرغم من أن ليس كل شيء في الورقة الجديدة مقنع تمامًا ، إلا أنها قراءة مثيرة للاهتمام تبرز مدى استمرارنا في كوننا تحت رحمة التوزيعات غير المتكافئة في مجموعات البيانات ، من حيث العقبات التي تواجهها المشهد البحثي غالبًا في تحضير مجموعات البيانات.

العمل الجديد بعنوان VideoUFO: مجموعة بيانات على مستوى المليون لمولدات النص إلى الفيديو المُحَدَّثة من قبل المستخدم ، ويأتي من باحثين من جامعة تكنولوجيا سيدني في أستراليا ، وجامعة تشجيانغ في الصين.

أمثلة محددة من المجموعة النهائية للمواد.

مُشتري شخصي للبيانات

الموضوعات والمفاهيم الموجودة في مجموعات الصور ومقاطع الفيديو على الإنترنت لا تعكس بالضرورة ما قد يطلب المستخدم العادي من نظام مولد; حتى حيث يتقاطع المحتوى والطلب (مثل البورنو ، الذي يتوفر بكمية وفيرة على الإنترنت و يهمّ العديد من مستخدمي الذكاء الاصطناعي) ، قد لا يتوافق هذا مع نية المطورين ومعاييرهم لنظام مولد جديد.

إلى جانب كمية كبيرة من المحتوى غير اللائق الذي يتم تحميله يوميًا ، من المحتمل أن يكون جزء كبير من المحتوى المتاح على الإنترنت من قبل المعلنين وأولئك الذين يحاولون التلاعب بالتحسين للبحث. يجعّل هذا الاهتمام التجاري من توزيع الموضوعات بعيدًا عن الحيادية; أسوأ من ذلك ، من الصعب تطوير أنظمة تصفية قائمة على الذكاء الاصطناعي يمكنها التعامل مع هذه المشكلة ، لأن الخوارزميات والنموذج المطور من البيانات الهامة قد ي phản ánh نفس الميول والأولويات الموجودة في بيانات المصدر.

لذلك ، قام مؤلفو العمل الجديد بمواجهة المشكلة من خلال عكس المقترح ، من خلال تحديد ما يريد المستخدمون ، والحصول على مقاطع فيديو تتوافق مع هذه الاحتياجات.

على السطح ، يبدو هذا النهج كما لو كان على وشك أن يؤدي إلى سباق семанти إلى أسفل ، كما لو كان من المحتمل أن يؤدي إلى تحقيق توازن وحيادية على نمط ويكيبيديا. تعديل تحضير البيانات حول طلب المستخدم يخاطر بتعزيز تفضيلات أدنى مشترك بينما يتم تهميش المستخدمين النيเช ، لأن اهتمامات الأغلبية ستحمل بالتأكيد وزنًا أكبر.

مع ذلك ، دعونا نلقي نظرة على كيفية تعامل الورقة مع التحدي.

استخلاص المفاهيم بدقة

استخدم الباحثون مجموعة بيانات VidProM لعام 2024 كمنبع لتحليل الموضوع الذي سيinformatics المشروع لاحقًا.

تم اختيار هذه المجموعة ، كما يقول المؤلفون ، لأنها المجموعة العامة الوحيدة التي تضم أكثر من مليون عنصر “مكتوبة من قبل مستخدمين حقيقيين” – ويجب أن يُذكر أن هذه المجموعة تم تحضيرها من قبل مؤلفي الورقة الجديدة.

تشرح الورقة:

‘أولاً ، ندمج جميع التحفيزات البالغ عددها 1.67 مليون من VidProM في متجهات 384-بعد باستخدام SentenceTransformers. ثم نقوم بتركيب هذه المتجهات باستخدام K-means. يُلاحظ هنا أننا قد سبق لنا تحديد عدد المجموعات إلى قيمة كبيرة نسبيًا ، أي 2000 ، ودمج المجموعات المماثلة في الخطوة التالية.

‘أخيرًا ،对于 كل مجموعة ، نطلب من GPT-4o أن يخلص إلى موضوع [كلمة أو كلمتين].’

يشير المؤلفون إلى أن بعض المفاهيم هي منفصلة ولكنها قريبة بشكل ملحوظ ، مثل الكنيسة و الكاتدرائية. معايير قريبة جدًا في حالات من هذا القبيل ستؤدي إلى تضمين مفاهيم (على سبيل المثال) لكل سلالة من سلالات الكلاب ، بدلاً من مصطلح الكلب ؛ في حين أن معايير واسعة جدًا قد تؤدي إلى تجميع عدد كبير من المفاهيم الفرعية في مفهوم واحد مكتظ; لذلك يشير_paper إلى الحاجة إلى توازن ضروري لتقييم هذه الحالات.

تم دمج الأشكال المفردة والجمع ، واستعادة الأفعال إلى أشكالها الأساسية (الماضي). تم إزالة المصطلحات الواسعة جدًا – مثل الرسوم المتحركة ، المشهد ، الفيلم و الحركة -.

بهذه الطريقة ، تم الحصول على 1291 موضوعًا.

التحميل الانتقائي للويب

بعد ذلك ، استخدم الباحثون واجهة برمجة تطبيقات يوتيوب الرسمية للبحث عن مقاطع فيديو بناءً على المعايير المُستَخْلَصة من مجموعة بيانات عام 2024 ، سعياً إلى الحصول على 500 مقطع فيديو لكل موضوع. بالإضافة إلى رخصة Creative Commons المطلوبة ، كان كل مقطع فيديو يجب أن يكون له دقة 720p أو أعلى ، ويجب أن يكون أقل من أربع دقائق.

بهذه الطريقة ، تم جمع 586490 مقطعًا من يوتيوب.

قارن المؤلفون معرف يوتيوب لمقاطع الفيديو المُحَمَّلة بمجموعة من مجموعات البيانات الشائعة; يجب أن يُقرَّ أن هذه العملية توفر فقط فئات مكافئة تقريبية ، وبالتالي قد تكون هذه العملية خاضعة للذاتية.

على الرغم من ذلك ، في الصورة أدناه ، نرى النتائج التي حصل عليها الباحثون بهذه الطريقة:

مقارنة بين السمات الأساسية المُستَخْلَصة عبر VideoUFO والمجموعات السابقة.

يقرّ الباحثون بأن تحليلهم اعتمد على التعليقات والوصف الموجود في كل مجموعة بيانات. يقرّون بأن إعادة تعليق المجموعات القديمة باستخدام نفس الطريقة مثل VideoUFO قد قدّمت مقارنة أكثر مباشرة. ومع ذلك ، نظرًا لكمية كبيرة من النقاط البيانية ، يبدو أن استنتاجهم بأن هذا النهج سيكون باهظ التكلفة مبررًا.

الانقسام والتقييم

تم تقسيم مقاطع الفيديو المُحَمَّلة لاحقًا إلى عدة مقاطع ، وفقًا للمنهجية المحددة في ورقة Panda-70M المذكورة أعلاه. تم تقدير حدود اللقطة ، وتم تجميعها ، وتم تقسيم مقاطع الفيديو المُجمَّعة إلى مقاطع فيديو فردية ، مع توفير تعليقات موجزة ومتفصلة.

تتميز كل إدخال بيانات في مجموعة بيانات VideoUFO بمقطع ، معرف ، أوقات بدء وإنتهاء ، وتعليق قصير وتعليق مفصل.

تم التعامل مع التعليقات القصيرة بواسطة طريقة Panda-70M ، وتعليقات الفيديو المفصلة بواسطة Qwen2-VL-7B ، وفقًا للمعايير التي حددتها Open-Sora-Plan. في الحالات التي لم تنجح فيها مقاطع الفيديو في تجسيد المفاهيم المستهدفة ، تم تغذية التعليقات المفصلة لكل مقطع فيديو في GPT-4o mini ، من أجل تحديد ما إذا كان مناسبًا للموضوع حقًا. على الرغم من أن المؤلفين كانوا يفضلون التقييم عبر GPT-4o ، إلا أن هذا كان سيكون باهظ التكلفة للغاية لملايين مقاطع الفيديو.

تم التعامل مع تقييم جودة الفيديو باستخدام ستة طرق من مشروع VBench.

المقارنات

كرر المؤلفون عملية استخراج الموضوع على مجموعات البيانات السابقة. لذلك ، كان من الضروري مطابقة الفئات المستخرجة من VideoUFO مع الفئات المختلفة في المجموعات الأخرى; يجب أن يُقرَّ أن هذه العمليات توفر فقط فئات مكافئة تقريبية ، وبالتالي قد تكون هذه العملية خاضعة للذاتية.

على الرغم من ذلك ، في الصورة أدناه ، نرى النتائج التي حصل عليها الباحثون بهذه الطريقة:

مقارنة بين السمات الأساسية المُستَخْلَصة عبر VideoUFO والمجموعات السابقة.

يقرّ الباحثون بأن تحليلهم اعتمد على التعليقات والوصف الموجود في كل مجموعة بيانات. يقرّون بأن إعادة تعليق المجموعات القديمة باستخدام نفس الطريقة مثل VideoUFO قد قدّمت مقارنة أكثر مباشرة. ومع ذلك ، نظرًا لكمية كبيرة من النقاط البيانية ، يبدو أن استنتاجهم بأن هذا النهج سيكون باهظ التكلفة مبررًا.

التوليد

طور المؤلفون معيارًا لتقييم أداء نماذج النص إلى الفيديو على مفاهيم محددة من قبل المستخدم ، بعنوان BenchUFO. هذا يتضمن اختيار 791 اسمًا من 1291 موضوعًا مستخلصًا من VideoUFO.对于 كل موضوع ، تم اختيار عشرة تحفيزات نصية من VidProM بشكل عشوائي.

تم تمرير كل تحفيز إلى نموذج نص إلى فيديو ، مع استخدام Qwen2-VL-7B لتقييم النتائج المولدة. مع تقييم جميع مقاطع الفيديو المولدة ، تم استخدام SentenceTransformers لحساب تشابه الكوزينوس للوصف النصي المدخل والوصف المفترض لكل حالة.

مخطط لعمليات BenchUFO.

تم تقييم النماذج التوليدية التالية: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; و Pyramidal.

بالإضافة إلى VideoUFO ، تم استخدام MVDiT-VidGen و MVDit-OpenVid كبديل لمجموعات بيانات التدريب.

تم النظر في النتائج للسمات الأفضل والأقل أداءً (من 10 إلى 50) عبر جميع النماذج والمجموعات.

نتائج أداء نماذج T2V العامة مقابل نماذج المؤلفين المُدَرَّبة على BenchUFO.

يصرّح المؤلفون:

‘النماذج الحالية للنص إلى الفيديو لا تؤدي بشكل متسق جيد عبر جميع المواضيع المحددة من قبل المستخدم. على سبيل المثال ، هناك فرق في الدرجات يتراوح بين 0.233 و 0.314 بين أفضل 10 وأقل 10 مواضيع. هذه النماذج قد لا تفهم بشكل فعال مواضيع مثل “الأخطبوط العملاق” ، “الخلية الحيوانية” ، “فان غوخ” ، و “المصري القديم” بسبب نقص التدريب على مقاطع فيديو هذه المواضيع.’

‘تُظهر نماذج النص إلى الفيديو الحالية درجة من الاتساق في المواضيع التي تؤدي فيها بشكل جيد. نكتشف أن معظم نماذج النص إلى الفيديو تتفوق في توليد مقاطع فيديو حول مواضيع متعلقة بالحيوانات ، مثل “النورس” ، “الباندا” ، “الدلفين” ، “الجمل” ، و “البومة”. نستدل أن هذا يعود جزئيًا إلى انحياز المجموعات الحالية من مقاطع الفيديو تجاه الحيوانات.’

الاستنتاج

VideoUFO هو عرض ممتاز إذا كنا ننظر إليه فقط من حيث البيانات الجديدة. إذا لم يكن هناك خطأ في تقييم وإزالة أرقام تعريف يوتيوب ، وإذا كانت المجموعة تحتوي على الكثير من المواد الجديدة التي لم تظهر في المشهد البحثي من قبل ، فهي عرض نادر وقيم.

الجانب السلبي هو أنك تحتاج إلى الإيمان بالمنهجية الأساسية; إذا كنت لا تؤمن بأن طلب المستخدم يجب أن يُستَخدَم لتحديد صيغ التحميل ، فستكون تشتري مجموعة بيانات تأتي مع مجموعة من التحيزات المقلقة.

علاوة على ذلك ، يعتمد فائدة المواضيع المُستَخْلَصة على موثوقية طريقة الاستخلاص المستخدمة (التي عادة ما تكون مقيدة بالقيود المالية) ، وأيضًا على أساليب صياغة مجموعة بيانات عام 2024 التي توفر المواد الأصلية.

مع ذلك ، فإن VideoUFO يستحق بالتأكيد مزيدًا من التحقيق – وهو متاح في Hugging Face.

* بديلي لمراجع المؤلفين بالروابط.

نُشِر لأول مرة يوم الأربعاء ، 5 مارس 2025