تحسين جودة الفيديو التوليدي باستخدام FluxFlow من خلال إعادة ترتيب الإطارات أثناء التدريب

نشرت ورقة جديدة هذا الأسبوع على Arxiv تناولت مشكلة واجهها أي شخص استخدم مولد الفيديو Hunyuan أو Wan 2.1: الانحرافات الزمنية، حيث يميل عملية التوليد إلى تسريع أو إهمال أو تعطيل لحظات حاسمة في الفيديو التوليدي:

انقر للتشغيل. بعض من العيوب الزمنية التي أصبحت مألوفة للمستخدمين أنظمة الفيديو التوليدية الجديدة، موضحة في الورقة الجديدة. على اليمين، تأثير FluxFlow الجديد. مصدر: https://haroldchen19.github.io/FluxFlow/

يظهر الفيديو أعلاه مقاطع من مقاطع الفيديو التجريبية على موقع المشروع للورقة. يمكننا رؤية عدة مشاكل متزايدة في التوليد الأصلي، والتي يتم تخفيفها بواسطة طريقة المؤلفين (الموضحة على اليمين في الفيديو)، والتي هي في الأساس تقنية معالجة بيانات قابلة للتطبيق على أي بنية فيديو توليدية.

في المثال الأول، الذي يظهر طفلين يلعبون بكرة، نرى (على اليسار في الفيديو المجمع أعلاه وفي المثال المحدد أدناه) أن التوليد الأصلي يقفز بسرعة عبر حركات دقيقة أساسية، مما يزيد من سرعة نشاط الأطفال إلى مستوى “كارتوني”. في المقابل، نفس مجموعة البيانات والطريقة تنتج نتائج أفضل مع تقنية المعالجة الجديدة، التي تسمى FluxFlow (على اليمين من الصورة في الفيديو أدناه):

انقر للتشغيل.

في المثال الثاني (باستخدام NOVA-0.6B) نرى أن حركة مركزية تتضمن قطًا قد تم تدميرها أو عينة بشكل كبير في مرحلة التدريب، إلى الحد الذي يصبح فيه نظام التوليد “مُحجما” ويعجز عن جعل الموضوع يتحرك:

انقر للتشغيل.

هذا المرض، حيث يتوقف الحركة أو الموضوع، هو واحد من أكثر الأخطاء المزعجة ل HV و Wan، في مجموعات合成 الصور والفيديو.

بعض من هذه المشاكل تتعلق بمشاكل تعريف الفيديو في مجموعة البيانات المصدر، والتي نظرنا إليها هذا الأسبوع؛ لكن مؤلفي العمل الجديد يركزون جهودهم على الجوانب الزمنية لمجموعة البيانات التدريبية، ويقدمون حجة مقنعة بأن معالجة التحديات من هذا المنظور يمكن أن تؤدي إلى نتائج مفيدة.

كما ذكرنا في المقال السابق حول تعريف الفيديو، فإن بعض “الرياضات” صعبة بشكل خاص لتحويلها إلى لحظات رئيسية، مما يعني أن الأحداث الحاسمة (مثل Dunk) لا تحصل على الاهتمام الذي تحتاجه في وقت التدريب:

انقر للتشغيل.

في المثال أعلاه، لا يعرف نظام التوليد كيفية الانتقال إلى المرحلة التالية من الحركة، ويتحرك بشكل غير منطقي من وضع إلى آخر، مما يغير موقف وتركيبة اللاعب في العملية.

هذه حركات كبيرة فقدت في التدريب – ولكن الحركات الصغيرة الحاسمة معرضة للخطر بنفس القدر، مثل تحريك أجنحة الفراشة:

انقر للتشغيل.

على عكس Dunk، تحريك الأجنحة ليس حدثًا “نادرًا” ولكن حدثًا متكررًا ومملًا. ومع ذلك، يتم فقدان استمراريته في عملية العينة، لأن الحركة سريعة جدًا بحيث يصعب تحديدها زمنيًا.

هذه ليست مشاكل جديدة بشكل خاص، ولكنها تحظى باهتمام أكبر الآن أن نماذج فيديو توليدية قوية متاحة للمحترفين للتثبيت المحلي والتحليل الحر.

تم التعامل مع هذه القضايا في البداية من قبل مجتمعات Reddit و Discord على أنها “متعلقة بالمستخدم”. هذا افتراض مفهوم، لأن الأنظمة المذكورة هي جديدة جدًا ووثائقها محدودة. لذلك اقترح بعض الخبراء علاجات متنوعة (وليس دائمًا فعالة) لبعض العيوب المذكورة هنا، مثل تغيير الإعدادات في مكونات مختلفة من أنواع مختلفة من تدفقات ComfyUI ل Hunyuan Video (HV) و Wan 2.1.

في بعض الحالات، بدلاً من إنتاج حركة سريعة، ينتج كلا HV و Wan حركة “بطيئة”. تشمل المقترحات من Reddit و ChatGPT (التي تعتمد في الغالب على Reddit) تغيير عدد الإطارات في التوليد المطلوب، أو خفض معدل الإطار بشكل كبير*.

هذا كل شيء من الأمور اليائسة؛ الحقيقة الناشئة هي أننا لا نعرف بعد Causes Exact أو العلاج الدقيق لهذه القضايا؛ من الواضح أن تعذيب إعدادات التوليد للعمل حولها (特别 عندما يؤدي ذلك إلى تدهور جودة الإخراج، على سبيل المثال مع معدل إطار منخفض جدًا) هو فقط حل مؤقت، ومن الجيد أن نرى أن المشهد البحثي يعالج هذه القضايا الناشئة بسرعة.

لذلك، بالإضافة إلى نظرة هذا الأسبوع على كيفية تأثير تعريف الفيديو على التدريب، دعونا ننظر إلى الورقة الجديدة حول التنظيم الزمني، وما قد تقدمه من تحسينات للمشهد الحالي للفيديو التوليدي.

الفكرة المركزية بسيطة وقليلة، ولا تقل جودة؛ ومع ذلك، فإن الورقة ممتلئة إلى حد ما لتحقيق الصفحات الثمانية المحددة، وسنقوم بتخطي هذه الحشو حسب الضرورة.

سمكة في التوليد الأصلي لإطار VideoCrafter ثابتة، بينما يلتقط الإصدار المعدل بواسطة FluxFlow التغييرات المطلوبة. مصدر: https://arxiv.org/pdf/2503.15417

العمل الجديد بعنوان التنظيم الزمني يجعل مولد الفيديو الخاص بك أقوى، ويأتي من ثمانية باحثين عبر Everlyn AI، جامعة العلوم والتكنولوجيا في هونغ كونغ (HKUST)، جامعة فلوريدا الوسطى (UCF)، وجامعة هونغ كونغ (HKU).

(في وقت الكتابة، هناك بعض المشاكل مع موقع المشروع المرافق للورقة)

FluxFlow

تتمثل الفكرة المركزية وراء FluxFlow، مخطط التدريب الجديد للمؤلفين، في التغلب على مشاكل الفلاش والتناقضات الزمنية الشائعة من خلال إعادة ترتيب الكتل وال مجموعات من الكتل في ترتيب الإطارات الزمنية أثناء تعرض البيانات إلى عملية التدريب:

تتمثل الفكرة المركزية وراء FluxFlow في نقل الكتل ومجموعات الكتل إلى مواقع غير متوقعة وغير زمنية، كشكل من أشكال تعزيز البيانات.

تشرح الورقة:

‘ينشأ العيوب من قيود أساسية: على الرغم من استخدام مجموعات بيانات كبيرة النطاق، فإن النماذج الحالية تعتمد في الغالب على أنماط زمنية مبسطة في بيانات التدريب (على سبيل المثال، اتجاهات المشي الثابتة أو انتقالات الإطارات المتكررة) بدلاً من تعلم ديناميات زمنية متنوعة ومقبولة.

‘يتم تعزيز هذه القضية من خلال عدم وجود تعزيز زمني صريح خلال التدريب، مما يترك النماذج عرضة للتكيف مع علاقات زمنية خادعة (على سبيل المثال، “الإطار #5 يجب أن يتبع #4”) بدلاً من التعميم عبر سيناريوهات حركة متنوعة.’

تشرح الورقة أن معظم نماذج توليد الفيديو لا تزال تعتمد بشكل كبير على توليد الصور، مع التركيز على الإيمان المكاني بينما يتم تجاهل المحور الزمني في الغالب. على الرغم من أن تقنيات مثل القص والقلب والاضطراب اللوني ساهمت في تحسين جودة الصور الثابتة، إلا أنها ليست حلول كافية عند تطبيقها على الفيديوهات، حيث يعتمد وهم الحركة على انتقالات متسقة عبر الإطارات.

تشمل المشاكل الناتجة عنها تكتلات تلميع، وقفزات غير سليمة بين الإطارات، ونمط حركة متكرر أو بسيط للغاية.

انقر للتشغيل.

تجادل الورقة بأن بعض النماذج – بما في ذلك Stable Video Diffusion و LlamaGen – تعوض بعمارات أكثر تعقيدًا أو قيود هندسية، ولكن هذه الطرق تأتي بتكلفة فيما يتعلق بالحوسبة والمرونة.

منذ أن ثبت أن تعزيز البيانات الزمنية مفيدًا في مهام فهم الفيديو (في إطارات مثل FineCliper، SeFAR و SVFormer) من المدهش، يصر المؤلفون، أن هذا التكتيك نادرًا ما يتم تطبيقه في سياق توليدي.

السلوك المضطرب

يجادل الباحثون بأن الانحرافات البسيطة والموضوعة في الترتيب الزمني خلال التدريب تساعد النماذج على التعميم بشكل أفضل إلى حركة واقعية ومتنوعة:

‘من خلال التدريب على تسلسلات غير منضبطة، يتعلم المولد استعادة مسارات قابلة للتطبيق، وبالتالي تنظيم الإントروبيا الزمنية. FluxFlow يغلق الفجوة بين تعزيز الزمن التمييزي والتوليدي، ويوفر حلًا لتعزيز التوليد الفيديوي الزمني مع تحسين الجودة العامة.

‘على عكس الطرق الحالية التي تقدم تغييرات معمارية أو تعتمد على المعالجة اللاحقة، FluxFlow يعمل مباشرة على مستوى البيانات، ويقدم اضطرابات زمنية خاضعة للسيطرة خلال التدريب.’

انقر للتشغيل.

تؤكد الورقة أن اضطرابات مستوى الإطار تقدم انحرافات دقيقة داخل التسلسل. هذا النوع من الانحراف لا يختلف عن تعزيز التخفي، حيث يتم حجب أقسام من البيانات بشكل عشوائي، لمنع النظام التكيف المفرط على نقاط البيانات، وتشجيع أفضل تعميم.

الاختبارات

على الرغم من أن الفكرة المركزية هنا لا تصل إلى ورقة كاملة، بسبب بساطتها، إلا أن هناك قسم اختبار يمكننا النظر إليه.

اختبر المؤلفون لأربعة استفسارات تتعلق بتحسين الجودة الزمنية مع الحفاظ على الإيمان المكاني؛ القدرة على تعلم ديناميات الحركة / التدفق البصري؛ الحفاظ على الجودة الزمنية في التوليد الخارجي؛ والحساسية لأهم معلمات超.

طبق الباحثون FluxFlow على ثلاثة هياكل توليدية: قائم على U-Net، في شكل VideoCrafter2؛ قائم على DiT، في شكل CogVideoX-2B؛ وقائم على AR، في شكل NOVA-0.6B.

من أجل المقارنة العادلة، قاموا بتعديل نماذج القاعدة لهذه الهياكل مع FluxFlow كمرحلة تدريبية إضافية، لمدة دورة واحدة، على مجموعة بيانات OpenVidHD-0.4M.

تم تقييم النماذج ضد两个 معايير شائعين: UCF-101؛ و VBench.

对于 UCF، تم استخدام مقياس Fréchet Video Distance (FVD) و Inception Score (IS).对于 VBench، ركز الباحثون على الجودة الزمنية، جودة الإطار، والجودة العامة.

التقييم الكمي الأولي ل FluxFlow-Frame. "+ الأصلي" يشير إلى التدريب بدون FLUXFLOW، بينما "+ Num × 1" يظهر تكوينات FluxFlow-Frame المختلفة. أفضل النتائج محددة؛ الثانية أفضل محددة بأnderline لكل نموذج.

تعليقًا على هذه النتائج، يصر المؤلفون:

‘كلا FLUXFLOW-FRAME و FLUXFLOW-BLOCK يحسنان بشكل كبير من الجودة الزمنية، كما يتضح من المقاييس في الجدول 1 و 2 (أي FVD، Subject، Flicker، Motion، و Dynamic) والنتائج النوعية في [الصورة أدناه].

‘على سبيل المثال، حركة السيارة التي تتدافع في VC2، و القط الذي يطارد ذيله في NOVA، ومتسابق الأمواج في CVX يصبحون أكثر سلاسة مع FLUXFLOW. ومن المهم أن هذه التحسينات الزمنية تتحقق بدون التضحية بالإيمان المكاني، كما يتضح من التفاصيل الحادة لرشاشات الماء وذيل الدخان وتنسيق الموجات، جنبًا إلى جنب مع مقاييس الإيمان المكاني والجودة العامة.’

فيما يلي، نرى اختيارات من النتائج النوعية التي يشير إليها المؤلفون (يرجى الرجوع إلى الورقة الأصلية للنتائج الكاملة وافرة الدقة):

اختيارات من النتائج النوعية.

تُشير الورقة إلى أن كلاً من اضطرابات مستوى الإطار ومستوى الكتلة تحسنان من الجودة الزمنية، ولكن الأساليب على مستوى الإطار تميل إلى الأداء بشكل أفضل. ويعزى ذلك إلى دقته الأفضل، مما يسمح بتعديلات زمنية أكثر دقة. قد تroduce اضطرابات على مستوى الكتلة ضوضاء بسبب الأنماط المكانية والزمنية المرتبطة ارتباطًا وثيقًا داخل الكتل، مما يقلل من فعاليتها.

الخلاصة

هذه الورقة، جنبًا إلى جنب مع تعاون التسمية التعاونية بين Bytedance-Tsinghua الذي تم إصداره هذا الأسبوع، جعلتني أدرك أن القصور الواضح في جيل جديد من نماذج الفيديو التوليدية قد لا ينتج عن خطأ المستخدم أو خطأ مؤسسي أو قيود التمويل، ولكن بسبب تركيز بحثي أُعطي الأولوية لتحديات أكثر إلحاحًا، مثل الاتساق الزمني والثبات، على هذه القضايا الأقل أهمية.

حتى وقت قريب، كانت نتائج الأنظمة التوليدية للفيديو المتاحة بشكل حر ويمكن تحميلها مُتضمنة بشكل كبير لدرجة أن لم تظهر أي محاولة جادة من قبل مجتمع الهواة لتصحيح هذه القضايا (وليس أقلها لأن هذه القضايا كانت أساسية وليست قابلة للحل بسهولة).

الآن، بعد أن أصبحنا أقرب إلى عصر الفيديو التوليدي الفوتوغرافي الخالص، من الواضح أن كلاً من المجتمع البحثي والمجتمع الهواة يأخذ اهتمامًا أعمق وأكثر إنتاجية في حل القضايا المتبقية؛ مع الحظ، هذه ليست عقبات لا يمكن التغلب عليها.

* معدل الإطار الأصلي ل Wan يبلغ 16 إطارًا في الثانية، وفي استجابة لمشاكلي الخاصة، ألاحظ أن المنتديات قد اقترحت خفض معدل الإطار إلى 12 إطارًا في الثانية، ثم استخدام FlowFrames أو أنظمة إعادة التدفق القائمة على الذكاء الاصطناعي الأخرى لتحويل الفجوات بين عدد الإطارات النادر.

نشر لأول مرة يوم الجمعة، 21 مارس 2025