نحو التحكم الكامل في توليد الفيديو بالذكاء الاصطناعي

نماذج الفيديو الأساسية مثل Hunyuan و Wan 2.1 ، على الرغم من قوتها ، لا توفر للمستخدمين نفس مستوى التحكم الدقيق الذي يتطلبه إنتاج الأفلام والتلفزيون (特别 في إنتاج التأثيرات البصرية).

في استوديوهات التأثيرات البصرية المحترفة ، يتم استخدام نماذج مفتوحة المصدر مثل هذه ، إلى جانب نماذج سابقة تعتمد على الصور (بدلاً من الفيديو) مثل Stable Diffusion و Kandinsky و Flux ، جنبًا إلى جنب مع مجموعة من الأدوات الداعمة التي تُعدل الإخراج الخام لتلبية الاحتياجات الإبداعية المحددة. عندما يقول المخرج ، “يبدو ذلك جيدًا ، ولكن هل يمكننا جعله أكثر [n]؟” لا يمكنك الرد بالقول إن النموذج ليس دقيقًا بدرجة كافية لمعالجة مثل هذه الطلبات.

بدلاً من ذلك ، ستستخدم فريق الذكاء الاصطناعي للتحكم في التأثيرات البصرية مجموعة من تقنيات CGI التقليدية والتركيبية ، إلى جانب الإجراءات والعمليات المخصصة التي تم تطويرها مع مرور الوقت ، من أجل محاولة دفع حدود توليد الفيديو قليلاً إلى الأمام.

وبالمقارنة ، نموذج الفيديو الأساسي يشبه إلى حد كبير تثبيت افتراضي لمتصفح الويب مثل Chrome ؛ إنه يفعل الكثير من الصندوق ، ولكن إذا كنت تريد أن يعتاد على احتياجاتك ، بدلاً من العكس ، فستحتاج إلى بعض الإضافات.

مستخدمو التحكم

في عالم توليد الصور بالانتشار ، النظام الأكثر أهمية من هذا القبيل هو ControlNet.

ControlNet هو تقنية لإضافة تحكم منظم إلى نماذج التوليد بالانتشار ، مما يسمح للمستخدمين بإرشاد توليد الصور أو الفيديو باستخدام مدخلات إضافية مثل خرائط الحواف و خرائط العمق أو معلومات التموضع.

بدلاً من الاعتماد فقط على التحفيز النصي ، يقدم ControlNet فروع شبكات عصبية منفصلة ، أو معدلات ، التي تُعالج هذه إشارات التكييف مع الحفاظ على القدرات التوليدية للنموذج الأساسي.

هذا يُمكِّن من إخراج دقيق يتوافق بشكل أوثق مع مواصفات المستخدم ، مما يجعله مفيدًا بشكل خاص في التطبيقات التي تتطلب التحكم الدقيق في التركيب أو الهيكل أو الحركة:

ومع ذلك ، فإن الإطارات القائمة على المعدلات تعمل بشكل خارجي على مجموعة من العمليات العصبية التي تركز بشكل داخلي للغاية. لهذه المناهج عدة عيوب.

أولاً ، يتم تدريب المعدلات بشكل مستقل ، مما يؤدي إلى نزاعات الفروع عند الجمع بين عدة معدلات ، مما قد يؤدي إلى تدهور جودة التوليد.

ثانيًا ، أنها تُ導 إلى التكرار المعاملاتي ، مما يتطلب حسابًا إضافيًا وذاكرة لكل معامل ، مما يجعل التوسيع غير فعال.

ثالثًا ، على الرغم من مرونتها ، فإن المعدلات غالبًا ما تُنتج نتائج غير مُثلى مقارنة بالنماذج التي يتم تعديلها بالكامل لتحديد الإشارات المتعددة. هذه القضايا تجعل أساليب المعدلات أقل فعالية للتطبيقات التي تتطلب دمج متواصل للإشارات المتعددة.

FullDiT

دخلت إلى هذا الوضع تقنية جديدة من الصين ، التي تطرح نظامًا حيث يتم دمج إجراءات ControlNet مباشرة في نموذج توليد فيديو في وقت التدريب ، بدلاً من أن تكون فكرة لاحقة.

المسمى FullDiT ، هذا النهج الجديد يدمج شروط متعددة مثل نقل الهوية وخرائط العمق وحركة الكاميرا في جزء متكامل من نموذج توليد فيديو مدرب ، وقد أنتجت المؤلفون نموذجًا تجريبيًا مدربًا ومقاطع فيديو مصاحبة على موقع مشروع.

في المثال أدناه ، نرى توليدات تدمج حركة الكاميرا ومعلومات الهوية والنص (أي ، تحفيزات نصية توجيهية للمستخدم):

يجب ملاحظة أن المؤلفين لا يُقترحون نموذجهم التجريبي المدرب كنموذج أساسي وظيفي ، بل كدليل概念ي على نماذج التوليد من النص إلى الفيديو (T2V) ومن الصورة إلى الفيديو (I2V) التي توفر للمستخدمين مزيدًا من التحكم أكثر من مجرد تحفيز صورة أو نص.

منذ أن لا توجد نماذج مماثلة من هذا القبيل حتى الآن ، أنشأ الباحثون معيارًا جديدًا يُسمى FullBench ، لتقييم الفيديوهات متعددة المهام ، وادعوا أداءً على مستوى الدولة في الاختبارات المماثلة التي صممواها ضد النهج السابقة. ومع ذلك ،由于 أن FullBench تم تصميمه من قبل المؤلفين أنفسهم ، فإن موضوعيته غير مدروسة ، ويمكن أن يكون مجموع بياناته البالغ 1400 حالة محدودًا للغاية لاستخلاص استنتاجات أوسع.

ربما يكون الجانب الأكثر إثارة للاهتمام في الهيكل الذي يقترحه البحث هو إمكانية دمج أنواع تحكم جديدة. ويُشير المؤلفون إلى أن:

في هيكل FullDiT ، يتم تحويل جميع مدخلات التكييف – مثل النص وحركة الكاميرا والهوية والعمق – إلى تنسيق رمز موحد. ثم يتم إضافة هذه الرموز إلى تسلسل طويل واحد ، والذي يتم معالجته عبر مجموعة من طبقات Transformer باستخدام الانتباه الذاتي الكامل.

البيانات والاختبارات

اعتماد نهج تدريب FullDiT على مجموعات بيانات محددة بشكل انتقائي تم توجيهها لكل نوع من أنواع التكييف ، بدلاً من الحاجة إلى جميع الشروط في نفس الوقت.

对于 شروط النص ، اتبعت المبادرة نهج التسمية المنظمة المحدد في مشروع MiraData.

对于 حركة الكاميرا ، كانت مجموعة البيانات RealEstate10k هي المصدر الرئيسي للبيانات ، بسبب تعليماتها عالية الجودة للبارامترات الكاميرا.

ومع ذلك ، لاحظ المؤلفون أن التدريب حصريًا على مجموعات بيانات المشاهد الثابتة مثل RealEstate10k يميل إلى تقليل الحركات الديناميكية للكائنات والبشر في الفيديوهات المولدة.

للمقاومة ، قاموا بتعديل دقيق إضافي باستخدام مجموعات بيانات داخلية شملت حركات كاميرا أكثر ديناميكية.

تحسين البيانات

نفذ المؤلفون جدول تدريب تقدمي ، وقدموا شروط أكثر تحديًا في وقت مبكر من التدريب لضمان حصول النموذج على تمثيلات قوية قبل إضافة مهام أبسط.

ترتيب التدريب تم من النص إلى الكاميرا ، ثم الهوية ، وأخيرًا العمق ، مع تقديم مهام أسهل بشكل عام في وقت لاحق ومع عدد أقل من الأمثلة.

يشدد المؤلفون على قيمة ترتيب العمل بهذه الطريقة:

بعد مرحلة التدريب الأولية ، تم تعديل المرحلة النهائية لتعديل النموذج لتحسين الجودة البصرية وديناميكيات الحركة.

البيانات

تم تدريب FullDiT باستخدام نموذج افتراضي للنص إلى الفيديو يحتوي على حوالي مليار معامل.

تم استخدام خوارزمية Adam مع معدل تعلم 1×10⁻⁵ عبر مجموعة من 64 وحدة معالجة رسومات NVIDIA H800 ، لمجموعة إجمالية تبلغ 5120 جيجابايت من VRAM.

تم تدريب النموذج لمدة حوالي 32000 خطوة ، مع تضمين ما يصل إلى ثلاثة هويات لكل فيديو ، إلى جانب 20 إطارًا من شروط الكاميرا و 21 إطارًا من شروط العمق ، جميعها تمت عينة بشكل متساوٍ من الإجمالي 77 إطارًا.

الأساليب السابقة

对于 تقييم الكاميرا إلى الفيديو ، قارن المؤلفون FullDiT مع MotionCtrl و CameraCtrl و CamI2V ، مع جميع النماذج المدربة باستخدام مجموعة البيانات RealEstate10k لضمان الاتساق والعدالة.

في التوليد المحدد بالهوية ،由于 عدم وجود نماذج متعددة الهوية مفتوحة المصدر قابلة للمقارنة ، تم اختبار النموذج ضد نموذج ConceptMaster ذي المعاملات 1B ، باستخدام نفس بيانات التدريب والهيكل.

对于 مهام الفيديو إلى العمق ، تمت المقارنات مع Ctrl-Adapter و ControlVideo.

الخلاصة

على الرغم من أن FullDiT هو اقتراب مثير في نوع أكثر تطورًا من نموذج الفيديو الأساسي ، إلا أنه يتعين التساؤل عما إذا كان الطلب على أدوات ControlNet ستبرر تنفيذ مثل هذه الميزات على نطاق واسع ، على الأقل بالنسبة لمشاريع البرمجيات مفتوحة المصدر ، التي ستجد صعوبة في الحصول على كمية هائلة من طاقة معالجة GPU اللازمة ، دون دعم تجاري.

التحدي الرئيسي هو أن استخدام أنظمة مثل العمق والوضع يتطلب عادةً معرفة غير تريفية بواجهات المستخدم المعقدة مثل ComfyUI.

من ناحية أخرى ، قد تكون أنظمة API المدارة مدفوعة لتحسين أساليب تفسيرية أبسط وأكثر وضوحًا للنماذج التي تم تدريبها بشكل مباشر.

انقر للعب. التحكم في العمق والنص الذي يفرض على توليد الفيديو باستخدام FullDiT.

* المؤلفون لا يُحددون أي نموذج أساسي معروف (أي SDXL ، إلخ.)

نشر لأول مرة يوم الخميس ، 27 مارس 2025