فيديو الذكاء الاصطناعي يُكمل الصور الشخصية للقطة

مُنشئو فيديو الذكاء الاصطناعي غالبًا ما يعطون نتائج قريبة ولكنها ليست دقيقة تمامًا فيما يتعلق بتلبية ما ي้องการه نص الإشارة. ولكن هناك حل جديد عالي المستوى يُحدث كل الفرق.

نظم الفيديو التوليدية غالبًا ما تواجه صعوبة في制作 فيديوهات خيالية أو غير عادية، وغالبًا ما تفشل في تلبية توقعات المستخدمين لنص الإشارة.

جزء من السبب في ذلك هو الارتباط – حقيقة أن نماذج الرؤية واللغة يجب أن تتنازل عن مدة تدريبها على بياناتها المصدرية. تدريب قليل جدًا، والConcepts مرنة ولكنها غير مكتملة تمامًا – تدريب كثير جدًا، والConcepts دقيقة ولكنها لم تعد مرنة بما يكفي لدمجها في مجموعات جديدة.

يمكنك الحصول على الفكرة من الفيديو المضمن أدناه. على اليسار هو نوع من الحل الوسيط الذي تقدمه العديد من أنظمة الذكاء الاصطناعي استجابةً لطلب مطالب يطلب بعض التباس للعناصر التي هي слишком خيالية لتكون قد كانت مثالًا حقيقيًا للتدريب. على اليمين، هو مخرج للذكاء الاصطناعي يلتصق بالنص بشكل أفضل:

انقر للعب (لا يوجد صوت). على اليمين، نرى ‘factorized’ WAN 2.2 حقًا يلبي النصوص، بالمقارنة مع التأويلات الغامضة ل ‘vanilla’ Wan 2.2، على اليسار. يرجى الرجوع إلى ملفات الفيديو المصدر للحصول على دقة أفضل والعديد من الأمثلة، على الرغم من أن الإصدارات المُعدة هنا لا توجد في موقع المشروع، وتم تجميعها لهذا المقال. المصدر

حسناً، على الرغم من أننا يجب أن نغفر ليد البط صافرة الإنسان (!)، من الواضح أن الأمثلة على اليمين تتبع النص الأصلي بشكل أفضل من تلك على اليسار.

من المثير للاهتمام، أن كلا الهيكلين المُقدمين هو في الأساس نفس الهيكل – الشائع والمقابل Wan 2.2، وهو إصدار صيني حصل على أرضية كبيرة في المجتمعات المفتوحة والمهتمة هذا العام.

الفرق هو أن خط الأنابيب التوليدي الثاني مُقسم، مما يعني في هذه الحالة أن نموذج لغة كبير (LLM) تم استخدامه لإعادة تفسير الإطار الأول (البذرة) للفيديو، بحيث يكون من الأسهل على النظام تقديم ما يطلبه المستخدم.

يتضمن هذا “التثبيت البصري” حقن صورة مصنوعة من هذا النص المُحسّن بواسطة LLM في خط الأنابيب التوليدي كإطار “بداية”، و sử dụng نموذج LoRA لتفسيري لمساعدة دمج الإطار “الغريب” في عملية إنشاء الفيديو:

النتائج، من حيث إخلاص النص، هي حقًا مُدهشة، خاصة لsolution يبدو أنها رائعة:

انقر للعب (لا يوجد صوت). المزيد من الأمثلة على توليد فيديو “مُقسم” حقًا يلتصق بالنص. يرجى الرجوع إلى ملفات الفيديو المصدر للحصول على دقة أفضل والعديد من الأمثلة، على الرغم من أن الإصدارات المُعدة هنا لا توجد في موقع المشروع، وتم تجميعها لهذا المقال.

هذه الحل يأتي في شكل ورقة جديدة توليد الفيديو المُقسم: فك الارتباط بين بناء المشهد والتركيب الزمني في نماذج التبديل من النص إلى الفيديو، وموقع المشروع المصاحب المُحتوى بالفيديو.

في حين أن العديد من الأنظمة الحالية تحاول تعزيز دقة النص من خلال استخدام نماذج اللغة لإعادة كتابة النص الغامض أو غير المُحدد، فإن العمل الجديد يُجادل بأن هذه الاستراتيجية لا تزال تؤدي إلى الفشل عندما يكون تمثيل المشهد الداخلي للنموذج معيبًا.

حتى مع نص مُحسّن، غالبًا ما تُخلط نماذج النص مع الفيديو عناصر رئيسية أو تُولّد حالات أولية غير متوافقة التي تُكسّر منطق التحريك.只要 لا يعكس الإطار الأول ما يُصِف النص، لا يمكن للفيديو الناتج أن يُستعاد، بغض النظر عن مدى جودة نموذج الحركة.

تنص الورقة على*:

‘[نماذج النص إلى الفيديو] غالبًا ما تُنتج إطارات مُتحركة معززة، ومع ذلك تُحقق درجات تقييم قابلة للمقارنة مع نماذج I2V، مما يشير إلى أن نمذجة الحركة لا تزال طبيعية معقولة حتى عندما يكون إخلاص المشهد ضعيفًا.

‘نماذج I2V تُظهر السلوك التكميلي، درجات تقييم قوية من المشاهد الأولية الدقيقة وأضعف توافق زمني، في حين أن I2V + النص يوازن بين الجانبين.

‘هذا التباين يشير إلى خلاف هيكلي في نماذج T2V الحالية: التثبيت المشهد والتركيب الزمني يستفيدان من التحيزات الاستقرائية المختلفة، ومع ذلك تحاول الهياكل الحالية تعلم كليهما في نفس الوقت داخل نموذج واحد.’

المقارنة التشخيصية لأوضاع التوليد وجدت أن النماذج التي لا تحتوي على تثبيت المشهد الصريح سجلت درجات جيدة على الحركة، ولكنها غالبًا ما تنازلت عن تخطيط المشهد، في حين أظهرت النماذج المُشروطة بالصورة نمطًا معاكسًا:

مُقارنة أوضاع توليد الفيديو على مجموعتين من البيانات، مما يُظهر أن I2V + النص يُحقق أفضل جودة إطار (FID) وثبات زمني (FVD)، مما يُبرز الفائدة من فصل بناء المشهد عن الحركة. المصدر

تشير هذه النتائج إلى عيب هيكلي حيث تحاول النماذج الحالية تعلم تخطيط المشهد والتحريك في نفس الوقت، على الرغم من أن كلا المهمتين يتطلبان أنواعًا مختلفة من التحيزات الاستقرائية، ويُفضل التعامل معهما بشكل منفصل.

ربما يكون الأمر الأكثر إثارة للاهتمام هو أن هذا “الحيلة” يمكن تطبيقها على التثبيتات المحلية لأنماط مثل Wan 2.1 و 2.2، ونماذج التبديل بالفيديو المماثلة مثل Hunyuan Video. بشكل غير رسمي، بالمقارنة بين جودة الإخراج الهووي مع المواقع التجارية التوليدية مثل Kling و Runway، يبدو أن معظم مزودي واجهة برمجة التطبيقات يُحسّنون العروض المفتوحة مثل WAN مع LoRAs، و – يبدو – مع حيل من نفس النوع المُشاهدة في الورقة الجديدة. لذلك يمكن أن تمثل هذه النهج فرصة لمواكبة الفئة FOSS.

الاختبارات التي أُجريت على هذه الطريقة تشير إلى أن هذا النهج البسيط والمنفصل يُقدم سابقة جديدة في معيار T2V-CompBench، ويُحسن جميع النماذج المُختبرة بشكل كبير. يُلاحظ المؤلفون في الخاتمة أن نظامهم يُحسن من الإخلاص بشكل جذري، ولكنه لا يُعالج (ولا يُقصد معالجته) انجراف الهوية، وهو ما يُعد حاليًا عائقًا أمام أبحاث الذكاء الاصطناعي التوليدي.

تنبع هذه الورقة من أربعة باحثين في مدرسة.polytechnique الفيدرالية في لوزان (EPFL) في سويسرا.

الطريقة والبيانات

الفرضية المركزية للتقنية الجديدة هي أن نماذج التبديل من النص إلى الفيديو (T2V) تحتاج إلى “تثبيت” إطارات البداية التي تتوافق حقًا مع النص المطلوب.

لضمان احترام النموذج للإطار الأول، تُقاطع الطريقة الجديدة العملية التبديلية القياسية عن طريق حقن لاتنت نقي من صورة التثبيت في الخطوة الزمنية صفر، واستبدال أحد المدخلات العشوائية المعتادة. هذا المدخل الغريب يُربك النموذج في البداية، ولكن مع تحسين LoRA الخفيف، يتعلم النموذج معاملة الإطار المُحقون كتثبيت مرئي ثابت بدلاً من جزء من مسار الضوضاء:

طريقة مكونة من مرحلتين لتثبيت توليد الفيديو من النص مع تثبيت مرئي: اليسار، يتم تحسين النموذج باستخدام LoRA الخفيف لمعاملة لاتنت نقي مُحقون كقيود مشهد ثابتة. اليمين، يتم تقسيم النص إلى كابتن الإطار الأول، ويُستخدم لإنشاء صورة التثبيت التي توجيه الفيديو.

في الوقت نفسه، يتم إعادة كتابة النص لوصف الإطار الأول فقط، باستخدام نموذج LLM لاستخراج حالة مشهد أولية معقولة تركز على التخطيط والمظهر.

يتم تمرير النص المُحسّن إلى مُولّد صورة لإنشاء إطار تثبيت مرشح (يمكن للمستخدم تعديله بشكل اختياري). يتم ترميز الإطار المُختار إلى لاتنت ويتم حقنه في عملية التبديل عن طريق استبدال الخطوة الزمنية الأولى، مما يسمح للنموذج بتوليد باقي الفيديو مُثبتًا على المشهد الأولي – عملية تعمل بدون الحاجة إلى تغييرات في الهيكل الأساسي.

تم اختبار هذه العملية عن طريق إنشاء LoRAs ل Wan2.2-14B و Wan2.1-1B و CogVideo1.5-5B. تم إجراء تدريب LoRA في رتبة 256، على 5000 مقطع فيديو مُختارة عشوائيًا من مجموعة UltraVideo.

استمر التدريب ل 6000 خطوة، وطلب 48 ساعة معالجة GPU ^† ل Wan-1B و CogVideo-5B، و 96 ساعة معالجة GPU ل Wan-14B. يُلاحظ المؤلفون أن Wan-5B يدعم بشكل أصلي الشرط النصي والصورة، وبالتالي لم يُتطلب أي تحسين إضافي.

الاختبارات

في الاختبارات التي أُجريت على هذه العملية، تم تحسين كل نص إشارة أولًا باستخدام Qwen2.5-7B-Instruct، الذي استخدم النتيجة لإنشاء كابتن صورة “بذرة” مفصل يحتوي على وصف المشهد بأكمله. ثم تم تمرير ذلك إلى QwenImage، الذي تم تكليفه بإنشاء صورة “السحر” لتكون مُدرجة في عملية التبديل:

المراجع المستخدمة لتقييم النظام تشمل معيار T2V-CompBench المذكور أعلاه، لاختبار الفهم التركيبي من خلال تسجيل كيفية الحفاظ على الكائنات والسمات والافعال داخل مشهد متسق؛ ومعيار VBench 2.0، لتقييم العقل السليم والاستمرارية على 18 معيارًا، مُجمعة في الابتكار، العقل السليم، السيطرة، الواقعية البشرية، و الفيزياء:

<img class=" wp-image-229733" src="https://www.unite.ai/wp-content/uploads/2025/12/table-2.jpg" alt="عبر جميع الفئات السبع لتقييم T2V-CompBench، طريقة T2V المُقسمة تُتفوق على كل من الأساسيات القياسية والمُوسعة T2V للنماذج المُختبرة، مع مكاسب تصل إلى 53.25%. كانت المتغيرات الأعلى درجات غالبًا ما تتطابق أو تتجاوز معيار PixVerse-V3 المُحكوم.

بخصوص هذه الجولة الأولى من الاختبارات، يُلاحظ المؤلفون:

‘[عبر] جميع النماذج، يُحسن إضافة صورة تثبيت دائمًا أداء التركيب. جميع نماذج T2V المُقسمة الصغيرة (CogVideo 5B و Wan 5B و Wan 1B) تُتفوق على نموذج T2V الأكبر Wan 14B.

‘نماذجنا المُقسمة Wan 5B تُتفوق أيضًا على معيار PixVerse-V3 التجاري، الذي هو أفضل نموذج مُبلغ عنه على معيار التقييم. هذا يُظهر أن التثبيت البصري يُحسن بشكل كبير فهم المشهد والفعل حتى في نماذج السعة الأصغر.

‘داخل كل عائلة نموذج، يُتفوق الإصدار المُقسم على النموذج الأصلي. بشكل ملحوظ، تحسين LoRA الخفيف المُثبت على WAN 14B يُحقق أداءً قابلاً للمقارنة مع إصدار I2V المُسبق للتدريب (0.661 مقابل 0.666)، على الرغم من أنه لا يتطلب أي إعادة تدريب كاملة.’

ثم جاءت جولة VBench2.0:

<img class=" wp-image-229734" src="https://www.unite.ai/wp-content/uploads/2025/12/table-3-vbench-2.jpg" alt="تُحسن طريقة T2V المُقسمة بشكل متسق أداء VBench 2.0 عبر التركيب والاستدلال العقلاني والسيطرة والفيزياء، مع بعض المكاسب التي تتجاوز 60% – على الرغم من أن الواقعية البشرية ظلت أقل من معيار Veo 3 التجاري.

عبر جميع الهياكل، يُحسن النهج المُقسم الدرجات في كل فئة VBench باستثناء الواقعية البشرية، التي انخفضت قليلًا حتى مع تكرار النص. يُتفوق WAN 5B على WAN 14B الأكبر، مما يُؤكد النتائج السابقة لمعيار T2V-CompBench التي تشير إلى أن التثبيت البصري يسهم أكثر من السعة.

على الرغم من أن المكاسب على VBench كانت متسقة، إلا أنها كانت أصغر من تلك المُشاهدة على T2V-CompBench، ويعزى المؤلفون ذلك إلى نظام التقييم الثنائي الأقوى ل VBench.

بالنسبة للاختبارات النوعية، توفر الورقة صورًا ثابتة، ولكننا نُشير القارئ إلى الفيديوهات المُركبة في هذا المقال، للحصول على فكرة أوضح، مع الحذر بأن الفيديوهات المصدر أكثر عددًا وتنوعًا، وأكثر دقة وضوحًا. يمكن العثور عليها هنا. بخصوص النتائج النوعية، تنص الورقة على:

‘الفيديوهات المُثبتة تُظهر بشكل متسق تركيب مشهد أكثر دقة، وربط أشد للكائنات والسمات، وتقدم زمني أوضح.’

بقيت طريقة المُقسم مستقرة حتى عندما تم تقليل عدد خطوات التبديل من 50 إلى 15، مما يُظهر انخفاضًا ضئيلًا في الأداء على T2V-CompBench. بالمقارنة، انخفضت الأساسيات النصية والموسعة بشكل حاد تحت نفس الشروط.

على الرغم من أن تقليل الخطوات يمكن أن يُزيد من السرعة ثلاث مرات، إلا أن خط الأنابيب الكامل أصبح أسرع 2.1 مرة فقط في الممارسة، بسبب التكاليف الثابتة لتوليد صورة التثبيت. ومع ذلك، أشارت النتائج إلى أن التثبيت لا يُحسن فقط من جودة العينة ولكن أيضًا يسهم في استقرار عملية التبديل، مما يدعم توليد أسرع وأكثر كفاءة دون فقدان في الدقة.

يُقدم موقع المشروع أمثلة على توليد المُقسم مقابل توليد المُوسع، والتي نقدم بعضها (بدقة أقل) هنا:

انقر للعب (لا يوجد صوت). مصادر البداية المُوسعة مقابل نهج المُقسم للمؤلفين.

يُختتم المؤلفون بالقول:

‘تُشير نتائجنا إلى أن التحسينات في التثبيت، بدلاً من زيادة السعة فقط، قد تكون مهمة بنفس القدر. تعتمد التطورات الحديثة في نماذج T2V بشكل كبير على زيادة حجم النموذج وبيانات التدريب، ومع ذلك فإن حتى النماذج الكبيرة غالبًا ما تعاني من استنتاج مشهد أولي متسق من النص وحده.

‘هذا يُتناقض مع انتشار الصور، حيث يكون التوسع مباشرًا؛ في نماذج الفيديو، يجب أن تعمل كل تحسين هيكلي عبر بعد زمني إضافي، مما يجعل التوسع أكثر تكلفة بشكل كبير.

‘تُشير نتائجنا إلى أن التحسينات في التثبيت يمكن أن تكون مُكملة للسعة عن طريق معالجة عرقلة مختلفة: إنشاء المشهد الصحيح قبل بدء التوليد الزمني.

‘من خلال تقسيم توليد الفيديو إلى تركيب المشهد والتركيب الزمني، نحول دون عدة أوضاع فشل شائعة دون الحاجة إلى نماذج أكبر بشكل كبير. نعتبر هذا مبدأ تصميم مُكمل يمكن أن يوجه الهياكل المستقبلية نحو توليد فيديو أكثر موثوقية وهيكلة.’

الختام

على الرغم من أن مشاكل الارتباط هي مشاكل حقيقية، ويمكن أن تتطلب حلول مُخصصة (مثل تحسين التكامل والتقييم قبل التدريب)، إلا أنه كان مُفاجئًا مُثيرًا أن نرى كيف “يفك” التثبيت عدة تركيبات نصية مُثبتة في توليدات أكثر دقة – مع طبقة مُعتدلة من تحسين LoRA، وتدخل صورة بداية/بذرة مُحسّنة بشكل ملحوظ.

الفرق في الموارد بين الاستدلال الهووي والهياكل التجارية قد لا يكون كبيرًا كما يُفترض، بالنظر إلى أن معظم المُزودين يُحاولون تقليل التكاليف الكبيرة لموارد معالجة GPU للمستهلكين.

بشكل غير رسمي، يبدو أن عددًا كبيرًا من مُزودي الفيديو التوليدي الحاليين يُستخدمون إصدارات مُحسنة ومُوسعة من نماذج FOSS الصينية. يبدو أن الحاجز الرئيسي الذي تملكه هذه الأنظمة “الوسيطة” هو أنها أخذت عناء تدريب LoRAs، أو – بتكلفة أكبر وبمكافأة أكبر قليلًا – أجرت تحسينًا كاملًا لوزن النموذج^††.

يمكن أن تسهم رؤى من هذا القبيل في إغلاق الفجوة أكثر، في سياق مشهد إصدار حيث يبدو أن الصينيين حاسمون (ليس بالضرورة لأسباب خيرية أو مثالية) على تحقيق الديمقراطية في الذكاء الاصطناعي، في حين تفضل المصالح التجارية الغربية أن يُزيد حجم النموذج واللوائح في النهاية إلى حجز النماذج الجيدة بشكل فعلي خلف واجهات برمجة التطبيقات، وطبقات متعددة من مرشحات المحتوى.

نجمة:

^† لا تُحدد الورقة النموذج المُستخدم أو عدد وحدات معالجة الرسومات.

^†† على الرغم من أن طريق LoRA أكثر احتمالًا، لسهولة الاستخدام الاقتصادية، ولأن الأوزان الكاملة، بدلاً من الأوزان المُقننة، لا يتم إتاحتها دائمًا.

نُشر لأول مرة يوم الجمعة، 19 ديسمبر 2025