نحو توليد فيديو ديبفيك كامل الجسم بشكل مستمر

في مجال يتطلب الصبر، يدفع نظام جديدنا قليلاً نحو محاكاة الإنسان المتدفقة بدون جولات التصفية المزعجة.

أصبح الحال في محاكاة الإنسان الكاملة قد تقدم بشكل كبير منذ ظهور إمكانية ديبفيك كامل الجسم أول مرة في عام 2022. نحن قد اعتدنا على القدرة الهائلة المثيرة للجدل لأنظمة مفتوحة المصدر مثل Wan-Animate، وأنظمة مغلقة المصدر مثل Grok، لتحويل صورة واحدة أو مножات إلى أداء فيديو متسق وغالبًا ما يكون تحويلًا:

انقر للتشغيل إذا لزم الأمر. أمثلة على استبدال الشخص مع WanAnimate-2.2. يرجى الرجوع إلى المصدر للحصول على دقة أفضل.  المصدر 

بالإضافة إلى ذلك، تم تجاوز الإطار القديم لتعزيز الوجه العميق الآلي بواسطة إطارات أكثر تطورًا مثل Deep-Live-Cam، التي تستخدم توجيهًا لتعزيزات LivePortrait، بالإضافة إلى وحدات GAN و InsightFace، لإنشاء خلافة فعّالة للزمن الحقيقي لمشروع (DFLive) المهمّش:

انقر للتشغيل: إيلون ماسك محاكى في جلسة فيديو مباشرة عبر Deep-Live-Cam. يرجى الرجوع إلى المصدر للحصول على دقة أفضل. المصدر 

ومع ذلك، بينما يمكن للأطر مثل Deep-Live-Cam تشغيلها إلى الأبد وتحقيق التزييف إلى الأبد، وعلى الرغم من أنها أفضل في توليد زوايا وجه صعبة من ذي قبل، فإن النتائج مع ذلك مقيدة من حيث الدقة والقدرة: يمكنك الحصول على وجه معين / هوية، ويمكنه القيام بالعديد من الأشياء، مثل التعبيرات القنوية المقنعة والتعرف على الشفاه – لكنه في الأساس حصان خيال واحد.

برب…

معظم أنظمة التمثيل البشري الحالية مقيدة ومختصة. واحدة من القيود المتكررة هي أن أفضل أنظمة التمثيل البشري / المحاكاة هي أوفلاين – أي أنها لا تعمل في الوقت الفعلي، وبدلاً من ذلك تحتاج إلى الخروج والتحقق من الحل، ثم تقديم النتيجة إلى المستخدم لاحقًا.

على سبيل المثال، نظام Wan2.2 Animate القديم، الذي أثبت شعبية بين مجتمع الهواة والبائعين المحترفين – لكنه مرة أخرى سيناريو “توليد وانتظر”:

انقر للتشغيل. من عام 2025، أمثلة على قدرات Wan2.2-Animate الرائعة – إذا كنت تستطيع أن تنتظر قليلاً. يرجى الرجوع إلى المصدر للحصول على دقة أفضل. المصدر 

لذا، كما هو الحال، يمكنك الحصول على شيء رائع، أو مرن، أو الآن – اختر اثنين.

LiveAnimate

يدخل نظام جديد من الصين، والذي يتحول بشكل فعال إلى إطار تحريك حي، يعمل حاليًا عند معدل إطارات قريب من 20 إطارًا في الثانية، مع نتائج مثيرة للإعجاب عبر مجموعة من السيناريوهات:

انقر للتشغيل: من موقع المشروع، يقوم LiveAnimate بنقل مواضع التحريك عبر الرقص على المسرح، والجسد الكامل في الهواء الطلق، ومواضع الصور الشخصية القريبة، وإعادة إنتاج حركة الجسد الكامل واليدين والوجه. يرجى الرجوع إلى المصدر للحصول على دقة أفضل. المصدر 

يتوسع العمل الجديد النظام الأصلي إلى إطار تحريك حي عن طريق تغيير كيفية توليد الفيديو: بدلاً من معالجة الإطارات السابقة والمستقبلية معًا، يولد LiveAnimate كل مقطع جديد随ما تتطور الإجراءات، باستخدام بضعة خطوات فقط، مع الحفاظ على المواضع السابقة المحددة للحفاظ على مظهر الموضوع بشكل مستمر على مدار الجلسات الطويلة.

بصورة فعالة، يحتفظ النظام بالإطارات السابقة كوسيلة لتذكر مستمر للاستفادة منها随ما يتطور الفيديو، بحيث يبقى الهوية على حالها – ليس مختلفًا تمامًا عن الطريقة التي تشير بها أنظمة CGI القديمة إلى خرائط النسيج.

على الرغم من أن LoRA يتم استخدامه في مرحلة المعالجة، LiveAnimate ليس مجرد نظام LoRA آخر – إن توليد التدفق، ونظام الذاكرة / الذاكرة المخبأة، والاستدلال بثلاث خطوات، وتحسينات GPU تمثل آليات إضافية، بالإضافة إلى التقنيات المتنوعة الأخرى (بعضها مفاجئًا قديمًا) في ترسانته.

يمكن للنظام الجديد التعامل ليس فقط مع سيناريوهات التحريك الكامل للجسم مثل تلك الموجودة في الأمثلة أعلاه، ولكن أيضًا مع حركات الجسم العلوي، مثل في سيناريوهات المقابلات:

انقر للتشغيل. ‘حركة رأس ويد خفية على خلفية مكتب ساكنة’.

لما يخص قيوده، يعترف البحث الجديد بأن إطاران من الإطارات المنافسة التي تم اختبارها ضد LiveAnimate تمكنا من الحفاظ على الهوية بشكل أفضل قليلاً في ظروف معينة؛ ومع ذلك، لم يكن أي من المنافسين نظامًا على الإنترنت بدلاً من نظام أوفلاين، والباحثون في العمل الجديد واضحون في دفع الحدود في اتجاه معقول ومثالي.

علاوة على ذلك، قد يكون من المفيد ملاحظة أن الاستدلال يتطلب.gpu H100 NVIDIA، بإجمالي 160GB من VRAM*.

ينص البحث على ما يلي:

‘يحافظ LiveAnimate على جودة 感知几乎 ثابتة وهوية من أول 30 ثانية إلى الأخير [دقيقة]، بينما تنخفض الأنظمة السابقة بشكل كبير أو تتطلب ساعات من الحساب دون اتصال للخروج نفسه.

‘تؤسس هذه النتائج نقطة تشغيل جديدة في الجودة والكفاءة والمدة للرسوم المتحركة التفاعلية الكاملة للجسم.’

البحث الجديد المعروف باسم LiveAnimate: الرسوم المتحركة البشرية الثابتة على مدار الزمن في الوقت الفعلي، ويأتي من تسعة مؤلفين عبر الجامعة الصينية في هونغ كونغ، و Qwen Applications Business Group of Alibaba، و Liblib AI. موقع المشروع، الذي يحتوي على مقاطع الفيديو الموجودة في هذه المقالة، متاح أيضًا في هذا الموقع، بينما يأتي الكود ‘قريبا’، والأوزان … من يعرف؟

الطريقة

يتكون LiveAnimate من عملية تدريب ثنائية المراحل مصممة لجعل Wan2.2-Animate يولد بشكل مستمر وسريع، يليها نظام ذاكرة يسترد المواضع المفيدة السابقة随ما يتم إنتاج مقطع فيديو جديد:

نظرة عامة على خط أنابيب LiveAnimate، مع عرض عملية التدريب الثنائية على اليسار وتوليد الفيديو المباشر على اليمين، حيث يتم مطابقة الإطارات الواردة مع الإطارات المخزنة وتوحيدها مع الإطارات الحديثة لتوليد كل كتلة فيديو جديدة في ثلاث خطوات. المصدر 

تم تصميم Wan2.2-Animate الأصلي للاعتبار تسلسلًا كاملاً بدلاً من توليد فيديو متمدد بشكل غير محدد. لذلك، قام المؤلفون بتقسيم مقاطع الفيديو المعالجة إلى كتل متتالية، مع توليد كل كتلة باستخدام الكتل السابقة كسياق / حقيقة أساسية. هذا يعلم النموذج في البداية الاستمرار من مواد موثوقة، قبل أن يتعامل مع الأخطاء المتراكمة من مخرجاته الخاصة.

تذكرني

خلال هذه العملية، يتم الاحتفاظ بالصورة المرجعية الأصلية بشكل دائم عبر “حوض المرجع”، مما يوفر تذكيرًا ثابتًا لهوية الشخص ومظهره. بمجرد اكتمال الكتلة، يتم تحويل المعلومات المكتسبة منها إلى سياق تاريخي للكتلات اللاحقة بواسطة “تحديث KV النظيف” (尽管 هذا لا يصلح الأخطاء الحالية).

لا تزال مرحلة التدريب الأولى تتطلب 50 خطوات إزالة الضوضاء لكل كتلة، مما يجعل التشغيل المباشر غير عملي. لذلك، تقوم المرحلة الثانية بتبسيط العملية إلى ثلاث خطوات، مع تعريض النموذج لتاريخه المولّد، منذ أن يتطلب النشر كل مقطع جديد الاعتماد على مخرجات غير كاملة سابقة:

المرحلتان التدريبيتان † المستخدمتان لتحضير LiveAnimate للنشر، الأولى تعلم من كتل فيديو سابقة نظيفة – ثم تقليل التوليد إلى ثلاث خطوات، مع تدريب على تاريخ النموذج المولّد الغير كامل.

يقدم التدريب على هذه التسلسلات المولدة ذاتيًا مشكلة أخرى، منذ أن سيكون الاحتفاظ بتاريخ فيديو كامل حسابيًا باهظًا. بدلاً من ذلك، يتم إجراء تشغيل ممارسة كامل، ثم إعادة زيارته، كتلة واحدة في كل مرة، من أجل التدريب. وبالتالي، يمكن لكل كتلة أن تتلقى تحديثًا بدون الحفاظ على التسلسل الكامل حسابيًا ‘حيا’.

لا تتوقف الآن

من أجل التوليد غير المحدود، يجب على LiveAnimate أيضًا تحديد ما يُستحق تذكره. سيكون الاحتفاظ بكل شيء سيؤدي إلى زيادة متطلبات المعالجة بشكل غير معقول؛ ومع ذلك، قد يؤدي الاحتفاظ ب الإطارات الحديثة فقط إلى إهمال وجهات نظر سابقة مفيدة.

لذلك، يعالج انتباه حوض استرجاع المواضع (PR-Sink) هذه القضية، من خلال الاحتفاظ بالكتلة الأولى المولدة كحوض ساكن دائم – موضع سابق ذو صلة، يعمل كحوض ديناميكي قابل للاستبدال، ونافذة متحركة تحتوي على الكتلة الحالية والكتلتين السابقتين. يبقى الصورة المرجعية متاحة بشكل منفصل من خلال حوض المرجع، بينما تمنع أحجام التخزين الثابتة من زيادة التكاليف随ما يزيد طول الفيديو.

حروب الكتل

للاختيار من المواضع السابقة لهذا الذاكرة المحدودة، يقلل ViTPose من مواضع الجسم واليد عبر ثلاث إطارات إلى تمثيل مضغوط. تحتوي بنك الذاكرة على خمس تمثيلات ممثلة، ويتم ملؤها خلال الكتل الـ 20 الأولى، مع تفضيل المواضع المتنوعة على النُسخ المتشابهة.

خلال التوليد، يتم مقارنة الموضع الوارد مع هذه التمثيلات، ويتم استرجاع أفضل مطابقة، مما يوفر أدلة سابقة عن كيفية مظهر الشخص في موضع مشابه. ومع ذلك، يتم استبعاد الكتلة السابقة مباشرةً، لأنها توجد بالفعل في النافذة المتحركة، تاركة حوض الديناميكية حراً لاسترجاع المعلومات من أبعد:

أخيرًا، يتم تحسين وقت التشغيل نفسه من أجل السرعة عن طريق توزيع معالجة الانتباه عبر.gpu H100، وت重叠 الاتصالات مع الحساب، وإعادة استخدام المعلومات المخبأة حيثما أمكن.

البيانات والاختبارات

تم تدريب LiveAnimate على 40,000 مقطع فيديو للكلام من AVSpeech، و 20,000 مقطع فيديو لحركة الإنسان من مجموعة TikTok و HumanVid، مع دعم التدريب والاستدلال لبدقة 480×480 و 384×672 و 672×384 بكسل.

بدء التدريب من نقطة التحقق الأساسية ل-Wan2.2-Animate-14B، باستخدام LoRA مع رتبة 128، وتم على ثمانية NVIDIA H100 ل 10,000 خطوة في المرحلة الأولى، و 20,000 في المرحلة الثانية.

تم توليد الفيديو في كتل من ثلاث إطارات متواطنة (تمثيل داخلي مضغوط للنموذج)، مما ي相当 إلى 12 إطارًا RGB، بينما تم إجراء الاستدلال على.gpu H100.

تمت مقارنة التقييم بين LiveAnimate وطرق التحريك البشرية التي يتم تشغيلها بواسطة المواضع عبر تسلسلات قصيرة وطويلة، باستخدام صور مرجعية ومواضع تشغيل في إعدادات متسقة. تم تمديد الاختبارات الطويلة إلى ثلاث دقائق لتقييم ما إذا كانت الجودة والهوية تظلان مستقرين مع مرور الوقت.

تم اختبار الإطارات التالية: EverAnimate؛ One-to-All؛ SCAIL^††؛ UniAnimate-DiT؛ و Wan2.2-Animate.

تم استخدام مقاييس تغطي الجودة البصرية، وثبات الهوية، والجودة التوزيعية، وخطأ التمثيل الزمني. تم قياس درجة الجمال (ASE) و تقييم جودة الصورة بدون مرجع (IQA) لقياس جودة الإطارات البصرية؛ DINO، التشابه (DINO-S)، وثبات المظهر مع الهوية المرجعية؛ مسافة الفريتشيت (FID)، الجودة التوزيعية؛ و مسافة ميزة الفيديو (V-MAE)، مدى ما يحافظ الفيديو المولّد على الحركة مع مرور الوقت:

نتائج الاختبار المتعلقة بالجودة والهوية عبر ثلاث دقائق من التوليد المستمر، مع بقاء LiveAnimate مستقر نسبيًا عبر جميع خمسة المقاييس随ما يتطور التسلسل. تظهر طرق المنافسة تدهورًا أكبر مع مرور الوقت. القراءات الأعلى هي أفضل ل-IQA و ASE و DINO-S، مع قراءات أقل أفضل ل-FID و V-MAE.

كما هو موضح في الرسم البياني الأولي أعلاه، حقق LiveAnimate أعلى درجة ASE الأولية 2.823، و IQA 4.047، خلال أول 30 ثانية. يزعم المؤلفون أن هذا يشير إلى أن التقطير بثلاث خطوات يحافظ على جودة الإدراك، على الرغم من انخفاض ميزانية الاستدلال.

ومع ذلك، أظهر LiveAnimate تدهورًا قليلاً خلال ثلاث دقائق من التوليد المستمر، مع بقاء درجات الجودة البصرية وثبات الهوية تقريبًا غير متغيرة.

على العكس من ذلك، تدهورت One-to-All بشكل كبير مع مرور الوقت، مع انخفاض جودة بصرية وثبات هوية وأعلى خطأ توزيعي؛ كما أظهرت Wan2.2-Animate الأصلية بعض فقدان ثبات الهوية.

يقول المؤلفون:

‘تدعم هذه الاتجاهات ادعاءنا المركزي بأن إدارة السياق على المدى الطويل مهمة لرسوم المتحركة المباشرة.’

كما تم اختبار كفاءة التمثيل عبر GPUs. كما هو موضح أدناه، تم تحقيق 12.41 إطارًا في الثانية مع gpu واحد؛ 19.63 إطارًا في الثانية مع gpuين؛ و 22.13 إطارًا في الثانية مع أربعة، مع أن المكاسب أصبحت مقيدة بشكل متزايد بسبب أعباء الاتصالات. لذلك، تم اختيار gpuين كتكوين مفضل:

كفاءة التمثيل عبر gpu واحد واثنين وأربعة من H100 عند دقة 480×480، مع عرض التأخير وسرعة الإطار وسرعة التمثيل والكفاءة. حقق gpuان 19.63 إطارًا في الثانية، بينما أدى التوسع إلى أربعة إلى زيادة متواضعة إلى 22.13 إطارًا في الثانية.

عند 19.63 إطارًا في الثانية، تم توليد كل كتلة من 12 إطارًا في 0.611 ثانية. بالمقارنة، تمت आवश्यकतة حوالي 2-5 ساعات للنظم المنافسة لتوليد التسلسل نفسه لمدة ثلاث دقائق.

أظهرت الاختبارات النوعية فروقًا مماثلة: في اختبار الجسم الكامل أدناه، لوحظ تدهور شديد في One-to-All؛ تم إنتاج وميض بواسطة UniAnimate-DiT و SCAIL؛ وأصبح انزلاق اللون أو الخلفية واضحًا مع Wan-Animate و EverAnimate.

نتائج الاختبار لمحاكاة الجسم الكامل على مدار ثلاث دقائق. تم عينة الإطارات كل 20 ثانية، مع توضيح التدهور على المدى الطويل في الطرق المنافسة باللون الأحمر. استغرق البصمة حوالي 2-5 ساعات لتوليد التسلسل، مقارنةً بحوالي أربع دقائق لـ LiveAnimate. يرجى الرجوع إلى ورقة المصدر للحصول على دقة أفضل.

حافظ LiveAnimate على مظهر الموضوع والمناظر المحيطة طوال التسلسل لمدة ثلاث دقائق. في اختبار الجسم العلوي الأقل طموحًا أدناه، تم تحقيق استقرار مماثل على المدى الطويل بواسطة EverAnimate و LiveAnimate (على الرغم من أن التوليد في الوقت الفعلي تم توفيره فقط بواسطة LiveAnimate):

نتائج الاختبار لمحاكاة الجسم العلوي على مدار ثلاث دقائق. الإطارات التي تم عينتها كل 20 ثانية تظهر LiveAnimate يحافظ على هوية الموضوع وملابسه وخلفية داكنة بشكل أكثر ثباتًا من الطرق المنافسة.

يقول المؤلفون:

‘يحافظ LiveAnimate على جودة إدراكية几乎 ثابتة وهوية عند 19.63 إطارًا في الثانية على gpu H100، مع ذاكرة ووقت تأخير مستقلين عن مدة الدفق، بينما تنخفض البصمات الأوفلاين بشكل واضح أو تتطلب ساعات من الحساب.

‘تأتي هذه النتائج بنماذج انتشار الفيديو بمليار معامل إلى متناول التطبيقات التفاعلية مثل البث المباشر والتواجد الافتراضي والتماثيل الافتراضية.’

الختام

من المشجع رؤية إطار توليد محرك يتبنى نهجًا جديدًا للمشاكل المستمرة للذاكرة والهوية التي تعاني منها الفيديو التوليدي. هناك بالفعل العديد من الإطارات التوليدية التي يمكنها الرجوع إلى الصور الثابتة المحددة التي يوفرها المستخدم، دون الحاجة إلى “لصق” الصورة المرجعية في المحتوى الصورة إلى فيديو الأساسي.

ومع ذلك، هذا يحل بعض مشاكل توليد مقطع فيديو واحد، مثل الحفاظ على هوية (بما في ذلك الملابس وتصفيفة الشعر) للشخص الذي يعود إلى الإطار، أو يصبح محجوبًا بشكل مؤقت، ثم يظهر مرة أخرى. حتى الآن، لم يكن سوى نهج LoRA الثقيل وال暂ي能够 تحقيق بعض التقدم في هذه القضايا، على الرغم من أنه محدود ومؤقت.

对于 فيديو، وحقيقة، لثورة الذكاء الاصطناعي الحالية، فإن تطوير ذاكرة فعالة هو قضية حرجة ووجودية – واحدة من شأنها أن تحدد الفرق بين ظهور الذكاء الاصطناعي العام أو شتاء الذكاء الاصطناعي الثالث.

*  هل هذا لا يزال “فخًا”؟ التفكير الحالي هو أن النماذج الصغيرة المتخصصة قد تعمل في النهاية محليًا، بدون رسوم، بينما يتم خدمة الاحتياجات العليا من قبل سوق استئجار GPU تنافسي ومأمول أن يكون متجزئًا. هذا يفترض أن الشركات الرائدة تفشل في EEE المنافسة، وأن الحوسبة الكبيرة تبقى متاحة بغض النظر. على هذا الأساس، لم أعد أعتبر متطلبات GPU الصارخة عيبًا، بل آمل أن يصبح الوصول أكثر ديمقراطية، وأن يتم تقليل المتطلبات الأولية لل资源 من خلال التحسينات اللاحقة.

^† تم إنشاؤه بواسطة الذكاء الاصطناعي وتم فحصه بواسطة نفسي.

^†† 对于 اختبار الفيديو الطويل، تم تمديد SCAIL و UniAnimate-DiT باستخدام إجراء النافذة المنزلقة بدون تدريب لأن كلاهما لا يدعمان توليد الشكل الطويل بشكل أصلي. تم تقييم EverAnimate و One-to-All باستخدام أساليب توليد الفيديو الطويل الخاصة بهم.

نشر لأول مرة يوم الخميس، 13 أغسطس 2026