تُعد الرؤية الحاسوبية واحدة من المجالات الأكثر مناقشة في صناعة الذكاء الاصطناعي، وذلك بسبب التطبيقات المحتملة على نطاق واسع من المهام في الوقت الفعلي. في السنوات الأخيرة، تقدمت إطارات الرؤية الحاسوبية بسرعة، حيث أصبحت النماذج الحديثة قادرة على تحليل ملامح الوجه، والأجسام، والمزيد في ظروف زمنية حقيقية. على الرغم من هذه القدرات، لا يزال نقل حركة الإنسان تحديًا كبيرًا للنماذج الحاسوبية للرؤية. تتضمن هذه المهمة إعادة توجيه حركات الوجه والجسم من صورة أو فيديو مصدر إلى صورة أو فيديو مستهدف. يستخدم نقل حركة الإنسان على نطاق واسع في نماذج الرؤية الحاسوبية لتحويل الصور أو الفيديوهات، وتحرير محتوى الوسائط المتعددة، والتركيب البشري الرقمي، وحتى توليد البيانات للأطر القائمة على الإدراك.

في هذه المقالة، نركز على MagicDance، وهو نموذج قائم على الانتشار مصمم لإحداث ثورة في نقل حركة الإنسان. يهدف إطار MagicDance بشكل خاص إلى نقل تعابير الوجه والحركات البشرية ثنائية الأبعاد إلى فيديوهات رقص بشرية صعبة. هدفها هو توليد فيديوهات رقص جديدة مدفوعة بتسلسل الوضعيات للهويات المستهدفة مع الحفاظ على الهوية الأصلية. يستخدم إطار MagicDance استراتيجية تدريب من مرحلتين، تركز على فصل حركة الإنسان وعوامل المظهر مثل لون البشرة، وتعابير الوجه، والملابس. سنغوص في إطار MagicDance، استكشاف هيكله، ووظائفه، وأدائه مقارنةً بإطارات نقل حركة الإنسان الأخرى المتقدمة. دعونا نغوص في الموضوع.

MagicDance: نقل حركة بشرية واقعية

كما ذكرنا سابقًا، نقل حركة الإنسان هو واحد من أكثر مهام الرؤية الحاسوبية تعقيدًا بسبب التعقيد الشديد المشارك في نقل الحركات والتعبيرات البشرية من الصورة أو الفيديو المصدر إلى الصورة أو الفيديو المستهدف. تقليديًا، حققت إطارات الرؤية الحاسوبية نقل حركة الإنسان من خلال تدريب نموذج مولد محدد للمهمة، بما في ذلك GAN أو الشبكات التوليدية المعارضة على مجموعات بيانات مستهدفة لتعابير الوجه ووضعيات الجسم. على الرغم من أن تدريب واستخدام النماذج المولدة يؤديان نتائج مرضية في بعض الحالات، غالبًا ما يعانيان من قيدين رئيسيين.

1. يعتمدان بشكل كبير على مكون تشويه هندسي للصورة نتيجة لذلك غالبًا ما يصعب عليهما استيفاء أجزاء الجسم غير المرئية في الصورة المصدر بسبب تغيير في المنظور أو الاحتجاب الذاتي.
2. لا يمكنهما تعميمها إلى صور أخرى مصدرة خارجيًا مما يقيد تطبيقاتهما خاصةً في السيناريوهات الزمنية الحقيقية في ظروف العالم الحقيقي.

أظهرت النماذج الحديثة للانتشار القدرة الاستثنائية على توليد الصور عبر ظروف مختلفة، واليوم يمكن للنماذج الاندماجية تقديم صور قوية في مجموعة من المهام اللاحقة مثل توليد الفيديو وملء الصور من خلال التعلم من مجموعات بيانات الصور على مستوى الويب. نظرًا لقدراتها، قد تكون نماذج الانتشار خيارًا مثاليًا لمهام نقل حركة الإنسان. على الرغم من أن نماذج الانتشار يمكن تنفيذها لنقل حركة الإنسان، إلا أنها تملك بعض القيود إما من حيث جودة المحتوى المولدة أو من حيث الحفاظ على الهوية أو معاناة من عدم الاتساق الزمني نتيجة لقيود تصميم النموذج واستراتيجية التدريب. علاوة على ذلك، لا تظهر نماذج الانتشار ميزة كبيرة على أطر GAN من حيث القدرة على التعميم.

للتغلب على العوائق التي تواجهها نماذج الانتشار والGAN في مهام نقل حركة الإنسان، قدم المطورون MagicDance، وهو إطار جديد يهدف إلى استغلال إمكانيات أطر الانتشار لنقل حركة الإنسان مع مستوى غير مسبوق من الحفاظ على الهوية، وجودة بصرية فائقة، والقدرة على التعميم عبر المجالات. في جوهره، مفهوم إطار MagicDance الأساسي هو تقسيم المشكلة إلى مرحلتين: التحكم في المظهر والتحكم في الحركة، وهي القدرتان المطلوبتان من أطر الانتشار لتقديم مخرجات نقل حركة دقيقة.

الرسم أعلاه يوفر نظرة عامة موجزة على إطار MagicDance، ويمكن رؤية أن الإطار يستخدم نموذج Stable Diffusion، ويتم توزيع مكونين إضافيين: نموذج التحكم في المظهر وPose ControlNet، حيث يوفر الأول توجيه المظهر إلى نموذج SD من خلال صورة مرجعية عن طريق الانتباه، بينما يوفر الآخر توجيه التعبير/الوضعيات إلى نموذج الانتشار من صورة أو فيديو مشروط. يدمج الإطار أيضًا استراتيجية تدريب متعددة المراحل لتعلم هذه الوحدات الفرعية بشكل فعال لفصل التحكم في الوضعيات والمظهر.

باختصار، إطار MagicDance هو

1. إطار جديد وفعال يتكون من التحكم في الوضعيات المنفصل عن المظهر، والتحكم المسبق في المظهر.
2. إطار MagicDance قادر على توليد تعابير وجهية بشرية وحركات بشرية واقعية تحت سيطرة مدخلات الحالة ووضعيات الإشارة وصور أو فيديوهات المرجع.
3. يهدف إطار MagicDance إلى توليد محتوى بشري متسق في المظهر من خلال إدخال وحدة الانتباه متعددة المصادر التي توفر توجيهًا دقيقًا لإطار Stable Diffusion UNet.
4. يمكن استخدام إطار MagicDance أيضًا كتوسيع أو ملحق مناسب لإطار Stable Diffusion، ويتوافق مع أوزان النموذج الحالية دون الحاجة إلى تعديل إضافي للمعلمات.

إضافة إلى ذلك، يظهر إطار MagicDance قدرات استثنائية على التعميم لكل من المظهر والحركة.

1. تعميم المظهر: يظهر إطار MagicDance قدرات فائقة عند توليد مظاهر متنوعة.
2. تعميم الحركة: يمتلك إطار MagicDance أيضًا القدرة على توليد مجموعة واسعة من الحركات.

MagicDance: الأهداف والهيكل

بالنسبة إلى صورة مرجعية معينة إما لشخص حقيقي أو صورة مصممة، الهدف الرئيسي لإطار MagicDance هو توليد صورة أو فيديو ناتج مشروط على المدخلات ووضعيات الإشارة {P, F} حيث تمثل P هيكل وضعيات الإنسان، وF تمثل معالم الوجه. يجب أن تكون الصورة أو الفيديو الناتج قادرة على الحفاظ على مظهر وهوية الأشخاص المشاركين بالإضافة إلى المحتوى الخلفي الموجود في صورة المرجع مع الحفاظ على الوضعيات والتعبيرات المحددة بواسطة مدخلات الوضعيات.

الهيكل

خلال التدريب، يُدرَب إطار MagicDance كمهام إعادة بناء الإطارات لتحقيق الصورة الحقيقية مع صورة المرجع ومدخلات الوضعيات المستمدة من نفس فيديو المرجع. خلال الاختبار لتحقيق نقل الحركة، يتم الحصول على مدخلات الوضعيات وصور المرجع من مصادر مختلفة.

يمكن تقسيم هيكل إطار MagicDance بشكل عام إلى أربع فئات: المرحلة الأولية، وتحكم المظهر مسبقًا، وتحكم الوضعيات المنفصل عن المظهر، ووحدة الحركة.

المرحلة الأولية

تمثل نماذج الانتشار في الفضاء الكامن نماذج انتشار مصممة بشكل فريد للعمل في الفضاء الكامن بفضل استخدام المُرمِّز التلقائي، ويُعد إطار Stable Diffusion مثالًا بارزًا على نماذج LDMs التي تستخدم مرمِّز تلقائي من نوع Vector Quantized-Variational وتركيب U-Net الزمني. يستخدم إطار Stable Diffusion محولًا من بنية Transformer قائمًا على CLIP كمرمِّز نصي لمعالجة المدخلات النصية من خلال تحويل النصوص إلى متجهات تضمين. أثناء التدريب يتلقى النموذج شرطًا نصيًا وصورة إدخال، ويُرمِّز الصورة إلى تمثيل كامن ثم يضيف إليها ضوضاء غاوسية وفق تسلسل محدد من خطوات الانتشار. ينتج عن ذلك تمثيل كامن مشوش يوافق التوزيع الطبيعي القياسي، ويكون هدف التعلم الرئيسي إزالة الضوضاء تكراريًا لاستعادة تمثيلات كامنة نظيفة.

تحكم المظهر مسبقًا

تُعد مشكلة رئيسية مع إطار ControlNet الأصلي عدم قدرته على التحكم في المظهر بين الحركات المتغيرة مكانيًا بشكل متسق، على الرغم من أنه يولد صورًا تتشابه وضعياتها مع تلك الموجودة في صورة الإدخال، مع تأثير المظهر العام بشكل رئيسي بواسطة المدخلات النصية. على الرغم من أن هذه الطريقة تعمل، إلا أنها لا تتناسب مع مهام نقل الحركة التي لا تعتمد على المدخلات النصية ولكن على صورة المرجع كالمصدر الأساسي للمعلومات حول المظهر.

تم تصميم وحدة تحكم المظهر مسبقًا في إطار MagicDance كفرع مساعد لتوجيه التحكم في المظهر طبقةً بطبقة. بدلاً من الاعتماد على المدخلات النصية، يركز الإطار العام على استغلال سمات المظهر من صورة المرجع بهدف تعزيز قدرة الإطار على توليد سمات المظهر بدقة، خاصة في السيناريوهات التي تتضمن ديناميات حركية معقدة. بالإضافة إلى ذلك، يكون نموذج التحكم في المظهر فقط قابلًا للتدريب خلال تدريب التحكم في المظهر.

تحكم الوضعيات المنفصل عن المظهر

يمكن حل التحكم في الوضعيات في الصورة الناتجة بدمج نموذج ControlNet المسبق التدريب مباشرة مع نموذج التحكم في المظهر المسبق التدريب دون تعديل. ومع ذلك، قد يؤدي هذا الدمج إلى صعوبة في التحكم المستقل في الوضعيات، مما يؤدي إلى اختلاف بين وضعيات الإدخال والوضعيات المولدة. لمعالجة هذا الاختلاف، يضبط إطار MagicDance نموذج Pose ControlNet بشكل مشترك مع نموذج التحكم في المظهر المسبق التدريب.

وحدة الحركة

عند العمل معًا، يمكن لنموذج التحكم في الوضعيات المنفصل عن المظهر ونموذج التحكم في المظهر تحقيق نقل صورة إلى حركة دقيق وفعال، على الرغم من أنه قد يؤدي إلى عدم الاتساق الزمني. لضمان الاتساق الزمني، يدمج الإطار وحدة حركة إضافية في هيكل Stable Diffusion الأساسي.

MagicDance: التدريب مسبقًا والبيانات

للتدريب المسبق، يستخدم إطار MagicDance مجموعة بيانات TikTok التي تتكون من أكثر من 350 فيديو رقص بطول مختلف يتراوح بين 10 و15 ثانية، ويتم تسجيل معظم هذه الفيديوهات لشخص واحد يرقص، وتحتوي معظمها على الوجه وجزء العلوي من الجسم. يُستخرج كل فيديو فردي بسرعة 30 إطارًا في الثانية، ويتعين تشغيل OpenPose على كل إطار على حدة لاستنتاج هيكل الوضعيات، ووضعيات اليدين، ومعالم الوجه.

للتدريب المسبق، يتم تدريب نموذج التحكم في المظهر مسبقًا بحجم دفعة يبلغ 64 على 8 وحدات معالجة رسومات NVIDIA A100 لمدة 10 آلاف خطوة مع حجم صورة 512 × 512، يلي ذلك تعديل مشترك لنموذج التحكم في الوضعيات ونموذج التحكم في المظهر بحجم دفعة يبلغ 16 لمدة 20 ألف خطوة. خلال التدريب، يختار إطار MagicDance عشوائيًا إطارين كهدف ومرجع على التوالي، مع تقطيع الصور في نفس الموقع وبنفس الارتفاع. خلال التقييم، يُقطع الإطار الصورة بشكل مركزي بدلاً من تقطيعها بشكل عشوائي.

MagicDance: النتائج

تظهر النتائج التجريبية التي أجريت على إطار MagicDance في الصورة التالية، ويمكن رؤية أن إطار MagicDance يتفوق على الإطارات الحالية مثل Disco وDreamPose لنقل الحركة البشرية عبر جميع المقاييس. الإطارات التي تحتوي على “*” قبل اسمها تستخدم صورة المستهدف مباشرة كمدخل، وتشمل المزيد من المعلومات مقارنةً بالإطارات الأخرى.

من المثير للاهتمام أن إطار MagicDance يحقق درجة Face-Cos تبلغ 0.426، مما يعكس تحسنًا بنسبة 156.62% مقارنةً بإطار Disco، وزيادة تقارب 400% عند مقارنته بإطار DreamPose. تشير النتائج إلى القدرة القوية لإطار MagicDance على الحفاظ على معلومات الهوية، وتظهر التحسينات الواضحة في الأداء تفوق إطار MagicDance على الطرق الحالية المتقدمة.

تظهر الصور التالية مقارنةً بجودة توليد فيديو الإنسان بين إطارات MagicDance وDisco وTPS. كما يمكن ملاحظة أن النتائج التي تم توليدها بواسطة الإطارات GT وDisco وTPS تعاني من عدم الاتساق في هوية الوضعيات والتعبيرات الوجهية.

علاوة على ذلك، تُظهر الصورة التالية تجسيد نقل تعبير الوجه ووضعيات الإنسان على مجموعة بيانات TikTok، حيث يمكن لإطار MagicDance توليد تعابير واقعية وحركات تحت معالم وجهية ومدخلات هيكل الوضعيات المتنوعة مع الحفاظ الدقيق على معلومات الهوية من صورة الإدخال المرجعية.

يُلاحظ أن إطار MagicDance يمتلك قدرات استثنائية على التعميم لصور المرجع المن خارج المجال لم تُشاهد من قبل ووضعيات وأساليب غير مسبوقة مع سيطرة ممتازة على المظهر حتى بدون أي تعديل إضافي على المجال المستهدف، وتظهر النتائج في الصورة التالية.

تُظهر الصور التالية قدرات التصوير لنقل تعابير الوجه وحركة الإنسان دون أمثلة إضافية (zero-shot). كما يمكن رؤية أن إطار MagicDance يعمم الحركات البشرية في ظروف العالم الحقيقي بشكل مثالي.

MagicDance: القيود

يُعد OpenPose مكونًا أساسيًا في إطار MagicDance لأنه يلعب دورًا حاسمًا في التحكم في الوضعيات، مما يؤثر على جودة وثبات الصور المولدة بشكل كبير. ومع ذلك، يجد إطار MagicDance بعض الصعوبة في الكشف عن معالم الوجه وهيكل الوضعيات بدقة، خاصةً عندما تكون الأجسام في الصور غير مرئية بشكل جزئي أو تظهر حركة سريعة. يمكن أن تؤدي هذه القضايا إلى تشويهات في الصورة الناتجة.

الختام

في هذه المقالة، ناقشنا إطار MagicDance، وهو نموذج قائم على الانتشار يهدف إلى ثورة نقل حركة الإنسان. يحاول إطار MagicDance نقل تعابير الوجه وحركات الإنسان ثنائية الأبعاد إلى فيديوهات رقص بشرية صعبة، مع هدف توليد فيديوهات رقص بشرية جديدة مدفوعة بتسلسل الوضعيات للهويات المستهدفة مع الحفاظ على الهوية الثابتة. يُعتمد إطار MagicDance على استراتيجية تدريب من مرحلتين لفصل حركة الإنسان وعوامل المظهر مثل لون البشرة وتعابير الوجه والملابس.

يُعد MagicDance نهجًا جديدًا لتوليد فيديوهات بشرية واقعية من خلال دمج نقل تعبير الوجه وحركة الإنسان، وتمكين توليد رسوم متحركة متسقة زمنيًا في ظروف العالم الحقيقي دون الحاجة إلى أي تعديل إضافي، مما يُظهر تقدمًا كبيرًا على الطرق الحالية. بالإضافة إلى ذلك، يُظهر إطار MagicDance قدرات استثنائية على التعميم على تسلسلات الحركة المعقدة والهويات البشرية المتنوعة، مما يُثبت أن إطار MagicDance يُعد الرائد في مجال نقل الحركة وإنشاء الفيديو بمساعدة الذكاء الاصطناعي.