لماذا لا يمكن للديبفيكس حاليًا نقل دقة العواطف

يبدو أن ظهور الحلقة السادسة من سلسلة ستار وورز: كتاب بوبا فيت قد قسم الرأي العام بين المعجبين. تم استقباله بشكل عام بالموافقة، وهناك افتراض سائد عبر شبكات التواصل الاجتماعي أن إعادة إنشاء مارك هاميل المُعاد شبابه (مقارنة بمظهره السابق في الحلقة النهائية من الموسم الثاني من المانдалوريان في عام 2020) هو نتيجة مباشرة لتوظيف شركة Industrial Light and Magic لممارسة ديبفيكس الهواة شاموك (الذي حسّن بشكل كبير من عمله باستخدام برنامج مفتوح المصدر)؛ وأن تمثيلات الشخصية يجب أن تكون مزيجًا من تقنية الديبفيكس ومحسّنة بواسطة CGI.

هناك تأكيد محدود على ذلك، على الرغم من أن شاموك لم يقل الكثير للعالم منذ انحدار اتفاقية النشر التابعة لشركة ILM. ومع ذلك، فإن العمل هو تحسين استثنائي على CGI لعام 2020؛ يعرض بعض ما يُسمى “اللمعان” المرتبط بنماذج الديبفيكس المشتقة من الأعمال الأرشيفية؛ ويتوافق بشكل عام مع أفضل معيار مرئي حالي للديبفيكس.

تتمثل الخيط الآخر للرأي العام بين المعجبين في أن محاولة جديدة لإنشاء “لوك الشاب” لها مجموعة مختلفة من العيوب مقارنة بالسابقة. ربما الأكثر إقناعًا هو عدم وجود تعبيرية و عواطف دقيقة في التسلسلات الطويلة التي تتميز بإنشاء سكاي ووكر الجديد؛ وهي أكثر نموذجية للديبفيكس من CGI. وصفها ذا فيرج بأنها “الوجه المستعبَد والخالي من التعبير لوجه مارك هاميل في عام 1983”.

بغض النظر عن التكنولوجيا التي تقف وراء إعادة إنشاء شركة ILM الجديدة، فإن تحويلات الديبفيكس لها مشكلة أساسية مع دقة العواطف التي يصعب معالجتها إما من خلال التغييرات في الهندسة المعمارية أو من خلال تحسين المواد التدريبية المصدرة، والتي يتم التغلب عليها عادةً من خلال الاختيارات الحذرة التي يتبعها منشقو الديبفيكس عند اختيار فيديو الهدف.

قيود محاذاة الوجه

أشهر两个 مخزن مفتوح المصدر للديبفيكس هما DeepFaceLab (DFL) و FaceSwap، وكلاهما مشتق من رمز المصدر المجهول والمثير للجدل في عام 2017، مع وجود فجوة كبيرة لصالح DFL في صناعة التأثيرات البصرية، على الرغم من أداته المحدودة.

كلا هذين الحزمتين مكلف في البداية بمهمة استخراج معالم الوجه من الوجوه التي تمكنا من تحديدها من المواد المصدر (أي إطارات الفيديو و / أو الصور الثابتة).

شبكة محاذاة الوجه (FAN) من أدريان بولات في العمل، من المستودع الرسمي. المصدر: https://github.com/1adrianb/face-alignment

تستخدم كل من DFL و FaceSwap مكتبة شبكة محاذاة الوجه (FAN). يمكن لـ FAN إنشاء معالم 2D و 3D (انظر الصورة أعلاه) للوجوه المستخرجة. يمكن لمعالم 3D أن تأخذ بعين الاعتبار التوجه المتصور للوجه بشكل مكثف، حتى الملفات القصوى والزوايا الحادة بشكل معقول.

من منتدى FaceSwap، مؤشر تقريبي للمعالم المتاحة لخطوط الوجه. المصدر: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

أسمى معالم الوجه الأساسية مسموح بها: يمكن للعينين التوسع والإغلاق، وكذلك الفك، في حين يمكن تتبع وتكيف التكوينات الأساسية للفم (مثل الابتسامة أو الشك، إلخ.). يمكن للوجه الدوران في أي اتجاه حتى حوالي 200 درجة من زاوية نظر الكاميرا.

القيام بالوظيفة مع البيانات المحدودة

الحصول على بيانات متطابقة بين هويتين لأغراض تدريب الديبفيكس ليس بالأمر السهل. قد يكون من الضروري التنازل عن ما إذا كان هذا المطابقة النادر (أي المطابقة بين الصورتين) يضم بالفعل نفس التعبير.

قريب، لكن ليس تمامًا مطابق.

المصدر: https://i.imgur.com/OdXHLhU.jpg

عكس التيار

على افتراض (ولكن لا يهم إذا كان هذا الافتراض خاطئًا) أن إعادة إنشاء هاميل في بوبا فيت كانت في الغالب نتيجة لنموذج ديبفيكس مدرب، فإن مجموعة البيانات لنموذج الديبفيكس يجب أن تستغل لقطات من الفترة القريبة من زمنية العرض (أي هاميل في أوائل الثلاثينيات في وقت إنتاج عودة الجيداي، 1981-1983).

مجموعة من المشاهد لهاميل في عودة الجيداي (1983).

نطاق محدود من العواطف؟

إذا كنت تحتاج إلى ممثل ديبفيكد يلدغ المشهد، فستحتاج إلى لقطات مصدر تحتوي على مجموعة غير عادية من التعبيرات الق faciale.

التعميم: اندماج العواطف

إذا كانت إعادة إنشاء سكاي ووكر في بوبا فيت هي في الواقع ديبفيكس، فإن نقص التعبير الذي تم توجيهه ضده من بعض الجهات لن يكون نتيجة 完全ة للبيانات المصدر المحدودة.

اختلاف التأثير في التعبيرات

الحركات الوجهية وتأثيراتها علينا ليست لغة موحدة عبر جميع الوجوه؛ قد يبدو الحاجب المرفوع الذي يبدو غير مبال في روجر مور moins متقدمًا على سيث روجان، في حين قد تترجم الرونق الساحر لمarilyn monroe إلى عاطفة سلبية أكثر إذا تم ديبفيكس على شخص يمتلك أدوار أكثر توفرًا للبيانات تحت مسمى “غاضب” أو “مُتأثر” (مثل شخصية أوبري بلازا عبر سبع مواسم من باركس أند ريكريشن).

لذلك، فإن المساواة البكسلية البكسلية بين مجموعات الوجه A / B ليست مفيدة في هذا الصدد؛ ومع ذلك، هذا هو كل ما تقدمه برامج ديبفيكس مفتوحة المصدر الحالية.

ما يُحتاج إليه على الأرجح هو إطار عمل ديبفيكس يمكنه ليس فقط التعرف على التعبيرات وتفسير العواطف، ولكن أيضًا القدرة على تجسيد مفاهيم عالية المستوى مثل الغضب، والجاذبية، والملل، والتعب، إلخ.، وقدرة على تصنيف هذه العواطف والتعبيرات المرتبطة بها في كل من مجموعتي الوجه، بدلاً من فحص وتكرار موضعية الفم أو الجفن.

نشر لأول مرة في 3 فبراير 2022. تم تحديثه في الساعة 7:47 مساءً بتوقيت شرق أوروبا، بسبب خطأ في الإسناد.