فجر العواطف المزيفة العميقة

قام الباحثون بتطوير تقنية تعلم الآلة الجديدة لفرض عواطف جديدة بشكل تعسفي على الوجوه في الفيديو ، مستخدمين التقنيات الحالية التي ظهرت مؤخرًا كحلول لتناسب حركات الشفاه مع دبلجة اللغة الأجنبية.

البحث هو تعاون متساوي بين جامعة نورث إيسترن في بوسطن ومختبر الإعلام في معهد ماساتشوستس للتكنولوجيا ، ويسمى الوجوه القابلة للعكس: ترجمة العواطف من فيديو إلى فيديو. على الرغم من أن الباحثين يقرون بأن جودة النتائج الأولية يجب تطويرها من خلال بحث إضافي ، إلا أنهم يزعمون أن التقنية ، تسمى Wav2Lip-Emotion ، هي الأولى من نوعها التي تتعامل مباشرة مع تعديل التعبير الكامل للفيديو من خلال تقنيات الشبكات العصبية.

تم إصدار الشفرة الأساسية على جيثب ، على الرغم من أن نقاط التحقق للمodel سوف تضاف إلى مستودع الشفرة المفتوحة في وقت لاحق ، وعد المؤلفون.

على اليسار ، إطار ‘حزين’ من الفيديو المصدر. على اليمين ، إطار ‘سعيد’. في الوسط هناك نهجان صغيران لتركيب عواطف بديلة – الصف العلوي: وجه كامل مغطى حيث تم استبدال سطح التعبير بالكامل؛ الصف السفلي: طريقة Wav2Lip التقليدية ، والتي تستبدل فقط الجزء السفلي من الوجه. مصدر: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

فيديو واحد كبيانات مصدر

في النظرية ، يمكن الحصول على مثل هذه التلاعب من خلال التدريب الكامل على مستودعات Deepfake التقليدية مثل DeepFaceLab أو FaceSwap. ومع ذلك ، فإن سير العمل القياسي سي涉ل استخدام هوية بديلة للهوية ‘الهدف’ ، مثل ممثل يقلد الهدف ، والذي سيتم نقل تعابيره إلى فرد آخر ، إلى جانب بقية الأداء. بالإضافة إلى ذلك ، عادة ما تكون تقنيات تقليد الصوت Deepfake ضرورية لإكمال الوهم.

أيضًا ، تغيير تعبير الهدف1>الهدف1 في فيديو مصدر واحد فقط في هذه الإطارات الشائعة سي涉ل تغيير متجهات محاذاة الوجه بطريقة لا تسهلها هذه الهياكل الحالية.

يحافظ Wav2Lip-Emotion على تناغم الشفاه للحوار الصوتي الأصلي للفيديو أثناء تحويل التعبيرات المرتبطة.

بدلاً من ذلك ، يسعى Wav2Lip-Emotion بشكل فعال إلى ‘نقل ولصق’ تعبيرات متعلقة بالعواطف من جزء من فيديو واستبدالها في نقاط أخرى ، مع تواضع في بيانات المصدر التي تهدف في النهاية إلى تقديم طريقة أقل جهدًا لتعديل التعبير.

يمكن تطوير نماذج غير متصل في وقت لاحق تم تدريبها على فيديوهات بديلة للمتحدث ، مما يلغي الحاجة إلى أي فيديو واحد يحتوي على ‘لوحة’ من حالات التعبير التي يمكن من خلالها تعديل الفيديو.

الأغراض المحتملة

يقترح المؤلفون عددًا من التطبيقات لتعديل التعبير ، بما في ذلك مرشح فيديو مباشر لتعويض عن آثار اضطراب ما بعد الصدمة وشلل الوجه. ويلاحظ البحث:

‘يمكن للأفراد الذين لديهم تعابير وجه محظورة أو غير محظورة أن يستفيدوا من تعديل تعابيرهم لتتناسب بشكل أفضل مع ظروفهم الاجتماعية. قد يرغب أحدهم في تغيير التعبيرات في مقاطع الفيديو المعروضة لهم. قد يكون المتحدثون يصرخون بعضهم البعض خلال مؤتمر فيديو ، لكنهم يرغبون في جمع المحتوى في تبادلهم دون التعبيرات غير السارة. أو قد يرغب مخرج فيلم في تعزيز أو تقليل تعابير الممثل.’

منذ أن يكون التعبير القولي مؤشرًا أساسيًا ومركزيًا للقصد ، حتى عندما قد يتعارض مع الكلمات المنطوقة ، فإن القدرة على تغيير التعبير تقدم أيضًا ، إلى حد ما ، القدرة على تغيير كيفية استقبال الاتصالات.

العمل السابق

تعود اهتمامات تعلم الآلة بتعديل التعبير إلى عام 2012 ، عندما اقترح تعاون بين Adobe و Facebook وجامعة روتجرز طريقة لتعديل التعبيرات باستخدام نهج إعادة بناء الهندسة ثلاثية الأبعاد القائم على التنسور ، الذي فرض شبكة CGI بشكل محمول على كل إطار من فيديو الهدف من أجل التأثير على التغيير.

قام البحث الذي أجراه Adobe و Facebook في عام 2012 بتعديل التعبيرات عن طريق فرض تغييرات تقليدية مدفوعة bởi CGI على لقطات الفيديو. يمكن تعزيز التعبيرات أو كبتها. مصدر: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

على الرغم من وعد النتائج ، كانت التقنية مرهقة والموارد المطلوبة كانت كبيرة. في هذه النقطة ، كان CGI متقدمًا بشكل كبير على نهج التعلم الآلي القائم على مанипULATION مباشرة لمساحة الميزة والبكسل.

أكثر ما يرتبط بالورقة الجديدة هو MEAD ، وهو مجموعة بيانات ونموذج لتوليد التعبير صدر في عام 2020 ، قادر على توليد مقاطع فيديو ‘تalking-head’ ، على الرغم من عدم وجود مستوى من التعقيد الذي يمكن الحصول عليه من خلال تعديل الفيديو المصدر مباشرة.

توليد التعبير مع MEAD 2020 ، وهو تعاون بين SenseTime Research و Carnegie Mellon وثلاث جامعات صينية. مصدر: https://wywu.github.io/projects/MEAD/MEAD.html

في عام 2018 ، ظهرت ورقة أخرى بعنوان GANimation: Facial Animation من الصورة الواحدة ، وهي بحث أكاديمي أمريكي إسباني ، واستخدمت شبكات التوليد المتعادية لتعزيز أو تغيير التعبيرات في الصور الثابتة فقط.

تغيير التعبيرات في الصور الثابتة مع GANimation. مصدر: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

بدلاً من ذلك ، يعتمد المشروع الجديد على Wav2Lip ، الذي حصل على الاهتمام في عام 2020 من خلال تقديم طريقة محتملة لمزامنة حركات الشفاه مع مدخلات كلام جديدة (أو أغنية) التي لم تكن موجودة في الفيديو الأصلي.

تم تدريب الهيكل الأصلي Wav2Lip على مجموعة من الجمل المنطوقة من أرشيفات بي بي سي. من أجل تعديل Wav2Lip لتحقيق مهمة تعديل التعبير ، قام الباحثون بتعديل الهيكل بشكل دقيق على مجموعة بيانات MEAD المذكورة أعلاه.

يتكون MEAD من 40 ساعة من الفيديو تampilkan 60 ممثلًا يقرأون الجملة نفسها أثناء أداء مجموعة من التعبيرات القولية. يأتي الممثلون من 15 دولة مختلفة ويوفرون مجموعة من السمات الدولية التي تهدف إلى مساعدة المشروع (ومشاريع مشتقة) على إنتاج توليد تعبير مناسب ومعمم جيدًا.

في وقت البحث ، لم يتم إصدار MEAD إلا الجزء الأول من مجموعة البيانات ، والذي يضم 47 فردًا يؤدون تعبيرات مثل ‘غاضب’ و ‘اقتناع’ و ‘خوف’ و ‘ازدراء’ و ‘سعيد’ و ‘حزين’ و ‘مفاجئ’. في هذه الرحلة الأولى إلى نهج جديد ، قام الباحثون بتحديد نطاق المشروع إلى وضع أو استبدال العواطف ‘سعيد’ و ‘حزين’ ، لأنها الأكثر تمييزًا.

الطريقة والنتائج

يستبدل الهيكل الأصلي Wav2Lip فقط الجزء السفلي من الوجه ، بينما يجرى Wav2Lip-Emotion تجارب على قناع استبدال كامل للوجه وتركيب التعبير. لذلك كان من الضروري للباحثين تعديل أساليب التقييم المدمجة ، لأنها لم تكن مصممة لأكوام الوجه الكاملة.

يحسن المؤلفون على الشفرة الأصلية من خلال الاحتفاظ بالمدخلات الصوتية الأصلية ، مع الحفاظ على συνέسية حركات الشفاه.

يتكون عنصر المولد من محرك تعريف ، ومحرك كلام ، وبرمجة فك ترميز الوجه ، وفقًا للعمل السابق. يتم ترميز عنصر الكلام إضافيًا كتحويلات ثنائية الأبعاد متكدسة يتم إلحاقها لاحقًا بإطاراتها المرتبطة.

إلى جانب العنصر التوليدي ، يحتوي الهيكل المعدل على ثلاثة مكونات مناقش principales ، تستهدف جودة تناغم الشفاه ، وغرض التعبير ، وغرض الجودة البصرية المدرب على العدو.

من أجل إعادة بناء الوجه الكامل ، لم يكن هناك سابقة في العمل الأصلي Wav2Lip ، وبالتالي تم تدريب النموذج من الصفر. من أجل تدريب الجزء السفلي للوجه (نصف القناع) ، استمر الباحثون من نقاط التحقق المضمنة في الشفرة الأصلية Wav2Lip.

إلى جانب التقييم الآلي ، استخدم الباحثون آراء جماهيرية مقدمة من منصة خدمة شبه آلية. قيم العمال بشكل عام الإخراج بشكل مرتفع من حيث التعرف على العواطف المضافة ، بينما أبلغوا فقط عن تقييمات ‘متوسطة’ لجودة الصورة.

يقترح المؤلفون أن ، بالإضافة إلى تحسين جودة الفيديو المولدة بالتطورات الإضافية ، يمكن أن تشمل الإصدارات المستقبلية من العمل مجموعة أوسع من العواطف ، ويمكن أن تطبق هذه العمل في المستقبل على بيانات مصدر ومجموعات بيانات محددة أو مستنيرة تلقائيًا ، مما يؤدي في النهاية إلى نظام حقيقي يمكن من خلاله ضبط العواطف أو تغييرها أو استبدالها بعواطف متناقضة فيما يتعلق بالفيديو المصدر الأصلي.