تعديل المشاعر في مقاطع الفيديو باستخدام الذكاء الاصطناعي

قام باحثون من اليونان وبريطانيا بتطوير نهج تعلم عميق جديد لتغيير تعابير وجوه الأشخاص في مقاطع الفيديو، مع الحفاظ على مصداقية حركات شفاههم مع الصوت الأصلي بطريقة لم تتمكن المحاولات السابقة من مطابقتها.

من الفيديو المرفق مع البحث (مرفق في نهاية هذا المقال)، مقطع قصير من الممثل آل باسينو يتغير تعبيره بشكل خفيف بواسطة NED، استنادًا إلى مفاهيم دلالية عالية المستوى التي تحدد التعبيرات الوجهية الفردية ومشاعرها المرتبطة. Source: https://www.youtube.com/watch?v=Li6W8pRDMJQ

تندرج هذه الحقل تحت فئة متزايدة من الاحتيال العاطفي، حيث يتم الحفاظ على هوية المتكلم الأصلي، ولكن يتم تغيير تعبيراته وميكرو التعبيرات. مع نضج هذه التكنولوجيا الاصطناعية، تقدم إمكانية لصناعات الأفلام والتلفزيون لإجراء تعديلات دقيقة على تعبيرات الممثلين – ولكنها também открывает فئة جديدة من “الفيديوهات المزيفة العاطفية”.

تغيير الوجوه

تُحفظ تعابير الوجوه للشخصيات العامة، مثل السياسيين، بدقة؛ في عام 2016، خضعت تعابير هيلاري كلينتون لإشراف الإعلامي الحثيث لآثارها السلبية المحتملة على فرصها الانتخابية؛ تُعد التعبيرات الوجهية أيضًا موضوعًا يهم مكتب التحقيقات الفيدرالي؛ وهي مؤشرًا حاسمًا في المقابلات الوظيفية، مما يجعل فكرة مرشح “مرشح التحكم في التعبير” مطلوبة للباحثين عن عمل يحاولون اجتياز مسبق على Zoom.

دراسة عام 2005 من المملكة المتحدة أكدت أن المظهر الوجهي يؤثر على قرارات التصويت، في حين أن مقالًا نُشر في واشنطن بوست عام 2019 يبحث في استخدام مقاطع الفيديو “خارج السياق”، والتي هي أقرب ما يمكن أن يصل إليه مؤيدو الأخبار الكاذبة إلى تغيير طريقة سلوك الشخصية العامة أو استجابتها أو مشاعرها.

نحو تحكم عاطفي عصبي

في الوقت الحالي، يُعد الحال الراهن في تحكم التأثير الوجهي بدائيًا، لأنه يتضمن التعامل مع فك الارتباط المفاهيم عالية المستوى (مثل حزين، غاضب، سعيد، مبتسم) من محتوى الفيديو الفعلي. على الرغم من أن الهياكل التقليدية للتعلم العميق تظهر تحقيقًا جيدًا لهذا الفك الارتباط، إلا أن تقليد المشاعر عبر هويات مختلفة لا يزال يتطلب أن تحتوي مجموعتي تعلم الوجه على تعابير مطابقة لكل هوية.

أمثلة نموذجية على صور الوجه في مجموعات البيانات المستخدمة لتدريب deepfakes. حاليًا، يمكنك فقط تغيير تعبير شخص ما عن طريق إنشاء مسارات تعبير إلى تعبير محددة بالهوية في شبكة عصبية deepfake. لا يوجد فهم داخلي، دال، لمفهوم “الابتسامة” في برنامج deepfake من عام 2017 – إنه ببساطة يخيط ويطابق التغييرات المتصورة في الهندسة الوجهية عبر الموضوعين.

ما هو مرغوب فيه، ولم يتحقق بعد بشكل مثالي، هو التعرف على كيفية ابتسامة موضوع ب (على سبيل المثال) وإنشاء مفتاح “ابتسامة” في الهيكل، دون الحاجة إلى ربطه بصورته المطابقة لابتسامة موضوع أ.

المقال الجديد بعنوان مدير العواطف العصبي: التحكم الدلالي للتعابير الوجهية في مقاطع الفيديو “في البرية”، ويأتي من باحثين في مدرسة الهندسة الكهربائية والحاسوبية في الجامعة التقنية الوطنية في أثينا، ومعهد علوم الحاسوب في مؤسسة البحث والتكنولوجيا في هلاس (FORTH)، وكلية الهندسة والرياضيات والعلوم الفيزيائية في جامعة إكستر في المملكة المتحدة.

قام الفريق بتطوير إطار عمل يسمى مدير العواطف العصبي (NED)، الذي يتضمن شبكة ترجمة عاطفية ثلاثية الأبعاد، مُحوِّل التعبيرات الوجهية ثلاثي الأبعاد.

يستقبل NED تسلسلًا من معلمات التعبير ويتحولها إلى مجال الهدف. يتم تدريبه على بيانات غير متوافقة، مما يعني أنه لا يلزم تدريبه على مجموعات بيانات تحتوي على تعابير وجهية متوافقة لكل هوية.

الفيديو، المعروض في نهاية هذا المقال، يمر بシリーズ من الاختبارات حيث يفرض NED حالة عاطفية واضحة على مقاطع الفيديو من مجموعة اليوتيوب.

يزعم المؤلفون أن NED هو أول طريقة فيديوية ل “توجيه” الممثلين في مواقف عشوائية وغير متوقعة، وقد قاموا بنشر الشفرة على صفحة المشروع.

الطريقة والهيكل

يتم تدريب النظام على مجموعتي فيديو كبيرتين تمت إضافتهما إلى علامات “العواطف”.

يتمكن الإخراج بواسطة معالج فيديو يُ렌ِّد الوجه الذي يُ렌ِّد العاطفة المرغوبة إلى الفيديو باستخدام تقنيات合成 الوجه التقليدية، بما في ذلك تقسيم الوجه وتنسيق معالم الوجه وخلط، حيث يتم فقط合成 منطقة الوجه، ثم وضعها على الفيديو الأصلي.

هيكل трубوب NED. Source: https://arxiv.org/pdf/2112.00585.pdf

في البداية، يحصل النظام على استعادة الوجه ثلاثية الأبعاد ويفرض تنسيق معالم الوجه على الإطارات الإدخالية لتحديد التعبير. بعد ذلك، يتم تمرير معلمات التعبير المستعادة إلى مُحوِّل التعبيرات الوجهية ثلاثي الأبعاد، ومتجه الطراز المحسوب بواسطة وسيلة ملصق دال (مثل “سعيد”) أو ملف مرجعي.

ملف المرجع هو فيديو يصور تعبيرًا معينًا / عاطفة، يتم بعد ذلك تطبيقها على مقطع الفيديو كله، واستبدال التعبير الأصلي.

مراحل трубوب نقل العواطف، مع عينة من الممثلين من مقاطع الفيديو على يوتيوب.

يتم بعد ذلك دمج الشكل النهائي للوجه ثلاثي الأبعاد مع إحداثيات الوجه المتوسطة (NMFC) وصور العين (النقاط الحمراء في الصورة أعلاه)، وتمريرها إلى المُ렌ِّد العصبي، الذي يؤدي التحكم النهائي.

النتائج

أجرى الباحثون دراسات شاملة، بما في ذلك دراسات المستخدمين ودراسات الإزالة، لتقييم فعالية الطريقة مقارنة بالعمل السابق، ووجدوا أن NED يتفوق على الحالة الراهنة في معظم الفئات.

تتوقع مؤلفي البحث أن تكون التطبيقات اللاحقة لهذا العمل، وأدوات مماثلة، مفيدة بشكل رئيسي في صناعات التلفزيون والأفلام، مشيرين إلى:

‘طريقةنا تفتح الكثير من الإمكانيات الجديدة للتطبيقات المفيدة لتكنولوجيا العرض العصبي، من مرحلة ما بعد الإنتاج السينمائي وألعاب الفيديو إلى أفاتار عاطفي واقعي.’

هذه هي واحدة من الأعمال الأولى في هذا المجال، ولكنها واحدة من الأولى التي تحاول إعادة تمثيل الوجه مع مقاطع الفيديو بدلاً من الصور الثابتة. على الرغم من أن مقاطع الفيديو هي في الأساس صورًا ثابتة عديدة تعمل بسرعة فائقة، هناك اعتبارات زمنية تجعل التطبيقات السابقة لنقل العواطف أقل فعالية. في الفيديو المرفق والمقاطع في البحث، يรวม المؤلفون مقارنات بصرية بين مخرجات NED وطريقة مماثلة حديثة.

يمكن العثور على مقارنات أكثر تفصيلاً، والعديد من الأمثلة الأخرى على NED، في الفيديو الكامل أدناه:

3 ديسمبر 2021، 18:30 GMT+2 – تم إجراء تصحيحات بناءً على طلب أحد مؤلفي البحث، بشأن “ملف المرجع”، الذي قلت خطأً أنه صورة ثابتة (في حين أنه في الواقع مقطع فيديو). كما تم تعديل اسم معهد علوم الحاسوب في مؤسسة البحث والتكنولوجيا.

3 ديسمبر 2021، 20:50 GMT+2 – تم إجراء طلب ثاني من أحد مؤلفي البحث لتعديل اسم المؤسسة المذكورة أعلاه.