RigNeRF: طريقة جديدة للتعديل على الفيديوهات باستخدام حقول الإشعاع العصبية

أدت الأبحاث الجديدة التي طُورت في شركة أدوبي إلى تقديم أول طريقة قابلة للتطبيق وفعالة لتعديل الفيديوهات باستخدام حقول الإشعاع العصبية (NeRF) – ربما تكون أول ابتكار حقيقي في الهندسة المعمارية أو النهج منذ ظهور تعديل الفيديوهات في عام 2017.

تستخدم الطريقة، التي تحمل عنوان RigNeRF، نماذج الوجه القابلة للتشكيل ثلاثية الأبعاد (3DMMs) كطبقة وسيطة بين الإدخال المطلوب (أي الهوية التي سيتم فرضها على عرض NeRF) والفضاء العصبي، وهي طريقة تم تبنيها على نطاق واسع في السنوات الأخيرة بواسطة نهج合زنة المنافسة لتحليل الوجه.

على عكس مقاطع الفيديو التقليدية المعدلة، لا يوجد أي محتوى متحرك في الصورة الموضحة هنا هو “حقيقي”، بل هو مجرد فضاء عصبي قابل للاستكشاف تم تدريبه على مقاطع فيديو قصيرة. على اليمين نرى نموذج الوجه القابل للتشكيل ثلاثية الأبعاد (3DMM) يعمل كواجهة بين التعديلات المطلوبة (“الابتسامة”، “النظر إلى اليسار”، “النظر لأعلى”، إلخ.) ومعاملات العرض العادية لحقل الإشعاع العصبي. لمشاهدة نسخة عالية الدقة من هذا الشريط، بالإضافة إلى أمثلة أخرى، انظر صفحة المشروع، أو الفيديوهات المضمنة في نهاية هذه المقالة. المصدر: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html

نماذج الوجه القابلة للتشكيل ثلاثية الأبعاد (3DMMs) هي في الأساس نماذج حاسوبية للاهتمام، يمكن تعديل معاملاتها لتناسب أنظمة合زنة المنافسة، مثل NeRF وGAN، والتي من الصعب التحكم فيها.

ما تراه في الصورة أعلاه (الصورة الوسطى، رجل بلوزة زرقاء)، وكذلك الصورة الموجودة مباشرة أسفل (الصورة اليسرى، رجل بلوزة زرقاء)، ليس فيديو “حقيقي” تم إضافة شريط صغير من الوجه الكاذب إليه، بل هو مشهد تم تحليله بالكامل كتعرض عصبي حجمي – بما في ذلك الجسم والخلفية:

في المثال الموجود مباشرة أعلاه، يتم استخدام الفيديو الحقيقي على اليمين (امرأة بلوزة حمراء) لتحريك الهوية المحصورة (رجل بلوزة زرقاء) على اليسار من خلال RigNeRF، والذي (وفقًا لما يزعمه المؤلفون) هو أول نظام يستند إلى NeRF يمكنه فصل الوضع والتعبير بينما يمكنه أداء تحليلات جديدة للمشاهد.

تم الحصول على البيانات لمناظر RigNeRF من خلال تسجيل مقاطع فيديو قصيرة. لجنة البحث استخدمت هاتف iPhone XR أو iPhone 12 لجميع التجارب. بالنسبة للنصف الأول من التسجيل، يُطلب من الشخص أداء مجموعة واسعة من التعبيرات الوجهية والكلام بينما يبقى رأسه ساكناً بينما يتم تحريك الكاميرا حوله.

خلال النصف الثاني من التسجيل، تظل الكاميرا في وضع ثابت بينما يجب على الشخص تحريك رأسه حول بينما يُظهر مجموعة واسعة من التعبيرات. تمثل النتيجة 40-70 ثانية من الفيديو (حوالي 1200-2100 إطار) مجموعة البيانات الكاملة التي سيتم استخدامها لتدريب النموذج.

منذ أن تكون نماذج الوجه القابلة للتشكيل ثلاثية الأبعاد (3DMMs) متاحة أيضًا كواجهات بروكسي CGI كاملة الجسم ( chứ غير مجرد نماذج الوجه)، فإن RigNeRF يفتح إمكانية وجود تعديلات كاملة الجسم حيث يتم نقل الحركة والتنسيق والتعبير البشري الحقيقي إلى طبقة معايرة CGI، والتي من شأنها بعد ذلك ترجمة الإجراء والتعبير إلى بيئات وصور فيديو معالجة بواسطة NeRF.

بخصوص RigNeRF – هل يعتبر هذا النهج طريقة لتعديل الفيديوهات في المعنى الحالي الذي تفهمه العناوين الرئيسية هذا المصطلح؟ أو هو مجرد نهج ناقص آخر لتقنيات DeepFaceLab وغيرها من أنظمة التعديل التي تعتمد على التشفير التلقائي من عام 2017؟

يصر الباحثون في الورقة الجديدة على هذه النقطة:

‘كونه طريقة قادرة على إعادة تشغيل الوجوه، فإن RigNeRF معرضة للإساءة من قبل الجهات الفاعلة السيئة لإنشاء فيديوهات معدلة.’

الورقة الجديدة بعنوان RigNeRF: صور ثلاثية الأبعاد عصبية قابلة للتحكم بالكامل، وهي من إعداد ShahRukh Atha من جامعة Stonybrook، وهو متدرب في شركة أدوبي خلال تطوير RigNeRF، وأربعة مؤلفين آخرين من أدوبي ريسيرش.

ما وراء تعديلات الفيديوهات القائمة على التشفير التلقائي

معظم فيديوهات التعديل التي أصبحت مشهورة في السنوات القليلة الماضية تم إنتاجها بواسطة أنظمة قائمة على التشفير التلقائي، المشتقة من الشفرة التي تم نشرها في منتدى r/deepfakes الممنوع في عام 2017 – على الرغم من أنه تم نسخها إلى جيت هاب قبل ذلك، حيث تم فوركها حاليًا أكثر من ألف مرة، ليس أقلها إلى توزيع DeepFaceLab الشهير (على الرغم من أنه مثير للجدل)، ومشروع FaceSwap.

بالإضافة إلى GAN وNeRF، قامت إطارات التشفير التلقائي أيضًا بتجربة نماذج الوجه القابلة للتشكيل ثلاثية الأبعاد (3DMMs) كدليل لتحسين إطارات合زنة المنافسة لتحليل الوجه. مثال على ذلك هو مشروع HifiFace من يوليو 2021. ومع ذلك، لا يبدو أن أي مبادرة قابلة للاستخدام أو شائعة قد تم تطويرها من هذا النهج حتى الآن.

تتم الحصول على بيانات RigNeRF من خلال تسجيل مقاطع فيديو قصيرة. لجنة البحث استخدمت هاتف iPhone XR أو iPhone 12 لجميع التجارب. بالنسبة للنصف الأول من التسجيل، يُطلب من الشخص أداء مجموعة واسعة من التعبيرات الوجهية والكلام بينما يبقى رأسه ساكناً بينما يتم تحريك الكاميرا حوله.

تقليل جمع البيانات

في المقابل، تتطلب أنظمة التشفير التلقائي مثل DeepFaceLab جمع وتنقية آلاف الصور المتنوعة، غالبًا ما يتم أخذها من مقاطع فيديو على يوتيوب وقنوات وسائل التواصل الاجتماعي الأخرى، بالإضافة إلى الأفلام (في حالة تعديلات المشاهير).

النماذج الم