GAN كنموذج لترnder للوجوه في CGI التقليدية

الرأي عندما أظهرت الشبكات التوليدية المعارضة (GANs) لأول مرة قدرتها على إعادة إنتاج وجوه ثلاثية الأبعاد واقعية بشكل مذهل، أطلقت هذه العبارة عاصفة من الذهب لاستكشاف الإمكانيات غير المستغلة من GANs لإنشاء مقاطع فيديو متسقة زمنياً تampilkan وجوه بشرية.

في مكان ما في الفضاء الكمومي للGAN ، يبدو أن هناك يجب أن يكون هناك نظام منطقي عقلاني مخفي – مخطط من المنطق الدلالي الناشئ ، مدفون في الرموز الكمومية ، التي من شأنها أن تتيح للGAN إنشاء وجه واحد متسق ومultiple تفسيرات (مثل تغييرات في التعبير) لل نفس الوجه – وبالتالي تقديم طريقة فيديو عميق مزيف مقنعة زمنياً التي من شأنها أن تتفوق على التوافقيات من الماء.

كان من المتوقع أن تكون الإخراج عالي الدقة أمراً سهلاً مقارنة بالبيئات منخفضة الدقة التي يُجبر فيها جهاز GPU على تشغيل DeepFaceLab و FaceSwap ، بينما ستصبح “منطقة التبادل” للوجه (في سير عمل التشفير الذاتي) “منطقة الإنشاء” للGAN ، على أساس صورة واحدة أو حتى صورة واحدة.

لم يكن هناك أي اختلاف بين الوجهين “المتبادل” و “المضيف” ، لأن كامل الصورة تم إنشاؤها من الصفر ، بما في ذلك الشعر وخطوط الفك والخطوط الخارجية للوجه ، والتي غالباً ما تثبت تحدياً لل النماذج التقليدية للوجوه.

شتاء فيديو الوجه GAN

كما اتضح ، لم يكن ذلك سهلاً. في النهاية ، أثبت الانفصال أنه القضية المركزية ، ولا يزال التحدي الرئيسي. كيف يمكنك الحفاظ على هوية وجه مميزة ، وتغيير وضعها أو تعبيرها دون جمع مجموعة من الآلاف من الصور المرجعية التي تعلم الشبكة العصبية ما يحدث عند تنفيذ هذه التغييرات ، على النحو الذي تفعله أنظمة التشفير الذاتي بجد؟

بدلاً من ذلك ، كان التفكير اللاحق في أبحاث التعبير والتركيب الوجهي للGAN هو أن الهوية المدخلة يمكن أن تخضع للتحويلات 템بلتيد GENERIC ، التي ليست محددة بالهوية. مثال على ذلك هو تطبيق تعبير على وجه GAN لم يكن موجوداً في أي من الصور التي يعرفها GAN حول هذا الشخص.

من الواضح أن نهج “حجم واحد يناسب الجميع” لا يمكن أن يغطي تنوع التعبيرات الوجهية الفريدة للأفراد. يجب أن نتساءل عما إذا كان يمكن أن يتلقى ابتسامة فريدة مثل ابتسامة جاك نيكولسون أو ويلم دافو تفسيراً مخلصاً تحت تأثير رموز التعبير المتوسطة.

ربما كان محرر الوجه GAN الذي تلقى أكبر интерес (واستشهادات) في السنوات الثلاث الماضية هو InterFaceGAN ، والذي يمكنه أداء مسارات في الفضاء الكمومي المتعلق بالوضع (زاوية الكاميرا / الوجه) ، والتعبير ، والعمر ، والجنس ، وغيرها من الخصائص الأساسية.

القدرات المتطورة لمورفينج InterFaceGAN وأطر مشابهة هي في الغالب طريقة لتوضيح مسار التحويل كصورة معادَة إلى الفضاء الكمومي المناسب (مثل “العمر”). فيما يتعلق bằng إنتاج مقاطع فيديو ذات استمرارية زمنية ، هذه المخططات حتى الآن مؤهلة ل “كارثة مثيرة للإعجاب”.

إذا أضفنا إلى ذلك صعوبة إنشاء شعر متسق زمنياً ، وحقيقة أن تقنية استكشاف / تعديل الرموز الكمومية لا تملك إرشادات زمنية متأصلة للعمل معها (من الصعب معرفة كيفية حقن هذه الإرشادات في إطار مصمم لاستيعاب وتوليد الصور الثابتة ، والذي لا يملك أي حكم أصلي لخرج الفيديو) ، قد يكون من المنطقي أن نستنتج أن GAN ليست كل ما تحتاجه ™ لتركيب فيديو الوجه.

لذلك ، أدت الجهود اللاحقة إلى تحسينات التراكمي في الانفصال ، في حين أن البعض الآخر قد أضاف تقليدات أخرى في رؤية الكمبيوتر كطبقة توجيه ، مثل استخدام التجزئة الدلالية كآلية تحكم في الورقة المتأخرة في عام 2021 الورقة SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing.

التوجيه العامل

يتجه مجتمع أبحاث تركيب الوجه GAN بشكل متزايد نحو استخدام وجوه CGI التقليدية العاملية كوسيلة لتوجيه وتنظيم الرموز الكمومية غير المطيعة في الفضاء الكمومي للGAN.

على الرغم من أن البدائيات الوجهية العاملية كانت حجر زاوية في أبحاث رؤية الكمبيوتر لمدة أكثر من عشرين عاماً ، فقد نمت اهتماماتها مؤخراً ، مع زيادة استخدام نماذج CGI Skinned Multi-Person Linear Model (SMPL) ، وهو نهج رائد من معهد ماكس بلانك و ILM ، ومنذ ذلك الحين تم تحسينه مع إطار Sparse Trained Articulated Human Body Regressor (STAR).

النموذج العصبي الأكثر شهرة في هذا الخط هو مبادرة Rendering with Style لشركة ديزني في عام 2019 ، والتي دمجت استخدام الخرائط النسيجية التقليدية مع الصور التي تم إنشاؤها بواسطة GAN ، في محاولة لإنشاء مخرجات متحركة محسنة ، على غرار عميق – مزيف.

يفرض نهج ديزني عناصر CGI التقليدية في شبكة StyleGAN2 ل “تلوين” مواضيع الوجه البشرية في “مناطق مشكلة” ، حيث يكون الاتساق الزمني مشكلة لإنشاء الفيديو – مناطق مثل نصع الجلد.

منذ أن تم تصميمه لزواج أدوات CGI التقليدية مع الواقعية الطبيعية للوجوه GAN ، في النهاية ، تظهر النتائج أسوأ ما في العالمين ، ولا تزال تفشل في الحفاظ على تماسك نصع الشعر وحتى موضع الميزات الأساسية:

على الرغم من أن النتائج تظهر بعض الإمكانيات ، إلا أنها لا تزال تظهر نوعاً جديداً من وادي غير مريح.

هل يوجد مكان للGAN في تركيب فيديو الوجه؟

يبدو أن تحقيق التعبيرات الديناميكية والوجوه غير الموزعة من صورة مصدر واحدة يعتبر هوساً مثل الكيمياء في أبحاث تركيب الوجه GAN في الوقت الحالي ، ويرجع ذلك بشكل رئيسي إلى أن GANs هي الطريقة الوحيدة الحالية القادرة على إخراج وجوه عصبية عالية الدقة وموثوقة نسبياً: على الرغم من أن إطارات deepfake التشفير الذاتي يمكنها تدريبها على مجموعة من المواقف والتعابير الحقيقية ، إلا أنها يجب أن تعمل عند دقة الإدخال / الإخراج المقيدة بالVRAM ، وتتطلب “مضيفاً” ؛ في حين أن NeRF مقيد بشكل مماثل ، ولا يملك حالياً منهجيات قوية لتغيير التعبيرات الوجهية ، ويصاب بالصعوبات في التعديل بشكل عام.

يبدو أن الطريق الوحيد للمضي قدمًا لنظام تركيب CGI / GAN للوجه الدقيق هو أن يجد مبادرة جديدة طريقة لجمع كيان الهوية المتعددة الصور داخل الفضاء الكمومي ، حيث لا يتعين على رمز كمومي للهوية السفر عبر الفضاء الكمومي بأكمله لاستغلال معاملات المواقف غير المرتبطة ، ولكن يمكنه الرجوع إلى صوره الخاصة (الحقيقية) كمراجع لتحويلات.

حتى في这种 الحالة ، أو حتى إذا تم تدريب شبكة StyleGAN كاملة على مجموعة وجهية واحدة الهوية (مثل مجموعات التدريب التي تستخدمها التشفير الذاتي) ، فإن المنطق الدلالي الناقص سيحتاج بالفعل إلى توفيره من خلال تقنيات مساعدة مثل التجزئة الدلالية أو الوجوه العاملية 3DMM ، والتي ، في مثل هذه الحالة ، سيكون لها على الأقل مواد أكثر للعمل معها.