التعامل مع “أيام الشعر السيء” في合成 الصور البشرية

منذ العصر الذهبي للنحت الروماني ، كانت تصوير الشعر البشري تحديًا شائكًا. تحتوي الرأس البشرية العادية على 100000 خيط ، ولها معامل انكسار متغير وفقًا لونها ، ويتحرك ويتشكل بعد طول معين بطرق يمكن محاكاتها فقط بواسطة نماذج فيزيائية معقدة – حتى الآن ، فقط يمكن تطبيقها من خلال منهجيات CGI التقليدية.

من البحث الذي أجراه ديزني في عام 2017 ، يحاول نموذج قائم على الفيزياء تطبيق حركة واقعية على نمط شعر سائل في تدفق CGI. المصدر: https://www.youtube.com/watch?v=-6iF3mufDW0

المشكلة لم يتم حلها بشكل جيد بواسطة أساليب Deepfakes الحديثة. لعدة سنوات ، كان الحزمة الرائدة DeepFaceLab لديها نموذج “رأس كامل” يمكنه فقط التقاط تمثيلات صلبة لأنماط الشعر القصير (عادةً للرجال) ؛ ومؤخرًا ، قدمت FaceSwap ، وهي شريك DeepFaceLab ، تنفيذًا لنموذج BiseNet للتقسيم الدلالي ، مما يسمح للمستخدم بتشمل الأذنين والشعر في الإخراج Deepfake.

حتى عند تصوير أنماط الشعر القصير جدًا ، تميل النتائج إلى أن تكون محدودة جدًا في الجودة ، مع ظهور الرؤوس الكاملة على أنها مثبتة على الفيديو ، وليس متكاملة فيه.

شعر GAN

المنهجتان الرئيسيتان المتسابقتان لتحقيق التمثيل البشري هما مجالات الإشعاع العصبي (NeRF) ، والتي يمكنها التقاط مشهد من عدة زوايا ومحاكاة تمثيل ثلاثي الأبعاد لهذه الزوايا في شبكة عصبية قابلة للاستكشاف ؛ والشبكات التوليدية المنافسة (GANs) ، والتي تتميز بأداء أفضل بكثير فيما يتعلق بتحليل الصور البشرية (على الأقل لأن NeRF ظهرت فقط في عام 2020).

تمكّن فهم NeRF المُستَنبَت للهندسة ثلاثية الأبعاد من复lication مشهد بصدق كبير وثبات ، حتى لو كان لديها حاليًا نطاقًا محدودًا لفرض نماذج فيزيائية – وحتى نطاقًا محدودًا لتحويلات البيانات التي لا تتعلق بتغيير زاوية الكاميرا. حاليًا ، تتميز NeRF بقدرات محدودة فيما يتعلق بتمثيل حركة الشعر.

تبدأ الشبكات التوليدية المنافسة المتوافقة مع NeRF بمعضلة قاتلة ، لأن مساحة الاتجاه العشوائي لشبكة GAN لا تتضمن بشكل طبيعي فهمًا للهندسة ثلاثية الأبعاد. لذلك ، أصبحت الشبكات التوليدية المنافسة ثلاثية الأبعاد لتحليل الصور البشرية سعيًا ساخنًا في أبحاث توليد الصور في السنوات الأخيرة ، مع InterFaceGAN في عام 2019 واحدة من الإنجازات الرائدة.

ومع ذلك ، فإن النتائج التي قدمتها InterFaceGAN تظهر أن استمرار الشعر العصبي يظل تحديًا صعبًا فيما يتعلق بالاستمرارية الزمنية ، لتدفقات عمل VFX المحتملة:

شعر ‘مغلي’ في تحويل وضع من InterFaceGAN. المصدر: https://www.youtube.com/watch?v=uoftpl3Bj6w

كما يزداد الظن بأن توليد وجهات دقيقة عبر操作 مساحة الاتجاه العشوائي وحده قد يكون سعيًا شبيهًا بالكيمياء ، تظهر أوراق متزايدة التي تدمج معلومات CGI ثلاثية الأبعاد في تدفق شبكة GAN كقيود مستقرّة وطبيعية.

يمكن تمثيل عنصر CGI بواسطة примитивات ثلاثية الأبعاد متوسطة مثل Skinned Multi-Person Linear Model (SMPL) ، أو عن طريق اعتماد تقنيات الاستدلال ثلاثي الأبعاد بطريقة مشابهة لنهج NeRF ، حيث يتم تقييم الهندسة من الصور أو الفيديو المصدر.

من الأعمال الجديدة على طول هذه الخطوط ، التي تم إصدارها هذا الأسبوع ، هي الشبكات التوليدية المنافسة المتوافقة مع عدة وجهات لتحليل الصور ثلاثية الأبعاد (MVCGAN) ، وهي تعاون بين ReLER و AAII و جامعة Technology Sydney و أكاديمية DAMO في Alibaba Group و جامعة Zhejiang.

وجوه واضحة ومتينة تم توليدها بواسطة MVCGAN من صور مشتقة من مجموعة CELEBA-HQ. المصدر: https://arxiv.org/pdf/2204.06307.pdf

تتضمن MVCGAN شبكة إشعاع توليدي (GRAF) قادرة على توفير قيود هندسية في شبكة GAN ، وتحقيق بعض القدرات الأكثر واقعية لتحويل الوجوه في أي نهج مشابه قائم على GAN.

مقارنة بين MVCGAN والأساليب السابقة GRAF و GIRAFFE و pi-GAN.

ومع ذلك ، فإن المواد الإضافية لـ MVCGAN تكشف أن الحصول على استمرارية حجم الشعر ووضعه وسلوكه مشكلة لا يمكن حلها بسهولة من خلال قيود قائمة على هندسة ثلاثية الأبعاد خارجية.

من المواد الإضافية التي لم يتم إصدارها بشكل عام في وقت الكتابة ، نرى أن توليد وضع الوجه من MVCGAN يمثل تقدمًا ملحوظًا على الحالة الحالية للفن ، وتبقى استمرارية الشعر الزمنية مشكلة.

منذ أن تعتبر تدفقات CGI التقليدية لا تزال تعتبر إعادة بناء الشعر الزمني تحديًا ، لا يوجد سبب للاعتقاد بأن النهج القائم على الهندسة التقليدية سوف يأتي بتمثيل شعر مستمر إلى الفضاء العشوائي في أي وقت قريب.

تثبيت الشعر باستخدام الشبكات العصبية التوليدية

然而 ، قد تقدم ورقة قادمة من ثلاثة باحثين في معهد Chalmers للتكنولوجيا في السويد تقدمًا إضافيًا في محاكاة الشعر العصبي.

على اليسار ، تمثيل الشعر المستقر بواسطة CNN ، على اليمين ، الحقيقة الأرضية. المصدر: https://www.youtube.com/watch?v=AvnJkwCmsT4

تحمل الورقة عنوان مرشح الشعر في الوقت الفعلي باستخدام الشبكات العصبية التوليدية ، وستنشر في مؤتمر i3D في بداية مايو.

يتكون النظام من شبكة قادرة على تقييم دقة الشعر ، بما في ذلك التظليل الذاتي واعتماد سُمك الشعر ، في الوقت الفعلي ، بناءً على عدد محدود من العينات العشوائية التي تم إنشاؤها بواسطة هندسة OpenGL.

يُ렌َدر النظام عددًا محدودًا من العينات مع الشفافية العشوائية ، ثم يُدرب U-net على إعادة بناء الصورة الأصلية.

تحت MVCGAN ، يُفلتر CNN العوامل اللونية العشوائية ، والتأثيرات ، والمتجهات ، والعمق والألفا ، ويتجمع النتائج المُولدة في صورة مركبة.

تُدرب الشبكة على PyTorch ، وتتلاشى خلال فترة تتراوح بين ست إلى اثنتي عشرة ساعة ، اعتمادًا على حجم الشبكة وعدد الميزات الإدخالية. ثم يتم استخدام المعلمات المُدربة (الأوزان) في التطبيق الفعلي للنظام.

تُنشأ بيانات التدريب عن طريق تقديم مئات الصور لأنماط الشعر المستقيمة والموجة ، باستخدام مسافات ووضعيات عشوائية ، بالإضافة إلى ظروف إضاءة متنوعة.

أمثلة مختلفة للإدخال.

تُمتَد شفافية الشعر عبر العينات ، وتُمتَد من الصور المُ렌َدرة بالشفافية العشوائية بدقة فائقة. تُخفض البيانات الأصلية ذات الدقة العالية إلى دقة منخفضة لتناسب حدود الشبكة والمعدات ، ثم تُرفع الدقة مرة أخرى ، في تدفق عمل نموذجي للشبكة التوليدية.

تُستخدم تطبيق الاستدلال في الوقت الفعلي (البرنامج “الحي” الذي يعتمد الخوارزمية المشتقة من النموذج المُدرب) مزيجًا من NVIDIA CUDA مع cuDNN و OpenGL. تُفرغ الميزات الإدخالية الأولية في مخازن OpenGL متعددة العينة ، ثم تُنقل النتيجة إلى تензورات cuDNN قبل المعالجة في CNN. ثم تُنقل تلك التензورات مرة أخرى إلى نصية OpenGL “حية” للتعيين في الصورة النهائية.

يعمل النظام في الوقت الفعلي على NVIDIA RTX 2080 ، ويُنتج دقة 1024×1024 بكسل.

منذ أن تكون قيم ألوان الشعر مفككة تمامًا في القيم النهائية التي تم الحصول عليها بواسطة الشبكة ، فإن تغيير لون الشعر هو مهمة بسيطة ، على الرغم من أن التأثيرات مثل التدرج والخطوط تظل تحديًا مستقبليًا.

قد نشر المؤلفون رمز الاستخدام في تقييمات الورقة على GitLab. انظر الفيديو الإضافي لـ MVCGAN أدناه.

الخلاصة

لا يزال التنقل في فضاء الاتجاه العشوائي لشبكة التوليدية المنافسة أو الشبكة العصبية شبيهًا بالملاحة أكثر من القيادة الدقيقة. فقط في هذه الفترة الأخيرة ، بدأنا نرى نتائج معقولة لتحليل الوضع للهندسة “البسيطة” مثل الوجوه ، في نهج مثل NeRF و GANs و الإطارات العصبية غير Deepfakes (2017).

تُظهر التعقيد الهيكلي الكبير للشعر البشري ، بالإضافة إلى الحاجة إلى دمج نماذج فيزيائية وسمات أخرى لا يتوفر لها نهج تحليل الصور الحالي أي إعداد ، أن تحليل الشعر غير مرجح أن يبقى مكونًا متكاملًا في التحليل العام للوجه ، ولكن سوف يتطلب شبكات منفصلة ومتميزة من بعض التعقيد – حتى لو كانت هذه الشبكات قد تكون في النهاية جزءًا من إطارات تحليل الوجه الأكثر تعقيدًا.

نُشر لأول مرة في 15 أبريل 2022.