زاوية Anderson

أبحاث أدوبي توسّع تحرير الوجوه باستخدام GAN مع فصل السمات

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيقوم مابعد الأدوبي من كامن إلى كامن بتجميد الهوية أثناء تحرير 35 سمة وجهية دون إعادة…
عرض المزيد
  • يقوم مابعد الأدوبي من كامن إلى كامن بتجميد الهوية أثناء تحرير 35 سمة وجهية دون إعادة تدريب.
  • يستخدم النظام FaceNet كأداة تمييز لمنع تدهور الهوية أثناء تحولات السمات.
  • أطر العمل المنافسة مثل InterFaceGAN تخلط العمر مع الجنس أو النظارات، لكن نهج أدوبي يتجنب هذه الآثار الجانبية.

ليس من الصعب فهم سبب كون تشابك السمات مشكلة في توليد الصور، فهو يسبب مشكلات في مجالات أخرى من الحياة أيضًا. فإزالة الكركم من الكاري أصعب بكثير من إخراج المخلل من البرغر، ومن المستحيل تقريبًا إزالة السكر المذاب في القهوة. بعض الأشياء تأتي مترابطة.

وبالمثل، يشكّل تشابك السمات عائقًا أمام معماريات توليد الصور التي تسعى إلى فصل السمات والمفاهيم المختلفة عند استخدام التعلم الآلي لإنشاء الوجوه أو تحريرها، أو صور الكلاب والقوارب أو أي مجال آخر.

إذا أمكن فصل سمات مثل العمر والجنس ولون الشعر ولون البشرة والعاطفة، فستتوفر بداية أدوات عملية ومرونة ضمن إطار ينشئ صور الوجوه ويحررها بتفصيل دقيق، دون جر سمات غير مرغوب فيها إلى هذه التحويلات.

في أقصى حد من الارتباط (في الجزء الأيسر العلوي)، كل ما يمكنك فعله هو تغيير صورة شبكة GAN المُتعلمة إلى صورة شخص آخر.

يعني هذا أساسًا استخدام أحدث تقنيات الرؤية الحاسوبية لتحقيق شيء حُل بطرق أخرى قبل أكثر من ثلاثين عامًا.

مع بعض الدرجة من الفصل (“الانفصال المتوسط” في الصورة أعلاه)، من الممكن إجراء تغييرات على أساس النمط مثل لون الشعر، والتعابير، والتطبيق التجميلي، والدوران المحدود للرأس، وغيرها.

المصدر: FEAT: Face Editing with Attention, فبراير 2022, https://arxiv.org/pdf/2202.02713.pdf

المصدر: FEAT: Face Editing with Attention, فبراير 2022, https://arxiv.org/pdf/2202.02713.pdf

هناك العديد من المحاولات في العامين الماضيين لإنشاء بيئات تحرير الوجه التفاعلية التي تسمح للمستخدم بتغيير الخصائص الوجهية باستخدام أشرطة التمرير وأساليب التفاعل التقليدية مع واجهة المستخدم، مع الحفاظ على الميزات الأساسية للوجه المستهدف سليمة عند إضافة أو تغيير الميزات. ومع ذلك، ثبت أن هذا هو تحد بسبب الارتباط بين الميزات والأسلوب في الفضاء اللاتنتي للجانرال أديتيد.

على سبيل المثال، غالبًا ما يكون سمة النظارات مرتبطة بسمة الشيخوخة، مما يعني أن إضافة نظارات قد “تجعلك” تبدو أكبر سناً، في حين أن الشيخوخة قد تُضيف نظارات، اعتمادًا على درجة الفصل بين الميزات عالية المستوى (انظر “التجارب” أدناه لمزيد من الأمثلة).

أبرز ما في الأمر هو أنه كان من الصعب تغيير لون الشعر دون إعادة حساب خيوط الشعر ووضعها، مما يمنح تأثير “الغليان” الانتقالي.

المصدر: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

المصدر: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

التحويل اللاتنتي إلى اللاتنتي للجانرال أديتيد

تقدّم ورقة مقدمة إلى WACV 2022 بقيادة أدوبي (ADBE ) نهجًا جديدًا لهذه المشكلات الأساسية. وتحمل الورقة عنوان اللاتنتي إلى اللاتنتي: دالة تعيين متعلّمة لتحرير سمات متعددة للوجه مع الحفاظ على الهوية في صور مولّدة بواسطة StyleGAN.

مواد تكميلية من ورقة من الكامن إلى الكامن: دالة تعيين متعلّمة لتحرير سمات متعددة للوجه مع الحفاظ على الهوية في صور مولّدة بواسطة StyleGAN. لا تنجرف السمات الأساسية للوجه إلى تغييرات غير مرتبطة بها. للمزيد من التفاصيل وبدقة أعلى، يُرجى الاطلاع على الفيديو الكامل المضمن في نهاية المقال. المصدر: https://www.youtube.com/watch?v=rf_61llRH0Q

مواد تكميلية من ورقة من الكامن إلى الكامن: دالة تعيين متعلّمة لتحرير سمات متعددة للوجه مع الحفاظ على الهوية في صور مولّدة بواسطة StyleGAN. لا تنجرف السمات الأساسية للوجه إلى تغييرات غير مرتبطة بها. للمزيد من التفاصيل وبدقة أعلى، يُرجى الاطلاع على الفيديو الكامل المضمن في نهاية المقال. المصدر: https://www.youtube.com/watch?v=rf_61llRH0Q

تتم إدارة الورقة من قبل عالم التطبيقات في أدوبي سيافاش خدامادي، إلى جانب أربعة باحثين آخرين في أدوبي، وباحث من قسم علوم الحاسوب في جامعة فلوريدا الوسطى.

الورقة مثيرة للاهتمام جزئيًا لأن أدوبي تعمل في هذا المجال منذ بعض الوقت، ومن الممتع تخيل هذه الوظيفة التي تدخل في مشروع Creative Suite في السنوات القليلة القادمة. ولكن بشكل رئيسي لأن الهيكل المعماري الذي تم إنشاؤه للمشروع يتبنى نهجًا مختلفًا للحفاظ على التكامل البصري في محرر الوجه GAN أثناء تطبيق التغييرات.

يعلن المؤلفون:

‘[نحن] ندرّب شبكة عصبية لإجراء تحويل بين ترميزات الفضاء الكامن، بحيث تجد الترميز الموافق للصورة ذات السمة المعدّلة. ولأن التقنية تنفذ التحويل في خطوة واحدة، فهي لا تعتمد على مسار خطي أو غير خطي للتغير التدريجي للسمات.

‘من خلال تدريب الشبكة من النهاية إلى النهاية عبر خط أنابيب التوليد الكامل، يمكن للنظام التكيف مع فضاءات اللاتنتي لهياكل المولدات الجاهزة. يمكن ترميز خصائص الحفاظ، مثل الحفاظ على هوية الشخص، في شكل خسائر التدريب.

‘بمجرد تدريب الشبكة اللاتنتي إلى اللاتنتي، يمكن إعادة استخدامها لصور عشوائية دون إعادة التدريب.’

هذا يعني أن الهيكل المعماري المقترح يأتي في حالة جاهزة للمستخدم. لا يزال يحتاج إلى تشغيل شبكة عصبونية على الموارد المحلية، ولكن الصور الجديدة يمكن “إسقاطها” فيها وتحويلها على الفور، لأن الإطار مُفصل بدرجة كافية بحيث لا يحتاج إلى مزيد من التدريب المحدد للصورة.

يتغير الجنس وشعر الوجه عندما ترسم أشرطة التمرير مسارات عشوائية وحرة في الفضاء الكامن، وليس مجرد التنقل بين نقطتي النهاية. يعرض الفيديو المضمن في نهاية المقال تحولات إضافية بدقة أعلى.

يتغير الجنس وشعر الوجه عندما ترسم أشرطة التمرير مسارات عشوائية وحرة في الفضاء الكامن، وليس مجرد التنقل بين نقطتي النهاية. يعرض الفيديو المضمن في نهاية المقال تحولات إضافية بدقة أعلى.

من بين الإنجازات الرئيسية في العمل هو قدرة الشبكة على “تجميد” الهويات في فضاء اللاتنتي عن طريق تغيير الميزة فقط في متجه الهدف، وتوفير “حدود تصحيحية” تحافظ على الهويات المُحولة.

بمعنى أساسي، الشبكة المقترحة مُضمنة في هيكل أوسع ينسّق جميع العناصر التي تجري معالجتها، والتي تمر عبر مكونات مُسبقة مع أوزان مُجمدة لا تُنتج آثار جانبية غير مرغوب فيها على التحويلات.

نظرًا لأن عملية التدريب تعتمد على ثلاثيات يمكن إنشاؤها إما بواسطة صورة بذرة (تحت عكس GAN) أو ترميز لاتنتي أولي موجود، فإن عملية التدريب بأكملها غير خاضعة للإشراف، مع تضمين الإجراءات الضمنية للنظام المعتاد من التسمية والتنظيم في مثل هذه الأنظمة بشكل فعال في الهيكل.

في الواقع، يستخدم النظام الجديد نماذج انحدار جاهزة للسمات:

«لا يحد عدد السمات التي يمكن لشبكتنا التحكم فيها بصورة مستقلة إلا قدرات أدوات التعرف. فإذا توفرت أداة تتعرف على سمة ما، أمكننا إضافتها إلى أي وجه. وفي تجاربنا درّبنا شبكة التحويل بين الترميزات الكامنة لتتيح تعديل 35 سمة مختلفة للوجه، وهو عدد أكبر مما أتاحه أي نهج سابق.»

ويضم النظام حماية إضافية من التحويلات الجانبية غير المرغوب فيها: عندما لا يُطلب تغيير سمة، تعيّن شبكة التحويل المتجه الكامن إلى نفسه، مما يزيد استقرار هوية الشخص المستهدف.

التعرف على الوجه

أحد القضايا المتكررة مع محررات الوجه القائمة على GAN والترميز/فك الترميز في السنوات القليلة الماضية هو أن التحويلات المُطبقة تميل إلى التدهور في الشبه.

لمواجهة ذلك، يستخدم مشروع أدوبي شبكة تعرف على الوجه مُضمنة تسمى FaceNet بوصفها شبكة تمييز.

هيكل المشروع، انظر منتصف اليسار لتشمل FaceNet. المصدر: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

هيكل المشروع، انظر منتصف اليسار لتشمل FaceNet. المصدر: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

(على صعيد شخصي، يبدو هذا وكأنه تحرك مشجع نحو دمج أنظمة التعرف على الوجه القياسية وحتى نظام التعرف على التعبير في الشبكات التوليدية، وقد يكون أفضل سبيل لمواجهة المطابقة العمياء من بكسل إلى بكسل التي تسيطر على هياكل Deepfake الحالية على حساب دقة التعبير وغيرها من المجالات المهمة في قطاع توليد الوجه.)

دخول جميع المناطق في فضاء اللاتنتي

ميزة أخرى مثيرة للإعجاب في الإطار هي قدرته على السفر بشكل تعسفي بين التحويلات المحتملة في فضاء اللاتنتي، حسب الرغبة.

كانت العديد من الأنظمة السابقة التي قدمت واجهات استكشافية غالبًا ما تترك المستخدم يتنقل ذهابًا وإيابًا بين خطوط زمنية محددة للتغييرات في الميزات – ممتع، ولكن غالبًا ما يكون تجربة خطية أو مقيدة.

من تحسين توازن GAN من خلال رفع الوعي المكاني: هنا يتنقل المستخدم عبر مجموعة من نقاط الانتقال المحتملة بين موقعين لاتنتيين، ولكن داخل حدود المواقع المُسبقة في فضاء اللاتنتي. لتطبيق أنواع أخرى من التحويلات بناءً على نفس المواد، تكون إعادة التهيئة و/أو إعادة التدريب ضرورية. المصدر: https://genforce.github.io/eqgan/

من تحسين توازن GAN من خلال رفع الوعي المكاني: هنا يتنقل المستخدم عبر مجموعة من نقاط الانتقال المحتملة بين موقعين لاتنتيين، ولكن داخل حدود المواقع المُسبقة في فضاء اللاتنتي. لتطبيق أنواع أخرى من التحويلات بناءً على نفس المواد، تكون إعادة التهيئة و/أو إعادة التدريب ضرورية. المصدر: https://genforce.github.io/eqgan/

بالإضافة إلى قبول النظام صورًا جديدة تمامًا يقدمها المستخدم، يمكنه أيضًا تجميد عناصر يريد الحفاظ عليها خلال عملية التحويل. بهذه الطريقة، يمكن للمستخدم ضمان أن (على سبيل المثال) لا تتغير الخلفيات، أو أن العيون تظل مفتوحة أو مغلقة.

بيانات

تم تدريب شبكة انحدار الميزة على ثلاث مجموعات بيانات: FFHQ، CelebAMask-HQ، ومجموعة بيانات محلية مُنشأة بواسطة GAN تم الحصول عليها عن طريق أخذ عينة من 400,000 متجه من فضاء Z من StyleGAN-V2.

تمت إزالة الصور الخارجة عن التوزيع (OOD)، وتم استخراج السمات باستخدام واجهة برمجة تطبيقات الوجه من Microsoft ، مع تقسيم مجموعة الصور الناتجة بنسبة 90/10، مما ترك 721,218 صورة للتدريب و 72,172 صورة اختبار للمقارنة.

التجارب

على الرغم من أن الشبكة التجريبية تم تكوينها في البداية لاستيعاب 35 تحويلًا محتملًا، تم تقليلها إلى ثمانية للقيام بالتجارب على الشبكات المقارنة InterFaceGAN، GANSpace، و StyleFlow.

السمات الثمانية المُختارة كانت العمر، الصلع، اللحية، التعبير، الجنس، النظارات، ميل الرأس إلى أعلى أو أسفل، و دوران الرأس جانبيًا. كان من الضروري إعادة توجيه الإطارات التنافسية لبعض السمات الثمانية التي لم تكن مُزوّدة في التوزيع الأصلي، مثل إضافة الصلع و اللحية إلى InterFaceGAN.

كما هو متوقع، حدث مستوى أعلى من الارتباط في الهياكل المتنافسة. على سبيل المثال، في أحد الاختبارات، قامت InterFaceGAN و StyleFlow بتغيير جنس الشخص عند طلب تطبيق العمر:

تمت إضافة تغيير الجنس إلى تحويل 'العمر'، وتغيير لون الشعر دون طلب مباشر من المستخدم.

تمت إضافة تغيير الجنس إلى تحويل ‘العمر’، وتغيير لون الشعر دون طلب مباشر من المستخدم.

بالإضافة إلى ذلك، وجدت اثنتان من المنافسين أن النظارات والعمر هي جوانب لا يمكن فصلها:

النظارات ولون الشعر تمت إضافتها مجانًا!

النظارات ولون الشعر تمت إضافتها مجانًا!

ليس انتصارًا موحدًا للبحث، حيث يمكن رؤية الفيديو المضمن في نهاية المقال أن الإطار هو الأقل فعالية عند محاولة استخراج زوايا متنوعة (دوران الرأس جانبيًا)، في حين أن GANSpace لديها نتيجة أفضل بشكل عام لـ العمر وفرض النظارات. تعادل إطار التحويل اللاتنتي إلى اللاتنتي مع GANSpace و StyleFlow فيما يتعلق بتغيير ميل الرأس إلى أعلى أو أسفل.

النتائج المحسوبة استنادًا إلى معايرة كاشف الوجه MTCNN. القيم الأقل أفضل.

النتائج المحسوبة استنادًا إلى معايرة كاشف الوجه MTCNN. القيم الأقل أفضل.

لمزيد من التفاصيل وتصوير أفضل للأمثلة، انظر الفيديو المصاحب للورقة أدناه.

 

نشر لأول مرة في 16 فبراير 2022.

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai