باحثو أدوبي يوسعون تعلم الجانرال أديتيد للوجه باستخدام تحويل لاتنتي إلى لاتنتي

من غير الصعب فهم سبب كون الارتباط مشكلة في توليد الصور، لأنه غالبًا ما يكون مشكلة في مجالات أخرى من الحياة. على سبيل المثال، من الصعب إزالة الكركم من الكاري، وأصعب إزالة المخلل من الهامبرغر، ومن المستحيل إزالة السكر من كوب من القهوة. بعض الأشياء تأتي في حزمة واحدة.

وبالمثل، فإن الارتباط هو عائق أمام هياكل التوليد الصوري التي ترغب في فصل الميزات والمفاهيم المختلفة عند استخدام التعلم الآلي لإنشاء أو تحرير الوجوه (أو الكلاب، أو القوارب، أو أي مجال آخر).

إذا كنت تستطيع فصل الخيوط مثل العمر، والجنس، ولون الشعر، ودرجة لون البشرة، والانفعالات، وغيرها، فستمتلك بداية الحقيقيّة في إطار يمكنه إنشاء وتحرير صور الوجه على مستوى حقيقيّ.

الارتباط هو عائق أمام هياكل التوليد الصوري التي ترغب في فصل الميزات والمفاهيم المختلفة عند استخدام التعلم الآلي لإنشاء أو تحرير الوجوه (أو الكلاب، أو القوارب، أو أي مجال آخر).

إذا كنت تستطيع فصل الخيوط مثل العمر، والجنس، ولون الشعر، ودرجة لون البشرة، والانفعالات، وغيرها، فستمتلك بداية الحقيقيّة في إطار يمكنه إنشاء وتحرير صور الوجه على مستوى حقيقيّ.

في أقصى حد من الارتباط (في الجزء الأيسر العلوي)، كل ما يمكنك فعله هو تغيير صورة شبكة الجانرال أديتيد المُتعلمة إلى صورة شخص آخر.

هذا يعني اساسًا استخدام أحدث تقنيات الرؤية الحاسوبية لتحقيق شيء تم حله بطرق أخرى قبل أكثر من ثلاثين عامًا.

مع بعض الدرجة من الفصل (“الانفصال المتوسط” في الصورة أعلاه)، من الممكن إجراء تغييرات على أساس النمط مثل لون الشعر، والتعابير، والتطبيق التجميلي، وال دوران المحدود للرأس، وغيرها.

المصدر: FEAT: Face Editing with Attention, فبراير 2022, https://arxiv.org/pdf/2202.02713.pdf

هناك العديد من المحاولات في العامين الماضيين لإنشاء بيئات تحرير الوجه التفاعلية التي تسمح للمستخدم بتغيير الخصائص الوجهية باستخدام شاشات وآليات التفاعل التقليدية، مع الحفاظ على الميزات الأساسية للوجه المستهدف سليمة عند إضافة أو تغيير الميزات. ومع ذلك، ثبت أن هذا هو تحد بسبب الارتباط بين الميزات والأسلوب في الفضاء اللاتنتي للجانرال أديتيد.

على سبيل المثال، غالبًا ما يكون سمة النظارات مرتبطة بسمة الشيخوخة، مما يعني أن إضافة نظارات قد “تجعلك” تبدو أكبر سناً، في حين أن الشيخوخة قد تُضيف نظارات، اعتمادًا على درجة الفصل بين الميزات عالية المستوى (انظر “التجارب” أدناه لمزيد من الأمثلة).

أبرز ما في الأمر هو أنه كان من الصعب تغيير لون الشعر دون إعادة حساب خيوط الشعر ووضعها، مما يمنح تأثير “الغليان” الانتقالي.

المصدر: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

التحويل اللاتنتي إلى اللاتنتي للجانرال أديتيد

يقدم ورقة جديدة من أدوبي مقدمة إلى WACV 2022 نهجًا جديدًا لهذه القضايا الأساسية في ورقة بعنوان اللاتنتي إلى اللاتنتي: خريطة متعلمة لتعديل الحفاظ على الهوية للعديد من سمات الوجه في صور الجانرال أديتيد المُنشأة بواسطة StyleGAN.

المواد التكميلية من الورقة اللاتنتي إلى اللاتنتي: خريطة متعلمة لتعديل الحفاظ على الهوية للعديد من سمات الوجه في صور الجانرال أديتيد المُنشأة بواسطة StyleGAN. هنا نرى أن الخصائص الأساسية في الوجه المُتعلم لا يتم سحبها إلى التغييرات غير المرتبطة. انظر التضمين الكامل للفيديو في نهاية المقال للحصول على تفاصيل أفضل وتصوير أعلى.

تتم إدارة الورقة من قبل عالم التطبيقات في أدوبي سيافاش خدامادي، إلى جانب أربعة باحثين آخرين في أدوبي، وباحث من قسم علوم الحاسوب في جامعة فلوريدا الوسطى.

الورقة مثيرة للاهتمام جزئيًا لأن أدوبي تعمل في هذا المجال منذ بعض الوقت، ومن الممتع تخيل هذه الوظيفة التي تدخل في مشروع Creative Suite في السنوات القليلة القادمة. ولكن بشكل رئيسي لأن الهيكل المعماري الذي تم إنشاؤه للمشروع يتبنى نهجًا مختلفًا للحفاظ على الصحة البصرية في محرر الوجه الجانرال أديتيد أثناء تطبيق التغييرات.

يعلن المؤلفون:

‘[نحن] نتدرب على شبكة عصبونية للقيام bằng تحويل لاتنتي إلى لاتنتي الذي يجد التشفير اللاتنتي المقابل للصورة مع سمة المُعدلة. كما أن التقنية هي واحدة، لا تعتمد على مسار خطي أو غير خطي لتغير تدريجي للميزات.

‘من خلال تدريب الشبكة من النهاية إلى النهاية عبر خط أنابيب التوليد الكامل، يمكن للنظام التكيف مع فضاءات اللاتنتي لهياكل المولدات الجاهزة. يمكن ترميز خصائص الحفاظ، مثل الحفاظ على هوية الشخص، في شكل خسائر التدريب.

‘مرة واحدة تم تدريب الشبكة اللاتنتي إلى اللاتنتي، يمكن إعادة استخدامها لصور عشوائية دون إعادة التدريب.’

هذا يعني أن الهيكل المعماري المقترح يأتي في حالة جاهزة للمستخدم. لا يزال يحتاج إلى تشغيل شبكة عصبونية على الموارد المحلية، ولكن الصور الجديدة يمكن “إسقاطها” فيها وتحويلها على الفور، لأن الإطار مُفصل بدرجة كافية بحيث لا يحتاج إلى مزيد من التدريب المحدد للصورة.

الجنس والشعر Changed كما تخطط شاشات العشوائية مسارات عشوائية عبر فضاء اللاتنتي، وليس فقط ‘حك’ بين النقاط النهائية. انظر الفيديو المضمن في نهاية المقال لمزيد من التحويلات بدقة أفضل.

من بين الإنجازات الرئيسية في العمل هو قدرة الشبكة على “تجميد” الهويات في فضاء اللاتنتي عن طريق تغيير الميزة فقط في متجه الهدف، وتوفير “مصطلحات تصحيح” تحافظ على الهويات المُحولة.

بمعنى أساسي، الشبكة المقترحة مُضمنة في هيكل أوسع يُorchestrates جميع العناصر المُعالجة، والتي تمر عبر مكونات مُسبقة مع أوزان مُجمدة لا تُنتج آثار جانبية غير مرغوب فيها على التحويلات.

نظرًا لأن عملية التدريب تعتمد على ثلاثيات يمكن إنشاؤها إما بواسطة صورة بذرة (تحت عكس الجانرال أديتيد) أو ترميز لاتنتي أولي موجود، فإن عملية التدريب بأكملها غير مُرقمة، مع تضمين الإجراءات الضمنية للنظام المعتاد من التسمية والتنظيم في مثل هذه الأنظمة بشكل فعال في الهيكل.

التعرف على الوجه

أحد القضايا المتكررة مع محررات الوجه القائمة على الجانرال أديتيد والترميز/فك الترميز في السنوات القليلة الماضية هو أن التحويلات المُطبقة تميل إلى التدهور في الشبه.

لمواجهة ذلك، يستخدم مشروع أدوبي شبكة تعرف على الوجه مُضمنة تسمى FaceNet كمنفذ.

هيكل المشروع، انظر منتصف اليسار لتشمل FaceNet. Source: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

(على صعيد شخصي، يبدو هذا وكأنه تحرك مشجع نحو دمج أنظمة التعرف على الوجه القياسية وحتى نظام التعرف على التعبير في الشبكات التوليدية، وهو بالتأكيد أفضل طريقة لمواجهة الخريطة البصرية البسيطة التي تسيطر على هياكل Deepfake الحالية على حساب دقة التعبير وغيرها من المجالات المهمة في قطاع توليد الوجه.)

دخول جميع المناطق في فضاء اللاتنتي

ميزة أخرى مثيرة للإعجاب في الإطار هي قدرته على السفر بشكل تعسفي بين التحويلات المحتملة في فضاء اللاتنتي، حسب الرغبة.

كانت العديد من الأنظمة السابقة التي قدمت واجهات استكشافية غالبًا ما تترك المستخدم “حكًا” بين خطوط زمنية محددة للتغييرات في الميزات – ممتع، ولكن غالبًا ما يكون تجربة خطية أو مقيدة.

من تحسين توازن الجانرال أديتيد من خلال رفع الوعي المكاني: هنا يخدش المستخدم عبر مجموعة من نقاط الانتقال المحتملة بين موقعين لاتنتيين، ولكن داخل حدود المواقع المُسبقة في فضاء اللاتنتي. لتطبيق أنواع أخرى من التحويلات بناءً على نفس المواد، تكون إعادة التهيئة و/أو إعادة التدريب ضرورية. Source: https://genforce.github.io/eqgan/

بالإضافة إلى أن المستخدم يمكنه أيضًا تجميد عناصر يريد الحفاظ عليها خلال عملية التحويل. بهذه الطريقة، يمكن للمستخدم ضمان أن (على سبيل المثال) لا تتغير الخلفيات، أو أن العيون تظل مفتوحة أو مغلقة.

بيانات

تم تدريب شبكة انحدار الميزة على ثلاث شبكات: FFHQ، CelebAMask-HQ، وشبكة محلية مُنشأة بواسطة الجانرال أديتيد تم الحصول عليها عن طريق أخذ عينة من 400,000 متجه من فضاء Z من StyleGAN-V2.

تمت إزالة الصور غير الموزعة (OOD)، وتم استخراج السمات باستخدام واجهة برمجة تطبيقات الوجه من Microsoft ، مع تقسيم مجموعة الصور الناتجة بنسبة 90/10، مما ترك 721,218 صورة للتدريب و 72,172 صورة اختبار للمقارنة.

التجارب

على الرغم من أن الشبكة التجريبية تم تكوينها في البداية لاستيعاب 35 تحويلًا محتملًا، تم تقليلها إلى ثمانية للقيام بالتجارب على الشبكات المقارنة InterFaceGAN، GANSpace، و StyleFlow.

السمات الثمانية المُختارة كانت العمر، الجلسة، اللحية، التعبير، الجنس، النظارات، المرتفع، و الyaw. كان من الضروري إعادة توجيه الإطارات التنافسية لبعض السمات الثمانية التي لم تكن مُزوّدة في التوزيع الأصلي، مثل إضافة الجلسة و اللحية إلى InterFaceGAN.

كما هو متوقع، حدث مستوى أعلى من الارتباط في الهياكل المتنافسة. على سبيل المثال، في أحد الاختبارات، قامت InterFaceGAN و StyleFlow بتغيير جنس الموضوع عند طلب تطبيق العمر:

تمت إضافة تغيير الجنس إلى تحويل ‘العمر’، وتغيير لون الشعر دون.command مباشر من المستخدم.

بالإضافة إلى ذلك، وجدت اثنتان من المنافسين أن النظارات والعمر هي جوانب لا يمكن فصلها:

النظارات ولون الشعر تمت إضافتها مجانًا!

ليس انتصارًا موحدًا للبحث، حيث يمكن رؤية الفيديو المضمن في نهاية المقال أن الإطار هو الأقل فعالية عند محاولة استخراج زوايا متنوعة (yaw)، في حين أن GANSpace لديها نتيجة أفضل بشكل عام لـ العمر وفرض النظارات. تعادل إطار التحويل اللاتنتي إلى اللاتنتي مع GANSpace و StyleFlow فيما يتعلق بإضافة المرتفع.

النتائج المحسوبة بناءً على معايرة كاشف الوجه MTCNN. النتائج الأقل هي الأفضل.

لمزيد من التفاصيل وتصوير أفضل للأمثلة، انظر الفيديو المصاحب للورقة أدناه.

نشر لأول مرة في 16 فبراير 2022.