جراحة تجميل للوجوه التي تم إنشاؤها بواسطة GAN

بحث جديد من كوريا الجنوبية يعد بتحسين جودة البيانات الاصطناعية للوجوه التي تم إنشاؤها بواسطة الشبكات العصبية التوليدية المنافسة (GANs).

النظام قادر على تحديد العيوب في الصور التي تم إنشاؤها بواسطة عمليات GAN، وتقديم علاجات لها، حتى لو كان ذلك يعني استبدال الشعر الذي كان مخفيًا بواسطة قبعة، أو استبدال أجزاء من الوجه التي كانت مفقودة في الأصل، أو إزالة العيوب مثل اليدين والنظارات الشمسية، كما يعمل جيدًا على الإخراج المناظرية والمعمارية.

المنشور الأيسر لكل عمود، الإخراج الأصلي لGAN مع العيوب، تليها نهجتان أخريان للعيوب، وأخيرًا الطريقة المستخدمة من قبل الباحثين الكوريين. مصدر: https://arxiv.org/pdf/2104.06118.pdf

معظم النهج الحديثة لتحسين جودة الصور التي تم إنشاؤها بواسطة GAN اتخذت موقفًا بأن العيوب هي خطر مهني للعملية، وترى المنهجية كـ “قوة طبيعية”، والنتائج الأكثر نفاقًا أو شذوذًا التي يمكن أن تنتجها هي نتيجة حتمية.

بدلاً من ذلك، ي提议 البحث الكوري الجنوبي “إصلاح” الصور المتأثرة بطريقة لا تتداخل مع سلسلة التوليد المستمرة، من خلال تحديد الجوانب التي تسبب العيوب، وتقليل أو إزالة تأثيرها في شبكة GAN على مستوى شبه خاضع للإشراف يتجاوز ويتوسع الآليات الذاتية لتصحيح الأخطاء في هيكل GAN.

للمشروع، كان من الضروري إنشاء مجموعة بيانات موسعة ومُعنونة باليد من الصور التي تأثرت بشكل سيئ بالعيوب التي تسببها GAN. في البداية، استخدم الباحثون مسافة فريتش إنسيشن (FID)، وهو مقياس يقييم جودة الإخراج بواسطة GAN من خلال مقارنة الميزات في الصور، كوحدة مؤهلة. تم استخدام 10,000 صورة مع أعلى درجات FID بين تشغيل 200,000 صورة كوحدات عيب منفصلة. بعد ذلك، قام الباحثون بتعليم 2,000 صورة تم إنشاؤها، وتصنيف كل منها على أنه “عادي” أو متأثر بالعيوب التي تسببها FID. ثم تم إنشاء نموذج لتصنيف مجموعة البيانات إلى عينة عيب، عينة عادية، ونموذج عشوائي من العينات في العالم الحقيقي.

بعد ذلك، تم استخدام خرائط التنشيط الطبقي المرجحة بالتدرج (Grad-CAM) لإنشاء أقنعة للمناطق المتأثرة بالعيوب، مما يجعل من عملية تعليم العيوب تلقائية بشكل فعال.

في الصورة أعلاه، تم تطبيق أقنعة Grad-CAM على الإخراج من مجموعة بيانات LSUN-Church الخارجية، ومجموعة بيانات CelebA-HQ.

من خلال تحليل أفضل 20 نتيجة متأثرة من تشغيل 20,000 صورة، يتم إنشاء أقنعة تقسم، يمكن استبدال النتائج الممثلة للمناطق عبر الأجيال (التي من المحتمل أن تكون أكثر دقة أو إقناعًا من العيوب) في أقنعة من خلال خفض تنشيط الوحدات التي تنتج العيوب في الأجيال اللاحقة.

التقييم البشري للتصحيحات أدى إلى أن 53% من الصور “المصلحة” تم تصنيفها على أنها “عادية”، بينما 97% من الصور الأصلية لا تزال تظهر تحسينات كبيرة على الأصليات.

يزعم الباحثون أن هذه الطريقة، مع بعض التعديلات الطفيفة، يمكن تعديلها لتناسب أيضًا نموذج StyleGAN2 من NVIDIA.

فوائد البيانات الاصطناعية

بشكل رئيسي فيما يتعلق ببيانات الوجه، النقص العام في مجموعات البيانات في العالم الحقيقي لآلات الرؤية هو عائق أمام الأبحاث المتنوعة في قطاعات بحثية مهمة، مثل التعرف على الوجه، التعرف على العواطف، البحث الطبي، ودراسات أكثر تفصيلاً لتقسيم طوبولوجيا الوجه، من بين مجالات أخرى.

الانتقاد الحالي لاستخدام البيانات التي تواجه الويب وتجميع الصور الحقيقية لوجوه الأشخاص لتشكيل قواعد بيانات للوجوه هو عائق إضافي للأبحاث، مع زيادة عدد الدول التي تفرض قيودًا على تجميع البيانات من الإنترنت، وappropriation الصور الاجتماعية لهذه الأغراض.

على مدار العشر سنوات الماضية، تم تقديم عدد محدود من مجموعات بيانات الوجه المحددة جيدًا كملجأ من هذا النوع من عدم اليقين، مع تحديات بحثية عامة سنوية مركزة حولها. ومع ذلك، هذا قد أدى إلى انحراف مشاريع البحث عن منهجياتها لتكون محددة حول هذه المجموعات، مع نتائج متسقة ومقارنة سنوية تتم الحصول عليها بتكلفة عالية من عدم تنوع المواد الأصلية – وضع يزداد سوءًا كل عام يقيده البحث الجديد نفسه بهذه الحدود.

بالإضافة إلى ذلك، تم انتقاد بعض هذه “المجموعات التقليدية” لعدم وجود تنوع عرقي، مما يشير إلى أن هذه النقاط المرجعية قد لا تكون مقبولة في المستقبل القريب.

هذا يشير إلى الحاجة إلى بيانات وجه عالية الجودة تكون واقعية، ولكن الصور “الحقيقية” التي ساهمت في ذلك قد تم تحويلها بعيدًا عن التعرف. حتى لو كان استخدام البيانات الحقيقية “بمقدار” قد يثير مشاكل حول أصل البيانات التي تم إنشاؤها بواسطة GAN، فهذا عائق لا يُتوقع أن يظهر حتى تثبيت الآليات القانونية والفنية لجمع البيانات من هذا النوع؛ وفيما يتعلق بالتغيرات المحتملة في الإطارات القانونية حول هذه القضية، لا يزال خطرًا أقل من استخدام صور الأشخاص الحقيقيين.

قراءة متعمقة:

تحسين واقعية الصور الاصطناعية
تصحيح تلقائي للوحدات الداخلية في الشبكات العصبية التوليدية