जीएन-जेनरेटेड चेहरों के लिए प्लास्टिक सर्जरी

दक्षिण कोरिया से नए शोध में जेनरेटिव एडवर्सेरियल नेटवर्क (GANs) द्वारा बनाए गए सिंथेटिक चेहरे के डेटा की गुणवत्ता में सुधार करने का वादा किया गया है।

सिस्टम GAN प्रक्रियाओं द्वारा उत्पादित छवि कलाकृतियों की पहचान करने में सक्षम है, और उन्हें ठीक करने के लिए, यहां तक कि टोपी से ढके बालों को बदलने के लिए, मूल में पूरी तरह से गायब चेहरे के हिस्सों को बदलने के लिए, और हाथों और धूप के चश्मे जैसे अवरोधों को हटाने के लिए, और यह दृश्य और वास्तुकला आउटपुट पर भी अच्छी तरह से काम करता है।

प्रत्येक कॉलम के लिए बाएं, मूल GAN आउटपुट दोषों के साथ, उसके बाद दो अन्य दृष्टिकोण कलाकृतियों के लिए, और अंत में दक्षिण कोरियाई शोधकर्ताओं द्वारा उपयोग की जाने वाली विधि। स्रोत: https://arxiv.org/pdf/2104.06118.pdf

GAN-उत्पन्न छवियों की गुणवत्ता में सुधार के लिए हाल के दृष्टिकोणों ने यह माना है कि कलाकृतियां प्रक्रिया का एक व्यावसायिक जोखिम हैं, विधि को एक ‘प्राकृतिक बल’ के रूप में माना जाता है, और यह जो अधिक मनोवैज्ञानिक या विचलित परिणाम उत्पन्न कर सकता है उसे एक अपरिहार्य उपोत्पाद के रूप में माना जाता है।

इसके बजाय, दक्षिण कोरियाई शोध वास्तव में ‘सुधार’ प्रभावित छवियों का प्रस्ताव करता है जो जेनरेटिव श्रृंखला के साथ हस्तक्षेप नहीं करता है, कलाकृतियों का कारण बनने वाले पहलुओं की पहचान करके और अर्ध-पर्यवेक्षित स्तर पर उनके प्रभाव को कम या समाप्त करके जो GAN नेटवर्क में मूल स्व-सुधार तंत्र को पार करता है।

परियोजना के लिए, GAN कलाकृतियों से बहुत प्रभावित छवियों का एक व्यापक रूप से लागू होने वाला हाथ-लेबल डेटासेट बनाना आवश्यक था। शुरू में, शोधकर्ताओं ने फ्रेचेट इन्सेप्शन डिस्टेंस (FID) का उपयोग किया, एक मीट्रिक जो छवियों में विशेषताओं की तुलना करके GAN आउटपुट की गुणवत्ता का मूल्यांकन करता है, एक योग्य इकाई के रूप में। 200,000 छवियों के रन में 10,000 छवियों को FID स्कोर के साथ उपयोग किया गया था। बाद में शोधकर्ताओं ने 2,000 उत्पन्न छवियों को हाथ से लेबल किया, प्रत्येक को ‘सामान्य’ या FID कलाकृतियों से प्रभावित के रूप में वर्गीकृत किया। फिर एक मॉडल बनाया गया था जो डेटासेट को कलाकृति, सामान्य और यादृच्छिक वास्तविक दुनिया के नमूनों में वर्गीकृत करने के लिए।

इसके बाद, ग्रेडिएंट-वेटेड क्लास एक्टिवेशन मैपिंग (ग्रेड-कैम) का उपयोग कलाकृति-प्रभावित क्षेत्रों के लिए मास्क उत्पन्न करने के लिए किया गया था, जो वास्तव में दोषों को लेबल करने को स्वचालित करता है।

उपरोक्त छवि में, ग्रेड-कैम मास्क को LSUN-चर्च आउटडोर डेटासेट और सेलेबीए-एचक्यू डेटासेट से आउटपुट पर लागू किया गया है।

20,000 छवियों के रन से शीर्ष 20 सबसे प्रभावित परिणामों का विश्लेषण करके, सेगमेंटेशन मास्क उत्पन्न किए जाते हैं, जिसमें पीढ़ियों (जो कलाकृतियों की तुलना में अधिक सटीक या समझदार होने की संभावना है) में प्रतिनिधि परिणामों को प्रतिस्थापित किया जा सकता है जो बाद की पीढ़ियों में कलाकृति-उत्पादक इकाइयों की सक्रियता को कम करके।

सुधारों के मानव मूल्यांकन से 53% ‘सुधार’ छवियों को ‘सामान्य’ के रूप में लेबल किया गया, जबकि 97% मूल छवियों में अभी भी मूल पर महत्वपूर्ण सुधार दिखाई देते हैं।

शोधकर्ताओं का तर्क है कि यह विधि, कुछ छोटे पुनर्गठन के साथ, NVIDIA के स्टाइलGAN2 के लिए भी अनुकूलित की जा सकती है।

सिंथेटिक डेटा के लाभ

मुख्य रूप से चेहरे के डेटा के संबंध में, वास्तविक दुनिया के डेटासेट की सामान्य कमी कंप्यूटर दृष्टि में विविध शोध में एक बाधा है, जैसे कि चेहरे की पहचान, भावना की पहचान, चिकित्सा अनुसंधान, और चेहरे की स्थलाकृति के अधिक विस्तृत विभाजन में अध्ययन, साथ ही साथ विभिन्न अन्य क्षेत्रों में।

वेब-फेसिंग डेटा के मुफ्त उपयोग के प्रति वर्तमान प्रतिक्रिया और चेहरे की छवियों का अध: पता संग्रह चेहरे के डेटाबेस में शामिल होने के लिए एक अतिरिक्त बाधा है, क्योंकि राज्यों और राष्ट्रों की बढ़ती संख्या क्रैकिंग है वेब-स्क्रैपिंग पर, और सोशल मीडिया छवियों के लिए इन उद्देश्यों के लिए उपयोग को।

पिछले दस वर्षों में, सीमित संख्या में अत्यधिक क्यूरेटेड चेहरे के डेटासेट ने इस तरह की अनिश्चितता से बचने के लिए एक शरण प्रदान की है, विभिन्न वार्षिक सार्वजनिक शोध चुनौतियों के साथ केंद्रित हैं। हालांकि, यह तर्क दिया जा सकता है कि इसने शोध परियोजनाओं को इन डेटासेट के प्रति अपनी विधियों को विशेष रूप से झुका दिया है, जिसमें वर्ष-दर-वर्ष परिणाम प्राप्त किए जाते हैं – लेकिन स्रोत सामग्री में विविधता की कमी की उच्च लागत पर।

इसके अलावा, इन ‘पारंपरिक’ डेटासेट में से कुछ नस्लीय विविधता की कमी के लिए आलोचना का विषय रहे हैं, जो सुझाव देते हैं कि ये बेंचमार्किंग स्टैलवार्ट्स भविष्य में उपयुक्त संसाधनों के रूप में नहीं माने जा सकते हैं।

यह सिंथेटिक डेटा की आवश्यकता को दर्शाता है जो वास्तविक है, लेकिन जहां योगदान करने वाली ‘वास्तविक दुनिया’ छवियों को पहचानने से परे परिवर्तित किया गया है। भले ही इस तरह के GAN-उत्पन्न चेहरों का उपयोग ‘एक हटाने’ पर हो सकता है, यह एक बाधा है जो तब तक नहीं उठेगी जब तक कि इस तरह के डेटा संग्रह के लिए कानूनी और तकनीकी तंत्र स्थापित नहीं हो जाते; और, इस मुद्दे के आसपास कानूनी ढांचे में संभावित परिवर्तनों के संबंध में, यह अभी भी वास्तविक लोगों की छवियों का उपयोग करने की तुलना में एक कम जोखिम है।

अधिक पढ़ें:

सिंथेटिक छवियों की वास्तविकता में सुधार
जेनरेटिव न्यूरल नेटवर्क में आंतरिक इकाइयों का स्वचालित सुधार