मानव चेहरे की सिंथेसिस को सेमेंटिक सेगमेंटेशन के साथ ऑर्केस्ट्रेट करना

जेनरेटिव एडवर्सेरियल नेटवर्क (GAN) के साथ मानव चेहरे को बनाने में समस्या यह है कि वास्तविक दुनिया के डेटा जो नकली छवियों को ईंधन देता है, इसमें अवांछित और अविभाज्य सामान जैसे कि सिर (और/या चेहरे) पर बाल, पृष्ठभूमि और विभिन्न प्रकार के चेहरे के फर्नीचर, जैसे कि चश्मे, टोपी और कान के बाली शामिल होते हैं; और यह कि ये परिधीय तत्व अनिवार्य रूप से एक ‘मिले हुए’ पहचान में बंध जाते हैं।

सबसे आम जीएएन आर्किटेक्चर के तहत, ये तत्व अपने स्वयं के समर्पित स्थान में संबोधित नहीं किए जा सकते हैं, बल्कि चेहरे में (या जिसमें वे निहित हैं) बहुत तंग से जुड़े हुए हैं।

आम तौर पर, जीएएन द्वारा बनाए गए चेहरे के ‘सबसेक्शन’ की उपस्थिति को निर्देशित या प्रभावित करना संभव नहीं है, जैसे कि आंखों को संकीर्ण करना, नाक को लंबा करना या बालों का रंग बदलना जैसे कि एक पुलिस स्केच कलाकार कर सकता है।

हालांकि, छवि सिंथेसिस अनुसंधान क्षेत्र इस पर काम कर रहा है:

नई अनुसंधान जीएएन-आधारित चेहरे के निर्माण में विभिन्न खंडों को अलग-अलग क्षेत्रों में विभाजित करती है, प्रत्येक में अपना ‘जनरेटर’ होता है, जो छवि के लिए अन्य जनरेटरों के साथ संयोजन में काम करता है। मध्य पंक्ति में, हम ‘फीचर मैप’ को अतिरिक्त क्षेत्रों का निर्माण करते हुए देखते हैं। स्रोत: https://arxiv.org/pdf/2112.02236.pdf

एक नए पत्र में, अमेरिकी बहुराष्ट्रीय प्रौद्योगिकी दिग्गज बाइटडांस के शोधकर्ताओं ने सेमेंटिक सेगमेंटेशन का उपयोग करके चेहरे के घटक भागों को विभिन्न खंडों में विभाजित किया है, प्रत्येक को अपना जनरेटर आवंटित किया गया है, ताकि अधिक डिसेंटैंग्लमेंट की डिग्री प्राप्त की जा सके। या कम से कम संवेदी डिसेंटैंग्लमेंट।

पत्र का शीर्षक SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing है, और इसके साथ एक मीडिया-संपन्न परियोजना पृष्ठ है जिसमें विभिन्न विस्तृत परिवर्तनों के उदाहरण हैं जो इस प्रकार से अलग किए जा सकते हैं।

चेहरे की बनावट, बालों का रंग, आंखों का आकार और रंग, और कई अन्य पहलुओं को अब इस प्रकार से अलग किया जा सकता है, हालांकि अलगाव की गुणवत्ता और साधनों का स्तर मामलों में भिन्न हो सकता है। स्रोत: https://semanticstylegan.github.io/

अनियंत्रित लेटेंट स्पेस

एक जेनरेटिव एडवर्सेरियल नेटवर्क जो चेहरों को उत्पन्न करने के लिए प्रशिक्षित किया गया है – जैसे कि स्टाइलजीएन2 जनरेटर जो लोकप्रिय वेबसाइट thispersondoesnotexist.com को शक्ति प्रदान करता है – वास्तविक दुनिया के चेहरों के विश्लेषण से प्राप्त ‘विशेषताओं’ के बीच जटिल संबंध बनाता है, ताकि यह सीख सके कि वास्तविक मानव चेहरे कैसे बनाए जाएं।

इन गुप्त प्रक्रियाओं को ‘लेटेंट कोड’ कहा जाता है, जो सामूहिक रूप से लेटेंट स्पेस हैं। वे विश्लेषण करने में कठिन हैं, और परिणामस्वरूप उन्हें साधना में भी कठिन हैं।

पिछले सप्ताह एक अलग नई छवि सिंथेसिस परियोजना सामने आई जो इस निकट-गुप्त स्थान को प्रशिक्षण प्रक्रिया के दौरान ‘मैप’ करने का प्रयास करती है, और फिर उन मानचित्रों का उपयोग करके इसे नेविगेट करने के लिए, और विभिन्न अन्य समाधानों का प्रस्ताव दिया गया है ताकि जीएएन-सिंथेसाइज्ड सामग्री पर गहरा नियंत्रण प्राप्त किया जा सके।

कुछ प्रगति हुई है, जिसमें जीएएन आर्किटेक्चर की विविध पेशकश है जो लेटेंट स्पेस में कुछ तरीके से ‘पहुंच’ करने और वहां से चेहरे के निर्माण को नियंत्रित करने का प्रयास करती है। ऐसे प्रयासों में इंटरफेसजीएन, स्टाइलफ्लो, जीएनस्पेस, और स्टाइलरिग शामिल हैं, जो नए पत्रों की एक निरंतर उत्पादक धारा में प्रस्तुत किए गए हैं।

उनके पास एक बात समान है – सीमित डिसेंटैंग्लमेंट की डिग्री; विभिन्न पहलुओं (जैसे ‘बाल’ या ‘अभिव्यक्ति’) के लिए चतुर जीयूआई स्लाइडर अक्सर पृष्ठभूमि और/या अन्य तत्वों को परिवर्तन प्रक्रिया में खींचते हैं, और उनमें से कोई भी (इस पत्र सहित) इस समस्या का समाधान नहीं कर पाया है कि कैसे केश को नियंत्रित किया जाए।

लेटेंट स्पेस को विभाजित और जीतना

किसी भी मामले में, बाइटडांस अनुसंधान एक अलग दृष्टिकोण अपनाता है: एकल जीएएन के रहस्यों को समझने की कोशिश करने के बजाय, जो पूरे उत्पन्न चेहरे छवि पर कार्य करता है, सेमेंटिकस्टाइलजीएन एक लेआउट-आधारित दृष्टिकोण का प्रस्ताव करता है, जहां चेहरे को अलग-अलग जनरेटर प्रक्रियाओं द्वारा ‘रचित’ किया जाता है।

इस प्रकार के (चेहरे के) विशेषताओं के पृथक्करण को प्राप्त करने के लिए, सेमेंटिकस्टाइलजीएन फूरियर विशेषताओं का उपयोग करके एक सेमेंटिक सेगमेंटेशन मैप (चेहरे की शीर्षोग्राफी के लिए साधारण रंगीन भेद) बनाता है, जो चेहरे के क्षेत्रों को अलग-अलग, समर्पित ध्यान देने के लिए अलग करता है।

नई दृष्टिकोण की वास्तुकला, जो चेहरे पर एक मध्यवर्ती परत में सेमेंटिक सेगमेंटेशन को आरोपित करती है, जो फ्रेमवर्क को विभिन्न छवि तत्वों के लिए कई जनरेटरों का एक ऑर्केस्ट्रेटर बनाती है।

सेगमेंटेशन मानचित्र जीएएन के विभेदक के लिए प्रस्तुत की जाने वाली नकली छवियों के लिए, और प्रशिक्षण के लिए उपयोग की जाने वाली (नकली नहीं) स्रोत छवियों के लिए उत्पन्न किए जाते हैं।

प्रक्रिया की शुरुआत में, एक मल्टी-लेयर परसेप्ट्रॉन (एमएलपी) पहले यादृच्छिक रूप से चुने गए लेटेंट कोडों को मैप करता है, जो बाद में चेहरे की छवि का उत्पादन करने वाले कई जनरेटरों के वजन को नियंत्रित करने के लिए उपयोग किए जाएंगे।

प्रत्येक जनरेटर एक फीचर मैप और एक सिम्युलेटेड डेप्थ-मैप बनाता है, जो उसे ऊपर से फीड किए गए फूरियर विशेषताओं से। यह आउटपुट सेगमेंटेशन मास्क के लिए आधार है।

डाउनस्ट्रीम रेंडर नेटवर्क केवल पहले के फीचर मैप्स द्वारा सशर्त है, और अब यह जानता है कि एक उच्च-रिज़ॉल्यूशन सेगमेंटेशन मास्क कैसे उत्पन्न किया जाए, जो अंतिम छवि के उत्पादन को सुविधाजनक बनाता है।

अंत में, एक द्विफलक विभेदक दोनों आरजीबी छवियों (जो हमारे लिए अंतिम परिणाम हैं) और सेगमेंटेशन मास्क के संयुक्त वितरण की देखरेख करता है जिन्होंने उन्हें अलग किया है।

सेमेंटिकस्टाइलजीएन के साथ, चेहरे की विशेषताओं में परिवर्तन ‘डायल करने’ पर कोई अवांछित दृश्य विकृतियां नहीं होती हैं, क्योंकि प्रत्येक चेहरे की विशेषता को इस प्रकार से अलग से प्रशिक्षित किया जाता है।

पृष्ठभूमि की जगह

क्योंकि परियोजना का उद्देश्य उत्पन्न वातावरण पर अधिक नियंत्रण प्राप्त करना है, रेंडरिंग/संयोजन प्रक्रिया में वास्तविक छवियों पर प्रशिक्षित एक पृष्ठभूमि जनरेटर शामिल है।

सेमेंटिकस्टाइलजीएन में पृष्ठभूमि को चेहरे के हेरफेर में नहीं खींचा जाता है, क्योंकि वे एक दूर की परत पर बैठे हैं, और आंशिक रूप से चेहरों द्वारा ढके हुए होने के बावजूद पूरे हैं।

चूंकि सेगमेंटेशन मानचित्र चेहरों को पृष्ठभूमि के बिना परिणाम देंगे, इसलिए ये ‘ड्रॉप-इन’ पृष्ठभूमि न केवल संदर्भ प्रदान करती हैं, बल्कि चेहरों के लिए उपयुक्त होने के लिए, प्रकाश व्यवस्था के संदर्भ में, कॉन्फ़िगर की जाती हैं।

प्रशिक्षण और डेटा

‘वास्तविक’ मॉडल को सेलेबएएमास्क-एचक्यू में पहले 28,000 छवियों पर प्रशिक्षित किया गया था, जिसे 256×256 पिक्सेल में बदल दिया गया था ताकि प्रशिक्षण स्थान (यानी, उपलब्ध वीआरएएम, जो अधिकतम बैच आकार को निर्धारित करता है) को समायोजित किया जा सके।

विभिन्न मॉडलों को प्रशिक्षित किया गया था, और विकास प्रक्रिया के दौरान और विभिन्न अपघटन परीक्षणों के साथ विभिन्न उपकरण, डेटासेट और आर्किटेक्चर के साथ प्रयोग किया गया था। परियोजना का सबसे बड़ा उत्पादक मॉडल 512×512 रिज़ॉल्यूशन का था, जिसे आठ एनवीडिया टेस्ला वी100 जीपीयू पर 2.5 दिनों में प्रशिक्षित किया गया था। प्रशिक्षण के बाद, एक छवि का उत्पादन एक लोबे जीपीयू पर 0.137 सेकंड में होता है बिना समानांतरीकरण के।

अधिक कार्टून/एनीमे शैली के प्रयोग, जो परियोजना के पृष्ठ (ऊपर दिए गए लिंक देखें) पर कई वीडियो में दिखाए गए हैं, विभिन्न लोकप्रिय चेहरा-आधारित डेटासेट से प्राप्त किए गए हैं, जिनमें टूनिफाई, मेटफेसेज, और बिटमोजी शामिल हैं।

एक अस्थायी समाधान?

लेखकों का तर्क है कि कोई कारण नहीं है कि सेमेंटिकस्टाइलजीएन को अन्य डोमेन जैसे कि परिदृश्य, कार, चर्च और अन्य ‘डिफ़ॉल्ट’ परीक्षण डोमेन पर लागू नहीं किया जा सकता है, जिन्हें नए आर्किटेक्चर को उनके करियर की शुरुआत में नियमित रूप से विषय दिया जाता है।

हालांकि, पत्र स्वीकार करता है कि जैसे ही एक डोमेन (जैसे कि ‘कार’, ‘स्ट्रीट-लैंप’, ‘पैदल यात्री’, ‘इमारत’, ‘कार’ आदि) के लिए वर्गों की संख्या बढ़ जाती है, यह टुकड़े-टुकड़े की दृष्टिकोण अनुपयोगी हो सकता है अनुकूलन पर आगे काम के बिना। सिटीस्केप्स शहरी डेटासेट में, उदाहरण के लिए, 8 श्रेणियों में 30 वर्ग हैं।

यह कहना मुश्किल है कि लेटेंट स्पेस को अधिक सीधे जीतने में वर्तमान रुचि अल्केमी जितनी ही बर्बाद है; या क्या लेटेंट कोड अंततः समझने योग्य और नियंत्रित हो जाएंगे – एक ऐसा विकास जो इस अधिक ‘बाहरी जटिल’ प्रकार के दृष्टिकोण को अप्रासंगिक बना सकता है।