सिमेंटिक विभाजन के साथ चेहरे के संश्लेषण को व्यवस्थित करना

मानवीय चेहरों का आविष्कार करने में समस्या जनरेटिव एडवरसरी नेटवर्क (जीएएन) का मानना ​​है कि वास्तविक दुनिया का डेटा, जो नकली छवियों को बढ़ावा देता है, अपने साथ अवांछित और अविभाज्य चीजें लेकर आता है, जैसे सिर (और/या चेहरे) पर बाल, पृष्ठभूमि, तथा विभिन्न प्रकार के चेहरे के फर्नीचर, जैसे चश्मा, टोपी और कान की बाली; और व्यक्तित्व के ये परिधीय पहलू अनिवार्य रूप से एक 'संयुक्त' पहचान में बंध जाते हैं।

सबसे आम GAN आर्किटेक्चर के अंतर्गत, ये तत्व अपने स्वयं के समर्पित स्थान में संबोधित करने योग्य नहीं होते हैं, बल्कि वे उस चेहरे के साथ काफी मजबूती से जुड़े होते हैं (या उसके आसपास) जिसमें वे अंतर्निहित होते हैं।

न तो आमतौर पर किसी की उपस्थिति को निर्देशित करना या प्रभावित करना संभव है उप-अनुभाग जीएएन द्वारा बनाए गए चेहरे का, जैसे आंखों को संकीर्ण करना, नाक को लंबा करना, या बालों का रंग बदलना जिस तरह से एक पुलिस स्केच कलाकार कर सकता है।

हालाँकि, छवि संश्लेषण अनुसंधान क्षेत्र इस पर काम कर रहा है:

GAN-आधारित चेहरा निर्माण पर नए शोध ने चेहरे के विभिन्न हिस्सों को अलग-अलग क्षेत्रों में विभाजित किया है, जिनमें से प्रत्येक का अपना 'जनरेटर' है, जो छवि के लिए अन्य जनरेटरों के साथ मिलकर काम करता है। बीच की पंक्ति में, हम चेहरे के अतिरिक्त क्षेत्रों का निर्माण करते हुए एक 'फ़ीचर मैप' देखते हैं। स्रोत: https://arxiv.org/pdf/2112.02236.pdf

एक नए काग़ज़चीनी बहुराष्ट्रीय प्रौद्योगिकी दिग्गज बाइटडांस की अमेरिकी शाखा के शोधकर्ताओं ने चेहरे के घटक भागों को अलग-अलग खंडों में तोड़ने के लिए सिमेंटिक सेगमेंटेशन का उपयोग किया है, जिनमें से प्रत्येक को अपना जनरेटर आवंटित किया गया है, ताकि अधिक से अधिक डिग्री प्राप्त करना संभव हो सके।  सुलझावट. या कम से कम, अवधारणात्मक सुलझाना

RSI काग़ज़ शीर्षक है SemanticStyleGAN: नियंत्रणीय छवि संश्लेषण और संपादन के लिए कंपोज़िशनल जेनरेटिव प्रायर सीखना, और एक मीडिया-रिच के साथ है परियोजना पृष्ठ चेहरे और सिर के तत्वों को इस तरह से अलग करने पर विभिन्न सूक्ष्म परिवर्तनों के कई उदाहरण प्रस्तुत किए जा सकते हैं जिन्हें प्राप्त किया जा सकता है।

चेहरे की बनावट, बालों की शैली और रंग, आंखों का आकार और रंग, और एक बार अघुलनशील GAN-जनित सुविधाओं के कई अन्य पहलू अब हो सकते हैं वास्तविक  सुलझाया गया है, हालांकि पृथक्करण की गुणवत्ता और साधन का स्तर अलग-अलग मामलों में अलग-अलग होने की संभावना है। स्रोत: https://semanticstylegan.github.io/

अनियंत्रित अव्यक्त स्थान

एक जनरेटिव एडवरसैरियल नेटवर्क को चेहरे तैयार करने के लिए प्रशिक्षित किया गया - जैसे कि स्टाइलगैन2 जनरेटर जो लोकप्रिय वेबसाइट thispersondoesnotexist.com को शक्ति प्रदान करता है - 'विशेषताओं' के बीच जटिल अंतर्संबंध बनाता है (चेहरे के अर्थ में नहीं) कि यह वास्तविक दुनिया के हजारों चेहरों का विश्लेषण करने से प्राप्त हुआ है, ताकि यह सीखा जा सके कि यथार्थवादी मानवीय चेहरे कैसे बनाए जाते हैं।

ये गुप्त प्रक्रियाएँ सामूहिक रूप से 'अव्यक्त कोड' हैं गुप्त स्थान. उनका विश्लेषण करना कठिन है, और परिणामस्वरूप उन्हें यंत्रीकृत करना भी कठिन है।

पिछले सप्ताह एक अलग नई छवि संश्लेषण परियोजना सामने आई है जो प्रशिक्षण प्रक्रिया के दौरान ही इस लगभग गुप्त स्थान का 'मानचित्रण' करने का प्रयास करती है, और फिर इसे अंतःक्रियात्मक रूप से नेविगेट करने के लिए उन मानचित्रों का उपयोग करें, और GAN-संश्लेषित सामग्री पर गहरा नियंत्रण पाने के लिए कई अन्य समाधान प्रस्तावित किए गए हैं।

कुछ प्रगति हुई है, GAN आर्किटेक्चर की विविध पेशकश के साथ जो किसी न किसी तरह से अव्यक्त स्थान तक पहुँचने और वहाँ से चेहरे की पीढ़ियों को नियंत्रित करने का प्रयास करते हैं। ऐसे प्रयासों में शामिल हैं इंटरफेसगैन, स्टाइलफ्लो, गैन्सस्पेस, तथा स्टाइलरिग, नए पत्रों की निरंतर-उत्पादक धारा में अन्य पेशकशों के बीच।

इन सभी में जो बात समान है, वह है सीमित स्तर पर विच्छेदन; विभिन्न पहलुओं (जैसे 'बाल' या 'अभिव्यक्ति') के लिए सरल GUI स्लाइडर्स पृष्ठभूमि और/या अन्य तत्वों को रूपांतरण प्रक्रिया में खींचते हैं, और उनमें से किसी ने भी (यहां चर्चा किए गए पेपर सहित) टेम्पोरल न्यूरल हेयर की समस्या का समाधान नहीं किया है।

अव्यक्त स्थान को विभाजित करना और जीतना

किसी भी मामले में, बाइटडांस अनुसंधान एक अलग दृष्टिकोण अपनाता है: एक संपूर्ण उत्पन्न चेहरे की छवि पर काम करने वाले एकल GAN के रहस्यों को समझने की कोशिश करने के बजाय, सेमेटिकस्टाइलGAN एक लेआउट-आधारित दृष्टिकोण तैयार करता है, जहां चेहरों को अलग-अलग जनरेटर प्रक्रियाओं द्वारा 'रचित' किया जाता है।

(चेहरे की) विशेषताओं के इस भेद को प्राप्त करने के लिए, SemanticStyleGAN का उपयोग किया जाता है फूरियर विशेषताएँ चेहरे के क्षेत्रों को अलग करने के लिए एक सिमेंटिक सेगमेंटेशन मैप (चेहरे की स्थलाकृति के कच्चे रंग के भेद, नीचे की छवि के निचले-दाएं तरफ दिखाया गया है) उत्पन्न करने के लिए, जिस पर व्यक्तिगत, समर्पित ध्यान दिया जाएगा।

नए दृष्टिकोण की वास्तुकला, जो चेहरे पर सिमेंटिक विभाजन की एक अंतरालीय परत लगाती है, प्रभावी ढंग से एक छवि के विभिन्न पहलुओं के लिए ढांचे को कई जनरेटर के ऑर्केस्ट्रेटर में बदल देती है।

विभाजन मानचित्र नकली छवियों के लिए तैयार किए जाते हैं, जिन्हें मॉडल में सुधार होने पर मूल्यांकन के लिए GAN के विभेदक के समक्ष व्यवस्थित रूप से प्रस्तुत किया जाता है, तथा प्रशिक्षण के लिए प्रयुक्त (गैर-नकली) स्रोत छवियों के लिए भी प्रस्तुत किया जाता है।

प्रक्रिया की शुरुआत में, ए मल्टी-लेयर परसेप्ट्रॉन (एमएलपी) शुरू में बेतरतीब ढंग से चुने गए अव्यक्त कोड को मैप करता है, जिसका उपयोग तब कई जनरेटर के वजन को नियंत्रित करने के लिए किया जाएगा, जिनमें से प्रत्येक उत्पादित होने वाली चेहरे की छवि के एक हिस्से का नियंत्रण लेगा।

प्रत्येक जनरेटर फूरियर सुविधाओं से एक फीचर मानचित्र और एक सिम्युलेटेड गहराई-मानचित्र बनाता है जो इसे अपस्ट्रीम में खिलाया जाता है। यह आउटपुट विभाजन मास्क का आधार है।

डाउनस्ट्रीम रेंडर नेटवर्क केवल पहले के फीचर मैप्स द्वारा वातानुकूलित है, और अब जानता है कि छवि के अंतिम उत्पादन की सुविधा के लिए उच्च-रिज़ॉल्यूशन सेगमेंटेशन मास्क कैसे उत्पन्न किया जाए।

अंत में, एक द्विभाजित विभेदक आरजीबी छवियों (जो हमारे लिए, अंतिम परिणाम हैं) और विभाजन मास्क दोनों के समेकित वितरण की देखरेख करता है जिसने उन्हें अलग करने की अनुमति दी है।

सेमेंटिकस्टाइलजीएएन के साथ, चेहरे की विशेषताओं में परिवर्तन करते समय कोई अवांछित दृश्य गड़बड़ी नहीं होती है, क्योंकि प्रत्येक चेहरे की विशेषता को ऑर्केस्ट्रेशन ढांचे के भीतर अलग से प्रशिक्षित किया गया है।

पृष्ठभूमियों को प्रतिस्थापित करना

क्योंकि परियोजना का इरादा उत्पन्न वातावरण पर अधिक नियंत्रण हासिल करना है, प्रतिपादन/रचना प्रक्रिया में वास्तविक छवियों पर प्रशिक्षित एक पृष्ठभूमि जनरेटर शामिल है।

SemanticStyleGAN में पृष्ठभूमि को चेहरे के हेरफेर में नहीं घसीटे जाने का एक आकर्षक कारण यह है कि वे अधिक दूर की परत पर बैठे हैं, और पूर्ण हैं, अगर आंशिक रूप से आरोपित चेहरों द्वारा छिपा हुआ है।

चूंकि विभाजन मानचित्रों के परिणामस्वरूप पृष्ठभूमि रहित चेहरे प्राप्त होंगे, इसलिए ये 'ड्रॉप-इन' पृष्ठभूमियां न केवल संदर्भ प्रदान करती हैं, बल्कि प्रकाश की दृष्टि से भी आरोपित चेहरों के लिए उपयुक्त होती हैं।

प्रशिक्षण और डेटा

'यथार्थवादी' मॉडलों को प्रारंभिक 28,000 छवियों पर प्रशिक्षित किया गया था सेलेबमास्क-मुख्यालय, प्रशिक्षण स्थान को समायोजित करने के लिए 256×256 पिक्सेल का आकार बदला गया (यानी उपलब्ध वीआरएएम, जो प्रति पुनरावृत्ति अधिकतम बैच आकार निर्धारित करता है)।

विकास प्रक्रिया और विभिन्न एब्लेशन परीक्षणों के दौरान, कई मॉडलों को प्रशिक्षित किया गया और विविध उपकरणों, डेटासेट और आर्किटेक्चर का प्रयोग किया गया। परियोजना का सबसे बड़ा उत्पादक मॉडल 512x512 रिज़ॉल्यूशन वाला था, जिसे आठ NVIDIA Tesla V2.5 GPU पर 100 दिनों में प्रशिक्षित किया गया। प्रशिक्षण के बाद, बिना समानांतरीकरण के एक लोब GPU पर एक छवि बनाने में 0.137 सेकंड का समय लगता है।

परियोजना के पृष्ठ पर कई वीडियो में दिखाए गए कार्टून/एनीम शैली के प्रयोग (ऊपर लिंक देखें) विभिन्न लोकप्रिय चेहरा-आधारित डेटासेट से लिए गए हैं, जिनमें शामिल हैं Toonify, मेटफेस, तथा Bitmoji.

एक स्टॉपगैप समाधान?

लेखकों का तर्क है कि ऐसा कोई कारण नहीं है कि SemanticStyleGAN को अन्य डोमेनों पर लागू न किया जा सके, जैसे कि भूदृश्य, कार, चर्च, तथा अन्य सभी 'डिफ़ॉल्ट' परीक्षण डोमेन, जिनके लिए नए आर्किटेक्चर को उनके करियर के आरंभ में नियमित रूप से प्रयोग किया जाता है।

हालाँकि, पेपर मानता है कि जैसे-जैसे किसी डोमेन के लिए कक्षाओं की संख्या बढ़ती है (जैसे 'गाड़ी''सड़क का दीपक', 'पैदल यात्री', 'इमारत', 'गाड़ी' इत्यादि), अनुकूलन पर आगे काम किए बिना, यह टुकड़ा-टुकड़ा दृष्टिकोण कई तरीकों से अव्यवहारिक हो सकता है। उदाहरण के लिए, सिटीस्केप्स शहरी डेटासेट है 30 श्रेणियों में 8 कक्षाएं.

यह कहना कठिन है कि क्या अव्यक्त अंतरिक्ष पर अधिक प्रत्यक्ष रूप से विजय प्राप्त करने की वर्तमान रुचि, रसायन विद्या की तरह ही असफल है; या क्या अव्यक्त कोड अंततः समझने योग्य और नियंत्रणीय हो जाएंगे - एक ऐसा विकास जो इस अधिक 'बाह्य रूप से जटिल' प्रकार के दृष्टिकोण को निरर्थक बना सकता है।