कस्टम जेनरेटिव एडवर्सेरियल नेटवर्क बनाना जो स्केच से काम करता है

कार्नेगी मेलन और एमआईटी के शोधकर्ताओं ने एक नई विधि विकसित की है जो एक उपयोगकर्ता को सिर्फ स्केचिंग इंडिकेटिव डूडल्स करके कस्टम जेनरेटिव एडवर्सेरियल नेटवर्क (GAN) इमेज-निर्माण प्रणालियों को बनाने की अनुमति देती है।

इस प्रकार की प्रणाली एक अंतिम उपयोगकर्ता को विशिष्ट छवियों को बनाने में सक्षम छवि-उत्पादन प्रणालियों को बनाने की अनुमति दे सकती है, जैसे कि विशिष्ट जानवर, भवनों के प्रकार – और यहां तक कि व्यक्तिगत लोग। वर्तमान में, अधिकांश GAN उत्पादन प्रणालियां व्यापक और अपेक्षाकृत यादृच्छिक आउटपुट उत्पन्न करती हैं, विशिष्ट विशेषताओं को निर्दिष्ट करने की सीमित क्षमता के साथ, जैसे कि जानवरों की नस्ल, लोगों में बालों के प्रकार, वास्तुकला के शैलियों या वास्तविक चेहरे की पहचान।

इस दृष्टिकोण को पेपर स्केच योर ओन GAN में रेखांकित किया गया है, जो एक नए स्केचिंग इंटरफ़ेस का उपयोग एक प्रभावी ‘खोज’ कार्य के रूप में करता है जो विशाल छवि डेटाबेस में विशेषताओं और वर्गों को खोजने के लिए हो सकता है जो उपयोगकर्ता के इरादे से संबंधित नहीं हो सकते हैं। GAN को फिर इस फ़िल्टर्ड उप-सेट पर प्रशिक्षित किया जाता है।

उपयोगकर्ता द्वारा जिस विशिष्ट वस्तु के प्रकार के साथ GAN को कैलिब्रेट करना चाहता है, उसे स्केच करके, फ्रेमवर्क की उत्पादक क्षमताएं उस वर्ग में विशेषज्ञता प्राप्त करती हैं। उदाहरण के लिए, यदि एक उपयोगकर्ता एक फ्रेमवर्क बनाना चाहता है जो एक विशिष्ट प्रकार की बिल्ली (किसी भी पुरानी बिल्ली के बजाय, जैसा कि इस बिल्ली का अस्तित्व नहीं है के साथ प्राप्त किया जा सकता है) को उत्पन्न करता है, तो उनके इनपुट स्केच गैर-प्रासंगिक बिल्ली वर्गों को खारिज करने के लिए एक फिल्टर के रूप में कार्य करते हैं।

शोध कार्नेगी मेलन विश्वविद्यालय के शेंग यू-वांग द्वारा किया जा रहा है, जो एमआईटी के कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस लेबोरेटरी के डेविड बाउ के साथ-साथ जून-यान झू के साथ मिलकर काम कर रहे हैं।

विधि को ‘GAN स्केचिंग’ कहा जाता है, और यह इनपुट स्केच का उपयोग सीधे एक ‘टेम्पलेट’ GAN मॉडल के वजन को बदलने के लिए करता है ताकि विशिष्ट रूप से पहचाने गए डोमेन या उप-डोमेन को लक्षित किया जा सके क्रॉस-डोमेन एडवर्सेरियल लॉस के माध्यम से।

आउटपुट को विविध बनाए रखने और साथ ही उच्च छवि गुणवत्ता बनाए रखने के लिए विभिन्न नियमितीकरण विधियों का अन्वेषण किया गया था। शोधकर्ताओं ने नमूना अनुप्रयोग बनाए जो लेटेंट स्पेस को अंतर्पोलेट करने और छवि संपादन प्रक्रियाओं को करने में सक्षम हैं।

यह [$class] मौजूद नहीं है

GAN-आधारित छवि पीढ़ी प्रणालियां पिछले कुछ वर्षों में एक फैड, यदि नहीं एक मीम, बन गई हैं, जिसमें परियोजनाओं का प्रसार है जो गैर-मौजूद चीजों की तस्वीरें बनाने में सक्षम हैं, जिनमें लोग, किराये के अपार्टमेंट, नाश्ता, पैर, घोड़े, राजनेता और कीड़े शामिल हैं।

GAN-आधारित छवि संश्लेषण प्रणालियों को लक्ष्य डोमेन में छवियों के व्यापक डेटासेट को संकलित या क्यूरेट करके बनाया जाता है; डेटाबेस में छवियों में सुविधाओं की एक श्रृंखला को सामान्य करने वाले मॉडल को प्रशिक्षित करके; और जनरेटर मॉड्यूल को लागू करके जो सीखे गए सुविधाओं के आधार पर यादृच्छिक उदाहरणों का आउटपुट दे सकते हैं।

मैं जानता हूँ कि तुम क्या मतलब है…

इन पहले मूल आकारों और बाद में प्राप्त विस्तृत व्याख्याओं के बीच संबंधों को मैप करके, जो प्रशिक्षण प्रक्रिया में बहुत बाद में प्राप्त होते हैं, यह संभव है कि ‘अस्पष्ट’ और ‘विशिष्ट’ छवियों के बीच संबंधों का अनुमान लगाया जा सके, जिससे उपयोगकर्ता को जटिल और फोटोरियलिस्टिक छवियों को बनाने की अनुमति मिलती है जो कच्चे डब्स से।

हाल ही में, NVIDIA ने अपने लंबे समय से चल रहे GauGAN शोध के आधार पर एक डेस्कटॉप संस्करण जारी किया है, जो GAN-आधारित लैंडस्केप पीढ़ी को आसानी से प्रदर्शित करता है:

स्केच-टू-इमेज को सरल बनाना

नई पेपर के GAN स्केचिंग दृष्टिकोण का उद्देश्य उपयोगकर्ता के इनपुट का उपयोग करके प्रशिक्षण डेटा के उप-सेट को परिभाषित करने के लिए डेटा संग्रह और क्यूरेशन के भारी बोझ को हटाना है जो GAN छवि फ्रेमवर्क के विकास में शामिल है।

प्रणाली को केवल कुछ इनपुट स्केच की आवश्यकता होती है ताकि फ्रेमवर्क को कैलिब्रेट किया जा सके। प्रणाली मूल रूप से फोटोस्केच की कार्यक्षमता को उलट देती है, जो 2019 में कार्नेगी मेलन, एडोबी, उबर एटीजी और अर्गो एआई के शोधकर्ताओं द्वारा संयुक्त अनुसंधान पहल है, जो नए काम में शामिल है। फोटोस्केच को छवियों से कलात्मक स्केच बनाने के लिए डिज़ाइन किया गया था, और पहले से ही वाग-स्पेसिफिक छवि निर्माण संबंधों का प्रभावी मैपिंग है।

उत्पादन के हिस्से के लिए, नई विधि केवल स्टाइलGAN2 के वजन को संशोधित करती है। चूंकि उपयोग की जाने वाली छवि डेटा केवल उपलब्ध डेटा का एक उप-सेट है, इसलिए मैपिंग नेटवर्क को संशोधित करने से वांछित परिणाम प्राप्त होते हैं।

विधि का मूल्यांकन लोकप्रिय उप-डोमेन पर किया गया था, जिनमें घुड़सवारी, चर्च और बिल्लियां शामिल हैं।

प्रिंसटन विश्वविद्यालय के 2016 LSUN डेटासेट का उपयोग मूल सामग्री के रूप में किया गया था जिससे लक्ष्य उप-डोमेन को प्राप्त किया जा सके। एक स्केच मैपिंग प्रणाली स्थापित करने के लिए जो वास्तविक दुनिया के उपयोगकर्ता इनपुट स्केच की विचित्रताओं के लिए मजबूत है, प्रणाली को माइक्रोसॉफ्ट द्वारा 2021-2016 के बीच विकसित क्विकड्रा डेटासेट पर छवियों के साथ प्रशिक्षित किया जाता है।

हालांकि फोटोस्केच और क्विकड्रा के बीच स्केच मैपिंग बहुत अलग है, शोधकर्ताओं ने पाया कि उनका फ्रेमवर्क अपेक्षाकृत सरल मुद्राओं पर आसानी से उन्हें पार कर लेता है, हालांकि अधिक जटिल मुद्राएं (जैसे बिल्लियां लेटी हुई) अधिक चुनौतीपूर्ण साबित होती हैं, जबकि बहुत अमूर्त उपयोगकर्ता इनपुट (अर्थात अत्यधिक कच्चे ड्रॉइंग) भी परिणामों की गुणवत्ता को बाधित करते हैं।

लेटेंट स्पेस और प्राकृतिक छवि संपादन

शोधकर्ताओं ने मूल कार्य पर आधारित दो अनुप्रयोग विकसित किए हैं: लेटेंट स्पेस संपादन, और छवि संपादन। लेटेंट स्पेस संपादन प्रशिक्षण समय में सुविधाजनक उपयोगकर्ता नियंत्रण प्रदान करता है जो व्याख्यात्मक हैं और लक्ष्य डोमेन के प्रति वफादार रहते हुए एक विस्तृत डिग्री की विविधता की अनुमति देते हैं।

लेटेंट स्पेस संपादन घटक को 2020 GANSpace प्रोजेक्ट द्वारा संचालित किया गया था, जो ऑल्टो विश्वविद्यालय, एडोबी और NVIDIA के बीच एक संयुक्त पहल है।

एक ही छवि को भी अनुकूलित मॉडल में खिलाया जा सकता है, जो प्राकृतिक छवि संपादन की सुविधा प्रदान करता है। इस अनुप्रयोग में, एक छवि को प्रोजेक्ट किया जाता है अनुकूलित GAN में, न केवल सीधे संपादन को सक्षम करने के लिए, बल्कि उच्च-स्तरीय लेटेंट स्पेस संपादन को भी बनाए रखने के लिए, यदि यह भी उपयोग किया गया है।

हालांकि कॉन्फ़िगर करने योग्य, प्रणाली वास्तविक समय में काम करने के लिए डिज़ाइन नहीं की गई है, कम से कम प्रशिक्षण और कैलिब्रेशन के संदर्भ में। वर्तमान में GAN स्केचिंग को 30,000 प्रशिक्षण पुनरावृत्तियों की आवश्यकता है। प्रणाली को मूल मॉडल के लिए मूल प्रशिक्षण डेटा तक पहुंच की भी आवश्यकता है।

जहां डेटासेट खुला स्रोत है और एक लाइसेंस है जो स्थानीय प्रतिलिपि की अनुमति देता है, यह एक स्थानीय रूप से स्थापित पैकेज में स्रोत डेटा को शामिल करके समायोजित किया जा सकता है, हालांकि यह काफी डिस्क स्थान ले सकता है; या दूरस्थ रूप से डेटा तक पहुंचकर या संसाधित करके, एक क्लाउड-आधारित दृष्टिकोण के माध्यम से, जो नेटवर्क ओवरहेड्स और (क्लाउड पर वास्तव में होने वाले प्रसंस्करण के मामले में) संभावित रूप से कम्प्यूट की लागत को पेश करता है।

मानव-निर्मित स्केच पर प्रशिक्षित अनुकूलित FFHQ मॉडल से परिवर्तन।