छवि संश्लेषण प्रणालियों के मूल रूप से ‘मूल’ सामग्री का उत्पादन करने पर कैसे जानें

दक्षिण कोरिया से एक नए अध्ययन ने यह निर्धारित करने के लिए एक विधि का प्रस्ताव किया है कि क्या छवि संश्लेषण प्रणालियां वास्तव में नए और मूल छवियों का उत्पादन कर रही हैं, या क्या वे केवल प्रशिक्षण डेटा पर ‘न्यून’ भिन्नताएं हैं, जो इस तरह की वास्तुकला के उद्देश्य (जैसे कि नए और मूल छवियों का उत्पादन) को पराजित कर सकती हैं।

अधिकांश समय, पत्र सुझाव देता है, बाद वाला सच होता है, क्योंकि ऐसी प्रणालियों द्वारा उपयोग किए जाने वाले मौजूदा मेट्रिक्स उनकी उत्पन्न क्षमताओं को बेहतर बनाने के लिए प्रशिक्षण के दौरान छवियों को पसंद करते हैं जो डेटासेट में गैर-नकली स्रोत छवियों के लिए अपेक्षाकृत करीब होते हैं।

अगर एक उत्पन्न छवि स्रोत डेटा के लिए ‘दृश्य रूप से करीब’ है, तो यह निश्चित रूप से ‘प्रामाणिकता’ के लिए ‘मौलिकता’ से बेहतर स्कोर करेगा, क्योंकि यह ‘वफादार’ है – यदि प्रेरणा से रहित है।

एक क्षेत्र में जो अभी भी अपने कानूनी परिणामों के लिए परिपक्व नहीं है, यह एक महत्वपूर्ण कानूनी मुद्दा साबित हो सकता है, अगर यह पता चलता है कि व्यावसायिक रूप से संश्लेषित छवि सामग्री पर्याप्त रूप से उस स्रोत सामग्री से अलग नहीं है जो अक्सर कॉपीराइटेड होती है और वर्तमान में शोध क्षेत्र में लोकप्रिय वेब-खुराक वाले डेटासेट के रूप में प्रवेश कर सकती है (इस प्रकार के भविष्य के उल्लंघन दावों की संभावना हाल ही में माइक्रोसॉफ्ट के गिटहब को-पायलट एआई के संबंध में प्रमुखता से आई है)।

ओपनएआई के डीएएल-ई 2, गूगल के इमेजन, और चीन के कोगव्यू रिलीज़ (साथ ही साथ कम-स्पेक्ड डीएएल-ई मिनी) जैसे सिस्टम से तेजी से सुसंगत और सेमैंटिक रूप से मजबूत आउटपुट के संदर्भ में, उत्पन्न छवि की मौलिकता के लिए बहुत कम पोस्ट-फैक्टो तरीके हैं जिन पर विश्वास किया जा सकता है।

वास्तव में, नए डीएएल-ई 2 छवियों में से कुछ के लिए खोज करने से अक्सर केवल उन्हीं छवियों के और उदाहरण मिलेंगे, खोज इंजन पर निर्भर करते हुए।

इसके विपरीत, यांडेक्स कई समान (या कम से कम दृश्य रूप से संबंधित) वास्तविक दुनिया की छवियों को खोजता है जो शौकिया कलात्मक समुदाय से हैं:

सामान्य तौर पर, यह बेहतर होगा यदि छवि संश्लेषण प्रणालियों के आउटपुट की नई या मौलिकता को किसी तरह से मापा जा सकता है, बिना यह जानने की जरूरत के कि इंटरनेट पर हर संभावित वेब-फेसिंग छवि को निकालें जब मॉडल प्रशिक्षित किया गया था, या गैर-सार्वजनिक डेटासेट में जो कॉपीराइट सामग्री का उपयोग कर सकते हैं।

इस मुद्दे से संबंधित, कोरिया एडवांस्ड इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी (केएआईएसटी) में किम जेचुल ग्रेजुएट स्कूल ऑफ एआई के शोधकर्ताओं ने वैश्विक आईसीटी और खोज कंपनी नेवर कॉर्प के साथ मिलकर एक दुर्लभता स्कोर विकसित किया है जो छवि संश्लेषण प्रणालियों की अधिक मूल रचनाओं की पहचान करने में मदद कर सकता है।

नया पत्र शीर्षक दुर्लभता स्कोर: संश्लेषित छवियों की असामान्यता का मूल्यांकन करने के लिए एक नया मेट्रिक है, और इसमें केएआईएसटी के तीन शोधकर्ता और नेवर कॉर्प के तीन शोधकर्ता शामिल हैं।

सस्ते ट्रिक से परे

पिछले मेट्रिक्स में से जिन पर नया पत्र सुधार करने का प्रयास कर रहा है, उनमें 2019 में यूके के हेरियट-वाट यूनिवर्सिटी और गूगल के डीपमाइंड के बीच सहयोग में सुझाए गए ‘ट्रंकेशन ट्रिक’ शामिल हैं।

ट्रंकेशन ट्रिक मूल रूप से एक अलग लेटेंट वितरण का उपयोग करता है जो नमूने के लिए उपयोग किया जाता है जो प्रशिक्षण मॉडल के लिए उपयोग किया जाता है।

इस विधि को विकसित करने वाले शोधकर्ता आश्चर्यचकित थे कि यह काम करता है, लेकिन मूल पत्र में स्वीकार करते हैं कि यह उत्पन्न आउटपुट की विविधता को कम करता है। फिर भी, ट्रंकेशन ट्रिक प्रभावी और लोकप्रिय हो गया है, जो एक ‘सस्ते ट्रिक’ के संदर्भ में हो सकता है जो प्रामाणिक दिखने वाले परिणाम प्राप्त करने के लिए जो वास्तव में डेटा में निहित सभी संभावनाओं को आत्मसात नहीं करते हैं, और वांछित से अधिक स्रोत डेटा के समान हो सकते हैं।

ट्रंकेशन ट्रिक के बारे में, नए पत्र के लेखकों का观察 है:

‘[यह] प्रशिक्षण डेटासेट में दुर्लभ नमूनों का उत्पादन करने के लिए नहीं है, बल्कि अधिक स्थिर रूप से सामान्य छवियों का संश्लेषण करने के लिए है। हमें लगता है कि मौजूदा उत्पन्न मॉडल वास्तविक डेटा वितरण में अधिक समृद्ध नमूनों का उत्पादन करने में सक्षम होंगे यदि जनरेटर को प्रभावी ढंग से दुर्लभ नमूनों का उत्पादन करने के लिए प्रेरित किया जा सकता है।’

पारंपरिक मेट्रिक्स जैसे फ्रेचेट इन्सेप्शन डिस्टेंस (एफआईडी, जो दिसंबर 2021 में तीव्र आलोचना के तहत आया), इन्सेप्शन स्कोर (आईएस) और कर्नल इन्सेप्शन डिस्टेंस (केआईडी) के रूप में ‘प्रगति संकेतक’ के रूप में उपयोग की जाने वाली सामान्य प्रवृत्ति के बारे में, लेखकों ने आगे टिप्पणी की*:

‘यह सीखने की योजना उत्पादक को बहुत अधिक दुर्लभ नमूनों का संश्लेषण नहीं करने देती है जो अद्वितीय और मजबूत विशेषताओं वाले होते हैं जो वास्तविक छवि वितरण के एक बड़े हिस्से के लिए खाते नहीं हैं। सार्वजनिक डेटासेट से दुर्लभ नमूनों के उदाहरणों में एफएफएचक्यू में विभिन्न सहायक उपकरण वाले लोग, एएफएचक्यू में सफेद जानवर, और मेटफेस में असामान्य मूर्तियां शामिल हैं।

‘दुर्लभ नमूनों का उत्पादन करने की क्षमता महत्वपूर्ण है न केवल इसलिए कि यह उत्पन्न मॉडल की किनारे क्षमता से संबंधित है, बल्कि इसलिए भी कि अनोखापन रचनात्मक अनुप्रयोगों जैसे कि आभासी मानवों में एक महत्वपूर्ण भूमिका निभाता है।

‘हालांकि, हाल के अध्ययनों के गुणात्मक परिणामों में शायद ही कभी इन दुर्लभ उदाहरणों को शामिल किया जाता है। हमें लगता है कि प्रतिस्पर्धी सीखने की योजना की प्रकृति उत्पादित छवि वितरण को प्रशिक्षण डेटासेट के समान बनाती है। इसलिए, स्पष्ट व्यक्तित्व या दुर्लभता वाली छवियां केवल मॉडल द्वारा संश्लेषित छवियों का एक छोटा सा हिस्सा होती हैं।’

तकनीक

शोधकर्ताओं का नया दुर्लभता स्कोर पहले कार्यों में प्रस्तुत एक विचार को अपनाता है – छवि संश्लेषण प्रणाली में वास्तविक (प्रशिक्षण) और संश्लेषित (आउटपुट) डेटा की सरणियों का प्रतिनिधित्व करने के लिए के-निकटतम पड़ोसियों (केएनएन) का उपयोग करना।

इस नए विश्लेषण विधि के बारे में, लेखकों का दावा है:

‘हमें लगता है कि सामान्य नमूने एक दूसरे के करीब होंगे, जबकि अद्वितीय और दुर्लभ नमूने विशेषता स्थान में दुर्लभ रूप से स्थित होंगे।’

परिणाम छवि में सबसे छोटे से सबसे बड़े तक निकटतम पड़ोसी दूरी (एनएनडी) दिखाती है, एक स्टाइलजीएन आर्किटेक्चर में प्रशिक्षित जो एफएफएचक्यू पर है।

‘सभी डेटासेट के लिए, नमूने जिनमें सबसे छोटी एनएनडी होती है वे प्रतिनिधि और सामान्य छवियों को दिखाते हैं। इसके विपरीत, नमूने जिनमें सबसे बड़ी एनएनडी होती है उनमें मजबूत व्यक्तित्व होता है और वे सामान्य छवियों से काफी अलग होते हैं जिनमें सबसे छोटी एनएनडी होती है।’

सिद्धांत रूप में, इस नए मेट्रिक का उपयोग एक विभेदक के रूप में किया जा सकता है, या कम से कम एक अधिक जटिल विभेदक वास्तुकला में शामिल किया जा सकता है, एक उत्पन्न प्रणाली को शुद्ध अनुकरण से दूर ले जाने के लिए, एक अधिक आविष्कारशील एल्गोरिदम की ओर, जबकि सुसंगत अवधारणाओं की आवश्यक एकता को बनाए रखना जो प्रामाणिक छवि उत्पादन के लिए महत्वपूर्ण हो सकता है (अर्थात् ‘व्यक्ति’, ‘महिला’, ‘कार’, ‘गिरजाघर’, आदि)।

तुलना और प्रयोग

परीक्षण में, शोधकर्ताओं ने दुर्लभता स्कोर के प्रदर्शन की तुलना ट्रंकेशन ट्रिक और एनवीडिया के 2019 वास्तविकता स्कोर के खिलाफ की, और पाया कि विभिन्न फ्रेमवर्क और डेटासेट में, दृष्टिकोण ‘अद्वितीय’ परिणामों को अलग करने में सक्षम है।

हालांकि पत्र में दिखाए गए परिणाम यहां शामिल करने के लिए बहुत व्यापक हैं, शोधकर्ताओं ने प्रतीत होता है कि एक उत्पन्न प्रक्रिया में स्रोत (वास्तविक) और उत्पन्न (नकली) छवियों दोनों में दुर्लभता की पहचान करने की क्षमता का प्रदर्शन किया है: