डीएलएल-ई 2 जैसे शुद्ध छवि संश्लेषण फ्रेमवर्क के लिए एक पता लगाने वाली प्रणाली

कैलिफोर्निया विश्वविद्यालय, बर्कले से नए शोध में एक ऐसी विधि की पेशकश की गई है जो निर्धारित करती है कि नए पीढ़ी के छवि संश्लेषण फ्रेमवर्क – जैसे ओपन एआई के डीएलएल-ई 2, और गूगल के इमेजन और पार्टी – के आउटपुट को ‘गैर-वास्तविक’ के रूप में पता लगाया जा सकता है, जो छवियों में दिखाई देने वाली ज्यामिति, छाया और परावर्तन का अध्ययन करके।

डीएलएल-ई 2 में टेक्स्ट प्रॉम्प्ट से उत्पन्न छवियों का अध्ययन करते हुए, शोधकर्ताओं ने पाया है कि वास्तुकला द्वारा उत्पन्न छवियों की प्रभावशाली वास्तविकता के बावजूद, कुछ स्थायी असंगतियां होती हैं जो वैश्विक परिप्रेक्ष्य, छाया और परावर्तन के निर्माण से संबंधित होती हैं।

लेख में कहा गया है:

‘[ज्यामितीय] संरचनाएं, छाया और परावर्तित सतहों में परावर्तन प्राकृतिक दृश्यों की अपेक्षित परिप्रेक्ष्य ज्यामिति के साथ पूरी तरह से संगत नहीं हैं। ज्यामितीय संरचनाएं और छाया सामान्य रूप से स्थानीय रूप से संगत हैं, लेकिन वैश्विक रूप से असंगत हैं। ‘

‘दूसरी ओर, परावर्तन अक्सर अविश्वसनीय रूप से प्रस्तुत किए जाते हैं, संभवतः因为 वे प्रशिक्षण छवि डेटा सेट में कम आम हैं।’

एक डीएलएल-ई 2 छवि को पता लगाने के लिए एक विश्वसनीय तरीका है कि इसके परावर्तित वस्तु और परावर्तन के बीच संगत अंतराल नहीं है। स्रोत: https://arxiv.org/pdf/2206.14617.pdf

लेख एक नए शोध क्षेत्र की शुरुआत का प्रतिनिधित्व करता है – छवि संश्लेषण पता लगाना।

2017 में डीपफेक्स के आगमन के बाद से, डीपफेक पता लगाने (मुख्य रूप से ऑटोएनकोडर आउटपुट से पैकेज जैसे डीपफेसलाइव और फेसस्वैप) एक सक्रिय और प्रतिस्पर्धी अकादमिक क्षेत्र बन गया है, जिसमें विभिन्न पत्र और विधियां विकसित हो रही हैं जो वास्तविक वीडियो फुटेज में संश्लेषित चेहरों के ‘तells’ को लक्षित करती हैं।

हालांकि, हाइपरस्केल-ट्रेन्ड इमेज जेनरेशन सिस्टम के बहुत ही हालिया उद्भव तक, टेक्स्ट-प्रॉम्प्ट सिस्टम जैसे सीएलआईपी के आउटपुट ने ‘फोटोरियलिटी’ की स्थिति के लिए कोई खतरा नहीं उत्पन्न किया। लेखक मानते हैं कि यह बदलने वाला है, और यहां तक कि डीएलएल-ई 2 आउटपुट में जो असंगतियां वे खोजते हैं, वे आउटपुट छवियों की धोखाधड़ी करने वाली क्षमता के लिए बहुत बड़ा अंतर नहीं करेंगी।

लेखक कहते हैं:

‘[ऐसी] विफलताएं मानव दृश्य प्रणाली के लिए बहुत मायने नहीं रख सकती हैं, जो कुछ ज्यामितीय निर्णयों में आश्चर्यजनक रूप से अक्षम पाई गई है, जिनमें प्रकाश, छाया, परावर्तन, दृश्य स्थिति, और परिप्रेक्ष्य विकृति शामिल हैं। ‘

वैनिशिंग क्रेडिबिलिटी

लेखकों की डीएलएल-ई 2 आउटपुट की पहली फोरेंसिक जांच परिप्रेक्ष्य प्रोजेक्शन से संबंधित है – निकटवर्ती वस्तुओं और बनावटों में सीधी धारियों की स्थिति का तरीका जो एक ‘वैनिशिंग पॉइंट’ में समान रूप से हल होता है।

बाएं, एक ही समतल पर समानांतर रेखाएं एक सामान्य वैनिशिंग पॉइंट पर हल होती हैं; दाएं, एक ही और समानांतर समतलों पर कई वैनिशिंग पॉइंट एक वैनिशिंग लाइन (लाल रंग में चित्रित) को परिभाषित करते हैं।

इस संबंध में डीएलएल-ई 2 की संगतता का परीक्षण करने के लिए, लेखकों ने डीएलएल-ई 2 का उपयोग 25 संश्लेषित छवियों को उत्पन्न करने के लिए किया – रसोई – एक परिचित स्थान जो आमतौर पर एक ही विमान पर वस्तुओं और बनावटों के लिए कई संभावित वैनिशिंग पॉइंट प्रदान करता है।

लेखकों ने पाया कि प्रत्येक मामले में एक सामान्य रूप से आश्वस्त प्रतिनिधित्व के बावजूद, वस्तुएं कभी भी सही ढंग से अभिसरण नहीं करती हैं।

लेखकों ने नोट किया कि जबकि प्रत्येक समानांतर रेखा का सेट टाइल पैटर्न से संगत है और एक ही वैनिशिंग पॉइंट पर अभिसरण करता है (नीचे दी गई छवि में नीला), काउंटर-टॉप (सायन) का वैनिशिंग पॉइंट वैनिशिंग लाइन (लाल) और टाइल्स से व्युत्पन्न वैनिशिंग पॉइंट से असहमत है।

लेखकों का कहना है कि यदि काउंटर-टॉप टाइल्स के समानांतर नहीं था, तो सायन वैनिशिंग पॉइंट को टाइल्स के वैनिशिंग पॉइंट द्वारा परिभाषित (लाल) वैनिशिंग लाइन पर हल होना चाहिए।

लेख में कहा गया है:

‘इन छवियों में परिप्रेक्ष्य – आश्चर्यजनक रूप से – स्थानीय रूप से संगत है, लेकिन वैश्विक रूप से संगत नहीं है। यही पैटर्न 25 संश्लेषित रसोई छवियों में पाया गया। ‘

शैडो फोरेंसिक्स

जैसा कि किसी भी व्यक्ति को रे ट्रेसिंग से पता है, छाया में भी वैनिशिंग पॉइंट हो सकते हैं, जो एकल या बहु-स्रोत प्रकाश को इंगित करते हैं। बाहरी छाया के लिए, एक को उम्मीद करेगा कि छाया एक ही प्रकाश स्रोत (सूरज) के लिए एक ही छवि के सभी पहलुओं पर संगत रूप से हल होगी।

पिछले प्रयोग की तरह, शोधकर्ताओं ने 25 डीएलएल-ई 2 छवियां बनाईं, जिनमें प्रॉम्प्ट ‘एक धूप वाले दिन सड़क पर तीन घन‘ के साथ, साथ ही 25 और प्रॉम्प्ट ‘एक बादल वाले दिन सड़क पर तीन घन‘ के साथ।

शीर्ष पंक्ति में, शोधकर्ताओं के प्रॉम्प्ट ‘एक बादल वाले दिन सड़क पर तीन घन’ से बनाई गई छवियां; निचली पंक्ति में, प्रॉम्प्ट ‘एक धूप वाले दिन सड़क पर तीन घन’ से बनाई गई छवियां।

शोधकर्ताओं ने नोट किया कि जब वे बादल वाली स्थितियों का प्रतिनिधित्व कर रहे थे, तो डीएलएल-ई 2 ने संबंधित छाया को एक आश्वस्त और संभावित तरीके से प्रस्तुत किया, शायद इसलिए कि इस प्रकार की छाया प्रशिक्षण छवि डेटा सेट में अधिक प्रचलित है।

हालांकि, कुछ ‘सूरज वाली’ तस्वीरें, लेखकों ने पाया, एक एकल प्रकाश स्रोत द्वारा रोशन की गई दृश्य के साथ असंगत थीं।

उपरोक्त छवि के लिए, पीढ़े को स्पष्टता के लिए ग्रेस्केल में परिवर्तित किया गया है, और प्रत्येक वस्तु को अपना खुद का ‘सूरज’ दिखाया गया है।

हालांकि औसत दर्शक ऐसी असंगतियों को नहीं देख पाएंगे, कुछ उत्पन्न छवियों में ‘छाया विफलता’ के अधिक स्पष्ट उदाहरण थे:

डीएलएल-ई 2 में परावर्तन

फोरेंसिक विश्लेषण में सबसे हानिकारक परिणाम तब मिले जब लेखकों ने डीएलएल-ई 2 की उच्च परावर्तित सतहों को बनाने की क्षमता का परीक्षण किया, जो सीजीआई रे ट्रेसिंग और अन्य पारंपरिक रेंडरिंग एल्गोरिदम में भी एक बोझिल गणना है।

इस प्रयोग के लिए, लेखकों ने 25 डीएलएल-ई 2 छवियां बनाईं, जिनमें प्रॉम्प्ट ‘एक वैनिटी मिरर में एक खिलौना डायनासोर और इसका परावर्तन’ शामिल था।

सभी मामलों में, लेखकों ने बताया कि दर्पण में परावर्तित खिलौना डायनासोर का परावर्तन वास्तविक डायनासोर के पहलू और वितरण से कुछ तरह से断 था। लेखकों का कहना है कि समस्या प्रॉम्प्ट में भिन्नताओं के प्रतिरोधी थी और यह प्रणाली में एक मूलभूत कमजोरी प्रतीत होती है।

त्रुटियों में एक तर्क है – शीर्ष पंक्ति में पहला और तीसरा उदाहरण एक डायनासोर को दिखाता है जो दोहराया गया है, लेकिन परावर्तित नहीं है।

लेखकों का कहना है:

‘ज्यामितीय संरचनाओं और छाया के विपरीत, डीएलएल-ई 2 विश्वसनीय परावर्तन संश्लेषित करने में संघर्ष करता है, संभवतः इसलिए कि ऐसे परावर्तन इसके प्रशिक्षण छवि डेटा सेट में कम आम हैं। ‘

इन ग्लिचों को भविष्य के टेक्स्ट-टू-इमेज मॉडल में समाप्त किया जा सकता है जो अपने आउटपुट के समग्र सेमेंटिक तर्क की अधिक प्रभावी ढंग से समीक्षा करने में सक्षम होंगे और जो दृश्यों पर स abstract भौतिक नियमों को लागू करेंगे जो कुछ हद तक प्रणाली के लेटेंट स्पेस में शब्द-संबंधी विशेषताओं से असेंबल किए गए हैं।

विशाल संश्लेषण वास्तुकला की बढ़ती प्रवृत्ति के प्रकाश में, लेखकों का निष्कर्ष है:

‘यह केवल समय की बात है कि पेंट-बाय-टेक्स्ट संश्लेषण इंजन पूर्ण परिप्रेक्ष्य संगतता के साथ छवियों को प्रस्तुत करना सीखेंगे। तब तक, हालांकि, ज्यामितीय फोरेंसिक विश्लेषण इन छवियों का विश्लेषण करने में उपयोगी साबित हो सकते हैं। ‘

* मेरा लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में परिवर्तित करना।

30 जून 2022 को पहली बार प्रकाशित।