मानव ध्यान का उपयोग करके AI द्वारा उत्पन्न छवियों में सुधार किया जा सकता है

चीन से नए शोध ने लेटेंट डिफ्यूजन मॉडल्स (एलडीएम) जैसे स्टेबल डिफ्यूजन मॉडल्स द्वारा उत्पन्न छवियों की गुणवत्ता में सुधार करने के लिए एक विधि का प्रस्ताव किया है।

यह विधि छवि के प्रमुख क्षेत्रों को अनुकूलित करने पर केंद्रित है – जो क्षेत्र मानव ध्यान को आकर्षित करने की सबसे अधिक संभावना है।

नई शोध ने पाया है कि सैलिएंसी मैप (बाएं से चौथा कॉलम) को एक फिल्टर या ‘मास्क’ के रूप में उपयोग किया जा सकता है, जो शोर हटाने की प्रक्रिया में ध्यान के केंद्र को छवि के उन क्षेत्रों की ओर निर्देशित करता है जिन पर मानव सबसे अधिक ध्यान देने की संभावना है। स्रोत: https://arxiv.org/pdf/2410.10257

पारंपरिक विधियां, पूरी छवि को समान रूप से अनुकूलित करती हैं, जबकि नई विधि एक सैलिएंसी डिटेक्टर का उपयोग करके अधिक ‘महत्वपूर्ण’ क्षेत्रों की पहचान और प्राथमिकता देती है, जैसा कि मानव करते हैं।

गुणात्मक और गुणात्मक परीक्षणों में, शोधकर्ताओं की विधि पूर्ववर्ती डिफ्यूजन-आधारित मॉडल्स को पार कर गई, दोनों छवि गुणवत्ता और पाठ प्रॉम्प्ट की विश्वसनीयता के संदर्भ में।

नई विधि ने 100 प्रतिभागियों के साथ एक मानव धारणा परीक्षण में भी सर्वश्रेष्ठ स्कोर किया।

प्राकृतिक चयन

सैलिएंसी, वास्तविक दुनिया और छवियों में जानकारी को प्राथमिकता देने की क्षमता, मानव दृष्टि का एक आवश्यक भाग है।

एक सरल उदाहरण यह है कि क्लासिकल कला में विस्तार से महत्वपूर्ण क्षेत्रों को बढ़ावा दिया जाता है, जैसे कि एक पोर्ट्रेट में चेहरा, या एक समुद्र-आधारित विषय में जहाज के मास्ट; ऐसे उदाहरणों में, कलाकार का ध्यान केंद्रीय विषय पर केंद्रित होता है, जिसका अर्थ है कि व्यापक विवरण जैसे पोर्ट्रेट की पृष्ठभूमि या तूफान की दूर की लहरें विस्तार से और अधिक व्यापक रूप से प्रस्तुत की जाती हैं और विस्तार से नहीं।

मानव अध्ययनों से प्रेरित, पिछले दशक में मशीन लर्निंग विधियों का विकास हुआ है जो किसी भी छवि में मानव रुचि के केंद्र को दोहरा सकते हैं या कम से कम अनुमानित कर सकते हैं।

वस्तु सेगमेंटेशन (सेमेंटिक सेगमेंटेशन) छवि के पहलुओं को व्यक्त करने और संबंधित सैलिएंसी मैप विकसित करने में मदद कर सकता है। स्रोत: https://arxiv.org/pdf/1312.6034

शोध साहित्य में, पिछले पांच वर्षों में सबसे लोकप्रिय सैलिएंसी मैप डिटेक्टर 2016 का ग्रेडिएंट-वेटेड क्लास एक्टिवेशन मैपिंग (ग्रेड-कैम) पहल है, जो बाद में सुधारित ग्रेड-कैम++ प्रणाली में विकसित हुई, साथ ही अन्य विविधताएं और सुधार।

ग्रेड-कैम एक सेमेंटिक टोकन (जैसे ‘कुत्ता’ या ‘बिल्ली’) के ग्रेडिएंट एक्टिवेशन का उपयोग करके एक दृश्य मानचित्र उत्पन्न करता है जहां अवधारणा या एनोटेशन को छवि में प्रतिनिधित्व करने की संभावना है।

मूल ग्रेड-कैम पेपर के उदाहरण। दूसरे कॉलम में, गाइडेड बैकप्रोपेगेशन सभी योगदानकर्ता विशेषताओं को व्यक्त करता है। तीसरे कॉलम में, ‘कुत्ता’ और ‘बिल्ली’ अवधारणाओं के लिए सेमेंटिक मानचित्र खींचे जाते हैं। चौथा कॉलम पिछले दो अनुमानों का संयोजन है। पांचवां, अनुमान से संबंधित ऑक्लूजन (मास्किंग) मानचित्र; और अंत में, छठे कॉलम में, ग्रेड-कैम एक रेसनेट-18 परत को दृश्य बनाता है। स्रोत: https://arxiv.org/pdf/1610.02391

मानव सर्वेक्षणों ने इन विधियों द्वारा प्राप्त परिणामों के बीच एक संबंध को प्रकट किया है, जो छवि में रुचि के केंद्र बिंदुओं की गणितीय पहचान के बीच एक संबंध है, और मानव ध्यान (जब छवि को स्कैन किया जाता है)।

एसजीओओएल

नई पेपर में यह देखा गया है कि सैलिएंसी टेक्स्ट-टू-इमेज (और संभावित रूप से टेक्स्ट-टू-वीडियो) सिस्टम जैसे स्टेबल डिफ्यूजन और फ्लक्स में क्या योगदान दे सकती है।

जब उपयोगकर्ता के टेक्स्ट-प्रॉम्प्ट की व्याख्या की जाती है, तो लेटेंट डिफ्यूजन मॉडल्स अपने प्रशिक्षित लेटेंट स्पेस में शिक्षित दृश्य अवधारणाओं की खोज करते हैं जो शब्दों या वाक्यांशों के साथ मेल खाते हैं जो उपयोगकर्ता द्वारा उपयोग किए जाते हैं। वे फिर इन पाए गए डेटा-पॉइंट्स को एक शोर हटाने की प्रक्रिया के माध्यम से पारित करते हैं, जहां यादृच्छिक शोर धीरे-धीरे उपयोगकर्ता के टेक्स्ट-प्रॉम्प्ट की रचनात्मक व्याख्या में विकसित होता है।

हालांकि, इस बिंदु पर, मॉडल प्रत्येक छवि के प्रत्येक भाग को समान ध्यान देता है। स्टेबल डिफ्यूजन मॉडल्स के 2022 में लोकप्रिय होने के बाद से, ओपनएआई के उपलब्ध डैल-ई छवि जनरेटर के साथ, और स्टेबिलिटी.एआई के स्टेबल डिफ्यूजन फ्रेमवर्क के ओपन-सोर्सिंग के बाद, उपयोगकर्ताओं ने पाया है कि छवि के ‘आवश्यक’ खंड अक्सर कमजोर होते हैं।

यह देखते हुए कि एक मानव के प्रत्येक चित्रण में, व्यक्ति का चेहरा (जो दर्शक के लिए अधिकतम महत्व का है) कुल छवि के 10-35% से अधिक क्षेत्र को नहीं घेरता है, यह लोकतांत्रिक ध्यान वितरण विधि मानव धारणा और कला और फोटोग्राफी के इतिहास के खिलाफ काम करती है।

जब जींस पर बटन मानव की आंखों को समान कम्प्यूटिंग भार प्राप्त करते हैं, तो संसाधनों का आवंटन असामान्य हो सकता है।

अतः, लेखकों द्वारा प्रस्तावित नई विधि, जिसे सैलिएंसी गाइडेड ऑप्टिमाइजेशन ऑफ डिफ्यूजन लेटेंट्स (एसजीओओएल) कहा जाता है, एक सैलिएंसी मैपर का उपयोग करके छवि के उपेक्षित क्षेत्रों पर ध्यान केंद्रित करने के लिए किया जाता है, जिसमें कम ध्यान देने वाले खंडों को कम संसाधन दिए जाते हैं।

विधि

एसजीओओएल पाइपलाइन में छवि पीढ़ी, सैलिएंसी मैपिंग और अनुकूलन शामिल हैं, जिसमें समग्र छवि और सैलिएंसी-रिफ़ाइंड छवि को संयुक्त रूप से संसाधित किया जाता है।

एसजीओओएल के लिए अवधारणात्मक योजना।

डिफ्यूजन मॉडल के लेटेंट एम्बेडिंग को सीधे फ़ाइन-ट्यूनिंग के साथ अनुकूलित किया जाता है, जिससे एक विशिष्ट मॉडल को प्रशिक्षित करने की आवश्यकता समाप्त हो जाती है। स्टैनफोर्ड विश्वविद्यालय की डेनोइसिंग डिफ्यूजन इम्प्लिसिट मॉडल (डीडीआईएम) नमूनाकरण विधि को स्टेबल डिफ्यूजन के उपयोगकर्ताओं के लिए परिचित बनाया जाता है, जिसे सैलिएंसी मानचित्रों द्वारा प्रदान की गई द्वितीयक जानकारी को शामिल करने के लिए अनुकूलित किया जाता है।

लेख में कहा गया है:

‘हम पहले एक सैलिएंसी डिटेक्टर का उपयोग करके मानव दृश्य ध्यान प्रणाली की नकल करते हैं और प्रमुख क्षेत्रों को चिह्नित करते हैं। एक अतिरिक्त मॉडल को प्रशिक्षित करने से बचने के लिए, हमारी विधि सीधे डिफ्यूजन लेटेंट्स को अनुकूलित करती है।

‘इसके अलावा, एसजीओओएल एक इनवर्टिबल डिफ्यूजन प्रक्रिया का उपयोग करता है और इसे स्थिर मेमोरी कार्यान्वयन के गुणों से लैस करता है। इसलिए, हमारी विधि एक पैरामीटर-कुशल और प्लग-एंड-प्ले फ़ाइन-ट्यूनिंग विधि बन जाती है। व्यापक प्रयोग किए गए हैं और कई मीट्रिक और मानव मूल्यांकन के साथ।’

चूंकि इस विधि में शोर हटाने की प्रक्रिया की कई पुनरावृत्तियों की आवश्यकता होती है, लेखकों ने डायरेक्ट ऑप्टिमाइजेशन ऑफ डिफ्यूजन लेटेंट्स (डीओओडीएल) फ्रेमवर्क को अपनाया, जो एक इनवर्टिबल डिफ्यूजन प्रक्रिया प्रदान करता है – हालांकि यह अभी भी पूरी छवि पर ध्यान केंद्रित करता है।

मानव रुचि के क्षेत्रों को परिभाषित करने के लिए, शोधकर्ताओं ने 2022 के ट्रांसएलनेट फ्रेमवर्क का उपयोग किया।

2022 के ट्रांसएलनेट परियोजना से सैलिएंसी का पता लगाने के उदाहरण। स्रोत: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

ट्रांसएलनेट द्वारा संसाधित सैलिएंट क्षेत्रों को निश्चित सैलिएंसी अनुभागों को उत्पन्न करने के लिए फसल दी गई जो वास्तविक लोगों के लिए सबसे अधिक रुचिकर होने की संभावना है।

प्रक्रिया के काम करने की जांच करने के लिए, उपयोगकर्ता पाठ और छवि के बीच अंतर को ध्यान में रखना होगा, एक हानि फ़ंक्शन को परिभाषित करने के लिए जो यह निर्धारित कर सकता है। इसके लिए, ओपनएआई के कंट्रास्टिव लैंग्वेज-इमेज प्री-ट्रेनिंग (सीएलआईपी) का एक संस्करण – अब छवि सिंथेसिस अनुसंधान क्षेत्र में एक मुख्यधारा – का उपयोग किया गया था, साथ ही उपयोगकर्ता पाठ प्रॉम्प्ट और ग्लोबल (गैर-सैलिएंसी) छवि आउटपुट के बीच सेमेंटिक दूरी का अनुमान लगाया गया था।

लेखकों का दावा है:

‘[अंतिम हानि फ़ंक्शन] सैलिएंसी भागों और समग्र छवि के बीच संबंधों को एक ही समय में देखता है, जो जनरेशन प्रक्रिया में स्थानीय विवरण और वैश्विक संगतता के बीच संतुलन बनाने में मदद करता है।

‘इस सैलिएंसी-जागरूक हानि का उपयोग छवि लेटेंट को अनुकूलित करने के लिए किया जाता है। ग्रेडिएंट्स को शोर वाले [लेटेंट] पर गणना की जाती है और सैलिएंट और ग्लोबल दोनों पहलुओं पर इनपुट प्रॉम्प्ट के कंडीशनिंग प्रभाव को बढ़ाने के लिए उपयोग किया जाता है।’

डेटा और परीक्षण

एसजीओओएल का परीक्षण करने के लिए, लेखकों ने स्टेबल डिफ्यूजन वी1.4 (परीक्षण परिणामों में ‘एसडी’ के रूप में संकेत दिया गया) और सीएलआईपी मार्गदर्शन के साथ स्टेबल डिफ्यूजन (परिणामों में ‘बेसलाइन’ के रूप में संकेत दिया गया) का उपयोग किया।

सिस्टम का मूल्यांकन तीन सार्वजनिक डेटासेट पर किया गया था: कॉमन सिंटैक्टिक प्रोसेस (सीएसपी), ड्रॉबेंच, और डेलीडेल*।

बाद में 99 विस्तृत प्रॉम्प्ट्स शामिल हैं जो ओपनएआई के ब्लॉग पोस्ट में एक कलाकार द्वारा हस्ताक्षरित हैं, जबकि ड्रॉबेंच में 11 श्रेणियों में 200 प्रॉम्प्ट्स प्रदान करता है। सीएसपी आठ विविध व्याकरणिक मामलों पर आधारित 52 प्रॉम्प्ट्स से बना है।

एसडी, बेसलाइन और एसजीओओएल के लिए, परीक्षणों में, सीएलआईपी मॉडल का उपयोग वीआईटी/बी-32 के बजाय छवि और पाठ एम्बेडिंग उत्पन्न करने के लिए किया गया था। समान प्रॉम्प्ट और यादृच्छिक बीज का उपयोग किया गया था। आउटपुट आकार 256×256 था, और ट्रांसएलनेट के डिफ़ॉल्ट वजन और सेटिंग्स का उपयोग किया गया था।

सीएलआईपी स्कोर मीट्रिक के अलावा, एक अनुमानित मानव प्राथमिकता स्कोर (एचपीएस) का उपयोग किया गया था, साथ ही 100 प्रतिभागियों के साथ एक वास्तविक दुनिया का अध्ययन किया गया था।

एसजीओओएल की तुलना में पिछले कॉन्फ़िगरेशन के लिए मात्रात्मक परिणाम।

उपरोक्त तालिका में दिखाए गए मात्रात्मक परिणामों के संबंध में, लेख में कहा गया है:

‘[हमारा] मॉडल सभी डेटासेट पर सीडी और बेसलाइन को सीएलआईपी स्कोर और एचपीएस मीट्रिक दोनों पर काफी बेहतर प्रदर्शन करता है। हमारे मॉडल के सीएलआईपी स्कोर और एचपीएस के औसत परिणाम क्रमशः 3.05 और 0.0029 दूसरे स्थान से अधिक हैं।’

लेखकों ने पिछले दृष्टिकोणों के संबंध में एचपीएस और सीएलआईपी स्कोर के बॉक्स प्लॉट का अनुमान लगाया:

परीक्षणों में प्राप्त एचपीएस और सीएलआईपी स्कोर के लिए बॉक्स प्लॉट।

वे टिप्पणी करते हैं:

‘यह देखा जा सकता है कि हमारा मॉडल अन्य मॉडलों से बेहतर प्रदर्शन करता है, जो दर्शाता है कि हमारा मॉडल प्रॉम्प्ट के साथ संगत छवियों को उत्पन्न करने में अधिक सक्षम है।

‘हालांकि, बॉक्स प्लॉट में, मीट्रिक के आकार के कारण [0, 1] पर मूल्यांकन मीट्रिक की तुलना करना आसान नहीं है। इसलिए, हम संबंधित बार प्लॉट को प्लॉट करने के लिए आगे बढ़ते हैं।

‘यह देखा जा सकता है कि एसजीओओएल सीएलआईपी स्कोर और एचपीएस मीट्रिक दोनों पर सभी डेटासेट पर एसडी और बेसलाइन से बेहतर प्रदर्शन करता है। मात्रात्मक परिणाम दर्शाते हैं कि हमारा मॉडल अधिक सेमेंटिक रूप से संगत और मानव-प्राथमिकता वाली छवियों को उत्पन्न कर सकता है।’

शोधकर्ता यह भी बताते हैं कि बेसलाइन मॉडल छवि आउटपुट की गुणवत्ता में सुधार करने में सक्षम है, लेकिन यह छवि के सैलिएंट क्षेत्रों पर विचार नहीं करता है। वे तर्क देते हैं कि एसजीओओएल, वैश्विक और सैलिएंट छवि मूल्यांकन के बीच एक समझौता हासिल करके, बेहतर छवियां प्राप्त करता है।

गुणात्मक (स्वचालित) तुलना में, एसजीओओएल और डीओओडीएल के लिए अनुकूलन की संख्या 50 तक सेट की गई थी।

परीक्षणों के लिए गुणात्मक परिणाम। स्रोत पेपर में बेहतर परिभाषा के लिए कृपया संदर्भ लें।

यहां लेखकों का अवलोकन है:

‘[पहली पंक्ति में], प्रॉम्प्ट के विषय हैं “एक बिल्ली गा रही है” और “एक बार्बरशॉप क्वार्टेट”। एसडी द्वारा उत्पन्न छवि में चार बिल्लियां हैं, और छवि की सामग्री प्रॉम्प्ट के साथ खराब रूप से संरेखित है।

‘बेसलाइन द्वारा उत्पन्न छवि में बिल्ली की उपेक्षा की जाती है, और छवि में चेहरे और विवरणों के चित्रण में विवरण की कमी है। डीओओडीएल प्रॉम्प्ट के साथ संगत एक छवि उत्पन्न करने का प्रयास करता है।

‘हालांकि, चूंकि डीओओडीएल सीधे वैश्विक छवि को अनुकूलित करता है, छवि में व्यक्ति बिल्ली की ओर अनुकूलित होते हैं।’

वे आगे बताते हैं कि एसजीओओएल, इसके विपरीत, प्रॉम्प्ट के साथ अधिक संगत छवियां उत्पन्न करता है।

मानव धारणा परीक्षण में, 100 स्वयंसेवकों ने परीक्षण छवियों की गुणवत्ता और सेमेंटिक संगति (अर्थात, कितनी करीबी से वे अपने स्रोत पाठ-प्रॉम्प्ट से मेल खाते हैं) के लिए मूल्यांकन किया। प्रतिभागियों के पास अपनी पसंद करने के लिए असीमित समय था।

मानव धारणा परीक्षण के परिणाम।

जैसा कि लेख में बताया गया है, लेखकों की विधि पूर्ववर्ती दृष्टिकोणों पर उल्लेखनीय रूप से पसंद की जाती है।

निष्कर्ष

स्टेबल डिफ्यूजन की स्थानीय स्थापनाओं में इस पत्र में संबोधित कमियां स्पष्ट होने के तुरंत बाद, विभिन्न विशेष विधियां (जैसे आफ्टर डिटेलर) उभरीं जो प्रणाली को उन क्षेत्रों पर अतिरिक्त ध्यान देने के लिए मजबूर करती हैं जो मानव हित में अधिक हैं।

हालांकि, इस तरह के दृष्टिकोण के लिए आवश्यक है कि डिफ्यूजन प्रणाली पहले अपनी सामान्य प्रक्रिया से गुजरे, जिसमें प्रत्येक छवि के प्रत्येक भाग पर समान ध्यान दिया जाता है, और बढ़े हुए काम को एक अतिरिक्त चरण के रूप में किया जाता है।

एसजीओओएल से साक्ष्य सुझाव देते हैं कि छवि अनुभागों को प्राथमिकता देने में मूलभूत मानव मनोविज्ञान को लागू करने से प्रारंभिक अनुमान में काफी सुधार हो सकता है, बिना पोस्ट-प्रोसेसिंग चरणों के।

* लेख उसी लिंक को सामान्य सिंटैक्टिक प्रोसेस के लिए प्रदान करता है।

पहली बार बुधवार, 16 अक्टूबर, 2024 को प्रकाशित।