डीएलएल-ई 2 का दोहरे अर्थों का अनोखा समाधान

जिस किसी ने भी इतालवी सीखी है, वह जल्दी से ही सीख लेता है कि जब वह एक ब्रूम का वर्णन कर रहा है, तो उसे संदर्भ पर ध्यान देना चाहिए, क्योंकि इतालवी शब्द इस साधारण घरेलू वस्तु के लिए एक अत्यधिक अश्लील दूसरा अर्थ है जैसा कि क्रिया के रूप में*। हालांकि हम जल्दी से ही सीखते हैं कि शब्दों के अर्थों को कैसे अलग किया जाए और उनकी उपयुक्तता को समझें, यह एक ऐसा कौशल नहीं है जिसे आसानी से हाइपरस्केल इमेज सिंथेसिस सिस्टम जैसे कि डीएलएल-ई 2 और स्टेबल डिफ्यूजन में स्थानांतरित किया जा सकता है, क्योंकि वे ओपनएआई के कंट्रास्टिव लैंग्वेज-इमेज प्री-ट्रेनिंग (सीएलआईपी) मॉड्यूल पर निर्भर करते हैं, जो वस्तुओं और उनके गुणों को अधिक ढीले से मानता है (हालांकि यह लेटेंट डिफ्यूजन इमेज और वीडियो सिंथेसिस स्पेस में धीरे-धीरे अधिक जमीन हासिल कर रहा है)।

इस कमी का अध्ययन करते हुए, बार-इलान विश्वविद्यालय और एलन इंस्टीट्यूट फॉर आर्टिफिशियल इंटेलिजेंस से एक नई शोध सहयोग डीएलएल-ई 2 की इस प्रवृत्ति की जांच करने के लिए एक व्यापक अध्ययन प्रदान करता है कि यह दोहरे अर्थों वाले शब्दों और वाक्यांशों के प्रति कितना झुका हुआ है:

डीएलएल-ई 2 में दोहरे अर्थों को कई व्याख्याओं में विभाजित किया गया है – हालांकि कोई भी लेटेंट डिफ्यूजन सिस्टम ऐसे उदाहरण पैदा कर सकता है। ऊपरी दाएं छवि में, ‘गोल्ड’ को प्रॉम्प्ट से हटाने से मछली की प्रजाति बदल जाती है, जबकि ‘ज़ेब्रा क्रॉसिंग’ के मामले में, यह आवश्यक है कि सड़क की सतह को स्पष्ट रूप से बताया जाए ताकि दोहरी संबंध को हटाया जा सके। स्रोत: https://export.arxiv.org/pdf/2210.10606

लेखकों ने पाया है कि यह शब्दों और वाक्यांशों को दोहरा अर्थ देने की प्रवृत्ति न केवल सभी सीएलआईपी-निर्देशित डिफ्यूजन मॉडलों में सामान्य है, बल्कि यह मॉडलों को अधिक और अधिक डेटा पर प्रशिक्षित किए जाने के साथ और भी बदतर हो जाता है। पेपर में कहा गया है कि ‘कम’ संस्करणों के पाठ-टू-इमेज मॉडल, जिनमें डीएलएल-ई मिनी (अब क्रायोन) शामिल हैं, इन प्रकार की त्रुटियों को बहुत कम बार उत्पन्न करते हैं, और स्टेबल डिफ्यूजन भी कम त्रुटियां करता है – हालांकि केवल इसलिए कि यह अक्सर प्रॉम्प्ट का पालन नहीं करता है, जो एक और प्रकार की त्रुटि है।

साधारण प्रॉम्प्ट ‘डेट’ डीएलएल-ई 2 को शब्द के कई अर्थों में से दो को लागू करने के लिए मजबूर करता है, जबकि ‘फैन’ शब्द भी अपने दो अर्थों में विभाजित हो जाता है, और तीसरी छवि में, ‘कोन’ शब्द अन्यथा निर्दिष्ट खाद्य पदार्थ को स्वचालित रूप से आइस क्रीम में बदल देता है, जो ‘कोन’ से जुड़ा हुआ है।

कैसे हम कुशल शब्दार्थ अलगाव करते हैं, इसकी व्याख्या करते हुए, पेपर में कहा गया है:

‘जबकि प्रतीक और वाक्य संरचनाएं अस्पष्ट हो सकती हैं, एक व्याख्या निर्मित होने के बाद यह अस्पष्टता पहले ही हल हो जाती है। उदाहरण के लिए, जबकि एक उड़ते हुए चमगादड़ में चमगादड़ प्रतीक को या तो एक लकड़ी की छड़ी या एक जानवर के रूप में व्याख्या किया जा सकता है, हमारी संभावित व्याख्याएं या तो एक उड़ती हुई लकड़ी की छड़ी या एक उड़ते हुए जानवर की होती हैं, लेकिन एक ही समय में दोनों नहीं। एक बार जब शब्द का उपयोग एक व्याख्या में एक वस्तु (जैसे कि एक लकड़ी की छड़ी) को दर्शाने के लिए किया जाता है, तो यह एक ही व्याख्या में एक और वस्तु (एक जानवर) को दर्शाने के लिए पुन: उपयोग नहीं किया जा सकता है।’

डीएलएल-ई 2, पेपर में देखा गया है, इस तरह से सीमित नहीं है:

‘एक चमगादड़ एक बेसबॉल स्टेडियम के ऊपर उड़ रहा है’ – पहली छवि पेपर से है, अन्य तीन डीएलएल-ई 2 में समान प्रॉम्प्ट डालने से प्राप्त होते हैं।

इस गुण को नाम दिया गया है संसाधन संवेदनशीलता.

पेपर में डीएलएल-ई 2 द्वारा प्रदर्शित तीन विचलित व्यवहारों की पहचान की गई है: एक शब्द या वाक्यांश को व्याख्या किया जा सकता है और प्रभावी रूप से दो अलग-अलग इकाइयों में विभाजित किया जा सकता है, जिससे एक ही दृश्य में एक वस्तु या अवधारणा को प्रस्तुत किया जा सकता है; एक शब्द को दो अलग-अलग इकाइयों के संशोधक के रूप में व्याख्या किया जा सकता है (ऊपर दिए गए उदाहरणों को देखें); और एक शब्द को एक संशोधक और एक वैकल्पिक इकाई के रूप में एक ही समय में व्याख्या किया जा सकता है – जैसा कि प्रॉम्प्ट ‘एक सील एक पत्र खोल रहा है’ में देखा गया है:

‘एक सील एक पत्र खोल रहा है’ – पहली छवि पेपर से है, साथ में तीन, डीएलएल-ई 2 से समान प्रॉम्प्ट के साथ। नीचे की फोटोरियल छवियों में अतिरिक्त पाठ ‘फोटो, कैनन50, 85मिमी, एफ5.6, पुरस्कार विजेता फोटो’ था।

लेखकों ने इस संबंध में डिफ्यूजन मॉडलों के लिए दो विफलता मोड की पहचान की है: उपयोगकर्ता प्रॉम्प्ट के परिणामों में से एक शब्द के साथ दोहरे अर्थ वाले शब्द अक्सर संकलित शब्द के साथ कुछ अवधारणा को प्रदर्शित करेंगे; और अवधारणा रिसाव, जहां एक वस्तु के गुण दूसरी वस्तु में प्रस्तुत हो जाते हैं।

‘एकत्रित रूप से, हमारे द्वारा जांचे गए घटनाएं डीएलएल-ई-2 की भाषाई क्षमता में सीमाओं के लिए साक्ष्य प्रदान करती हैं और यह दर्शाती हैं कि वे मुद्दों से उत्पन्न होती हैं जो पाठ के एन्कोडिंग, उत्पादक मॉडल, या दोनों से संबंधित हैं। अधिक व्यापक रूप से, प्रस्तावित दृष्टिकोण को अन्य परिदृश्यों में विस्तारित किया जा सकता है जहां डिकोडिंग प्रक्रिया का उपयोग पाठ-टू-इमेज मॉडल के अंतर्निहित पूर्वाग्रह और कमियों को उजागर करने के लिए किया जाता है।’

17 शब्दों का उपयोग करके जो डीएलएल-ई 2 को इनपुट को कई आउटपुट में विभाजित करने के लिए मजबूर करेगा, लेखकों ने देखा कि होमोनिम डुप्लिकेशन 216 छवियों में से 80% से अधिक में हुआ।

शोधकर्ताओं ने इन दोहरावों को रोकने के लिए विशिष्ट और तर्कसंगत रूप से अधिक विशिष्ट भाषा की आवश्यकता की जांच के लिए प्रेरित-नियंत्रण जोड़े का उपयोग किया। इकाई-से-गुण परीक्षण के लिए, 10 जोड़े बनाए गए थे, और लेखकों ने उल्लेख किया कि प्रेरित प्रॉम्प्ट 92.5% मामलों में साझा गुण को उत्तेजित करते हैं, जबकि नियंत्रण प्रॉम्प्ट केवल 6.6% मामलों में ही ऐसा करता है।

‘प्रदर्शन करने के लिए, एक ज़ेब्रा और एक सड़क पर विचार करें, यहां ज़ेब्रा एक इकाई है, लेकिन यह सड़क को संशोधित करता है, और डीएलएल-ई 2 स्थिर डिफ्यूजन से ज़ेब्रा-पट्टियों के साथ एक क्रॉसवॉक की तरह दिखता है, संभवतः क्रॉसवॉक के साथ। और हमारे अनुमान के अनुसार, नियंत्रण एक ज़ेब्रा और एक कंक्रीट सड़क एक प्रकार की सड़क को निर्दिष्ट करता है जिसमें आमतौर पर क्रॉसवॉक नहीं होते हैं, और वास्तव में, हमारे नियंत्रण नमूनों में से कोई भी इस प्रॉम्प्ट के लिए क्रॉसवॉक नहीं है।’