क्या DALL-E 2 अपने रिश्तों को समझे बिना सिर्फ 'चीजों को एक साथ जोड़ना' है?

हार्वर्ड यूनिवर्सिटी के एक नए शोध पत्र से पता चलता है कि OpenAI के हेडलाइन-ग्रैबिंग टेक्स्ट-टू-इमेज फ्रेमवर्क DALL-E 2 में उन तत्वों के बीच शिशु-स्तर के संबंधों को पुन: पेश करने में उल्लेखनीय कठिनाई है, जिन्हें यह संश्लेषित तस्वीरों में बनाता है, बहुत से चकाचौंध परिष्कार के बावजूद इसका आउटपुट.

शोधकर्ताओं ने 169 क्राउडसोर्स्ड प्रतिभागियों को शामिल करते हुए एक उपयोगकर्ता अध्ययन किया, जिन्हें संबंध शब्दार्थ के सबसे बुनियादी मानवीय सिद्धांतों के आधार पर DALL-E 2 छवियों के साथ-साथ उन्हें बनाए गए टेक्स्ट-संकेतों के साथ प्रस्तुत किया गया था। जब पूछा गया कि क्या संकेत और छवियां संबंधित थीं, तो 22% से भी कम छवियों को उनके संबंधित संकेतों के लिए प्रासंगिक माना गया था, बहुत ही सरल संबंधों के संदर्भ में जिन्हें DALL-E 2 को कल्पना करने के लिए कहा गया था।

नए पेपर के लिए किए गए परीक्षणों का एक स्क्रीन-ग्रैब। प्रतिभागियों को संकेत से मेल खाने वाली सभी छवियों का चयन करने का काम सौंपा गया था। इंटरफ़ेस के निचले भाग में अस्वीकरण के बावजूद, सभी मामलों में, प्रतिभागियों को अनभिज्ञ छवियां, वास्तव में प्रदर्शित संबंधित प्रॉम्प्ट से उत्पन्न हुई थीं। स्रोत: https://arxiv.org/pdf/2208.00005.pdf

परिणाम यह भी सुझाव देते हैं कि DALL-E की अलग-अलग तत्वों को जोड़ने की स्पष्ट क्षमता कम हो सकती है क्योंकि उन तत्वों के वास्तविक दुनिया के प्रशिक्षण डेटा में होने की संभावना कम हो जाती है जो सिस्टम को शक्ति प्रदान करते हैं।

उदाहरण के लिए, 'बच्चे द्वारा कटोरे को छूते हुए' प्रॉम्प्ट की छवियों ने 87% सहमति दर प्राप्त की (यानी प्रतिभागियों ने प्रॉम्प्ट के लिए प्रासंगिक होने के कारण अधिकांश छवियों पर क्लिक किया), जबकि इसी तरह 'एक बंदर एक इगुआना को छू रहा है' के फोटोरिअलिस्टिक रेंडर ने हासिल किया। केवल 11% सहमति:

DALL-E को 'बंदर द्वारा इगुआना को छूने' की अप्रत्याशित घटना को चित्रित करने के लिए संघर्ष करना पड़ता है, संभवतः क्योंकि यह प्रशिक्षण सेट में असामान्य है, अधिक संभावना है कि अस्तित्वहीन है।

दूसरे उदाहरण में, DALL-E 2 का पैमाना और यहाँ तक कि प्रजाति भी अक्सर गलत हो जाती है, संभवतः इस घटना को दर्शाने वाली वास्तविक दुनिया की छवियों की कमी के कारण। इसके विपरीत, बच्चों और भोजन से संबंधित प्रशिक्षण फ़ोटो की अधिक संख्या की अपेक्षा करना उचित है, और यह उप-डोमेन/वर्ग अच्छी तरह से विकसित है।

बेतहाशा विरोधाभासी छवि तत्वों की तुलना करने में DALL-E की कठिनाई से पता चलता है कि जनता वर्तमान में सिस्टम की फोटोरिअलिस्टिक और व्यापक रूप से व्याख्यात्मक क्षमताओं से इतनी चकाचौंध है कि उसने उन मामलों के लिए आलोचनात्मक नजर विकसित नहीं की है जहां सिस्टम ने प्रभावी ढंग से एक तत्व को दूसरे से चिपका दिया है। , जैसा कि आधिकारिक DALL-E 2 साइट से इन उदाहरणों में है:

DALL-E 2 के आधिकारिक उदाहरणों से कट-एंड-पेस्ट संश्लेषण। स्रोत: https://openai.com/dall-e-2/

नया पेपर कहता है*:

'संबंधपरक समझ मानव बुद्धि का एक मूलभूत घटक है, जो प्रकट होता है विकास की शुरुआत में, और जल्दी और स्वचालित रूप से गणना की जाती है धारणा में.

'DALL-E 2 की कठिनाई बुनियादी स्थानिक संबंधों (जैसे कि) के साथ भी है in, on, के अंतर्गत) सुझाव देता है कि उसने जो कुछ भी सीखा है, उसने अभी तक उन प्रकार के अभ्यावेदन नहीं सीखे हैं जो मनुष्यों को इतनी लचीली और मजबूती से दुनिया की संरचना करने की अनुमति देते हैं।

'इस कठिनाई की सीधी व्याख्या यह है कि DALL-E 2 जैसी प्रणालियों में अभी तक संबंधपरक संरचना नहीं है।'

लेखकों का सुझाव है कि पाठ-निर्देशित छवि निर्माण प्रणाली जैसे कि DALL-E श्रृंखला रोबोटिक्स के लिए सामान्य एल्गोरिदम का लाभ उठा सकती है, जो एक साथ पहचान और संबंधों को मॉडल करती है, क्योंकि एजेंट को केवल निर्माण के बजाय वास्तव में पर्यावरण के साथ बातचीत करने की आवश्यकता होती है। विविध तत्वों का मिश्रण.

ऐसा ही एक दृष्टिकोण, जिसका शीर्षक है सीएलआईपोर्ट, उसी का उपयोग करता है क्लिप तंत्र जो DALL-E 2 में गुणवत्ता मूल्यांकन तत्व के रूप में कार्य करता है:

CLIPort, वाशिंगटन विश्वविद्यालय और NVIDIA के बीच 2021 का सहयोग, CLIP का उपयोग इतने व्यावहारिक संदर्भ में करता है कि इस पर प्रशिक्षित सिस्टम को आवश्यक रूप से शारीरिक संबंधों की समझ विकसित करनी चाहिए, एक प्रेरक जो DALL-E 2 और इसी तरह के 'शानदार' में अनुपस्थित है। छवि संश्लेषण ढाँचे। स्रोत: https://arxiv.org/pdf/2109.12098.pdf

लेखक आगे सुझाव देते हैं कि 'एक और प्रशंसनीय उन्नयन' DALL-E जैसे छवि संश्लेषण प्रणालियों की वास्तुकला को शामिल करने के लिए हो सकता है गुणात्मक प्रभाव गणना की एकमात्र परत में, सूचना प्रसंस्करण क्षमताओं से प्रेरित तरीके से संबंधों की गणना की अनुमति देता है जैविक सिस्टम.

RSI नया कागज शीर्षक है टेक्स्ट-निर्देशित छवि निर्माण में संबंधपरक समझ का परीक्षण, और हार्वर्ड के मनोविज्ञान विभाग में कॉलिन कॉनवेल और तोमर डी. उलमैन से आता है।

प्रारंभिक आलोचना से परे

DALL-E 2 के आउटपुट की यथार्थता और अखंडता के पीछे 'हाथ की सफ़ाई' पर टिप्पणी करते हुए, लेखक पिछले कार्यों पर ध्यान देते हैं जिनमें DALL-E-शैली जनरेटिव इमेज सिस्टम में कमियाँ पाई गई हैं।

इस साल जून में, यूओसी बर्कले विख्यात DALL-E को प्रतिबिंबों और छायाओं को संभालने में कठिनाई होती है; उसी महीने, कोरिया के एक अध्ययन ने DALL-E 2-शैली आउटपुट की 'विशिष्टता' और मौलिकता की जांच की आलोचनात्मक दृष्टि से; प्रारंभिक विश्लेषण लॉन्च के तुरंत बाद, NYU और टेक्सास विश्वविद्यालय से DALL-E 2 छवियों की संरचना और अन्य आवश्यक कारकों के साथ विभिन्न मुद्दे पाए गए; और पिछले महीने, एक संयुक्त कार्य इलिनोइस विश्वविद्यालय और एमआईटी के बीच संरचना के संदर्भ में ऐसी प्रणालियों में वास्तुशिल्प सुधार के लिए सुझाव दिए गए।

शोधकर्ताओं ने आगे बताया कि DALL-E के दिग्गजों जैसे कि आदित्य रमेश के पास है स्वीकार बाइंडिंग, सापेक्ष आकार, टेक्स्ट और अन्य चुनौतियों के साथ फ्रेमवर्क की समस्याएं।

Google की प्रतिद्वंद्वी छवि संश्लेषण प्रणाली Imagen के डेवलपर्स ने भी प्रस्ताव दिया है ड्राबेंच, एक नवीन तुलना प्रणाली जो विभिन्न मैट्रिक्स के साथ फ्रेमवर्क में छवि सटीकता का आकलन करती है।

इसके बजाय, नए पेपर के लेखकों का सुझाव है कि मानव अनुमान - आंतरिक, एल्गोरिदमिक मेट्रिक्स के बजाय - परिणामी छवियों के खिलाफ रखकर बेहतर परिणाम प्राप्त किया जा सकता है, ताकि यह स्थापित किया जा सके कि कमजोरियां कहां हैं, और उन्हें कम करने के लिए क्या किया जा सकता है।

अध्ययन

इस प्रयोजन के लिए, नई परियोजना अपने दृष्टिकोण को मनोवैज्ञानिक सिद्धांतों पर आधारित करती है, और वर्तमान से पीछे हटने का प्रयास करती है ब्याज की वृद्धि in शीघ्र इंजीनियरिंग (जो वास्तव में, DALL-E 2, या किसी तुलनीय प्रणाली की कमियों के लिए एक रियायत है), उन सीमाओं की जांच करने और संभावित रूप से संबोधित करने के लिए जो ऐसे 'वर्कअराउंड' को आवश्यक बनाती हैं।

पेपर बताता है:

'वर्तमान कार्य संज्ञानात्मक, विकासात्मक या भाषाई साहित्य में पहले वर्णित, जांचे गए या प्रस्तावित 15 बुनियादी संबंधों के एक सेट पर केंद्रित है। सेट में जमीनी स्थानिक संबंध (उदाहरण के लिए 'एक्स पर वाई'), और अधिक अमूर्त एजेंटिक संबंध (उदाहरण के लिए 'एक्स वाई की मदद करना') दोनों शामिल हैं।

'संकेत जानबूझकर सरल हैं, विशेषता जटिलता या विस्तार के बिना। यानी 'एक गधा और एक ऑक्टोपस एक खेल खेल रहे हैं' जैसे संकेत के बजाय। गधा एक छोर से रस्सी पकड़ रहा है, ऑक्टोपस दूसरे छोर से पकड़ रहा है। गधा अपने मुँह में रस्सी रखता है। एक बिल्ली रस्सी पर कूद रही है', हम 'चाकू पर एक बॉक्स' का उपयोग करते हैं।

'सरलता अभी भी मानव मनोविज्ञान के विभिन्न उपक्षेत्रों से संबंधों की एक विस्तृत श्रृंखला को पकड़ती है, और संभावित मॉडल विफलताओं को अधिक आकर्षक और विशिष्ट बनाती है।'

अपने अध्ययन के लिए, लेखकों ने प्रोलिफिक से 169 प्रतिभागियों को भर्ती किया, जो सभी संयुक्त राज्य अमेरिका में स्थित थे, जिनकी औसत आयु 33 वर्ष थी, और 59% महिलाएं थीं।

प्रतिभागियों को शीर्ष पर प्रॉम्प्ट के साथ 18×3 ग्रिड में व्यवस्थित 6 छवियां दिखाई गईं, और नीचे एक अस्वीकरण बताया गया कि सभी, कुछ या कोई भी छवि प्रदर्शित प्रॉम्प्ट से उत्पन्न नहीं हुई होगी, और फिर उनसे पूछा गया कि उन छवियों का चयन करें जिनके बारे में उन्हें लगा कि वे इस तरह से संबंधित हैं।

व्यक्तियों को प्रस्तुत की गई छवियां भाषाई, विकासात्मक और संज्ञानात्मक साहित्य पर आधारित थीं, जिसमें आठ भौतिक और सात 'एजेंट' संबंधों का एक सेट शामिल था (यह एक पल में स्पष्ट हो जाएगा)।

शारीरिक संबंध
अंदर, पर, नीचे, ढका हुआ, निकट, रोका हुआ, ऊपर लटका हुआ, और से बंधा हुआ.

एजेंटिक संबंध
धक्का देना, खींचना, छूना, मारना, लात मारना, मदद करना, और निरोधक.

ये सभी संबंध अध्ययन के पिछले उल्लिखित गैर-सीएस क्षेत्रों से लिए गए थे।

इस प्रकार संकेतों में उपयोग के लिए छह वस्तुओं और छह एजेंटों के साथ बारह इकाइयां प्राप्त की गईं:

वस्तुएँ
डिब्बा, बेलन, कम्बल, कटोरा, चाय का प्याला, और चाकू।

एजेंट्स
आदमी, औरत, बच्चा, रोबोट, बंदर, और गोधा।

(शोधकर्ताओं ने माना कि इगुआना को शामिल करना, जो शुष्क समाजशास्त्रीय या मनोवैज्ञानिक अनुसंधान का मुख्य आधार नहीं है, 'एक इलाज' था)

प्रत्येक संबंध के लिए, दो संस्थाओं को पांच बार यादृच्छिक रूप से नमूना करके पांच अलग-अलग संकेत बनाए गए, जिसके परिणामस्वरूप कुल 75 संकेत प्राप्त हुए, जिनमें से प्रत्येक को DALL-E 2 को सबमिट किया गया था, और जिनमें से प्रत्येक के लिए प्रारंभिक 18 आपूर्ति की गई छवियों का उपयोग किया गया था, बिना किसी बदलाव के या दूसरे मौके की अनुमति है.

परिणाम

पेपर में कहा गया है*:

'प्रतिभागियों ने औसतन DALL-E 2 की छवियों और उन्हें उत्पन्न करने के लिए उपयोग किए गए संकेतों के बीच कम मात्रा में सहमति की सूचना दी, 22.2 अलग-अलग संकेतों में 18.3% [26.6, 75] के औसत के साथ।

'एजेंटिक संकेतों ने, 28.4 संकेतों में 22.8% [34.2, 35] के औसत के साथ, भौतिक संकेतों की तुलना में अधिक सहमति उत्पन्न की, 16.9 संकेतों में 11.9% [23.0, 40] के औसत के साथ।'

अध्ययन से परिणाम. काले रंग के बिंदु सभी संकेतों को दर्शाते हैं, प्रत्येक बिंदु के साथ एक व्यक्तिगत संकेत होता है, और रंग इस आधार पर टूट जाता है कि संकेत का विषय एजेंटिक था या भौतिक (यानी एक वस्तु)।

छवियों की मानवीय और एल्गोरिथम धारणा के बीच अंतर की तुलना करने के लिए, शोधकर्ताओं ने ओपनएआई के खुले स्रोत के माध्यम से अपने रेंडर चलाए वीआईटी-एल/14 सीएलआईपी-आधारित ढांचा। अंकों का औसत निकालते हुए, उन्होंने परिणामों के दो सेटों के बीच एक 'मध्यम संबंध' पाया, जो शायद आश्चर्यजनक है, यह देखते हुए कि सीएलआईपी स्वयं छवियों को उत्पन्न करने में किस हद तक मदद करता है।

CLIP (ViT-L/14) के परिणाम मानवीय प्रतिक्रियाओं से तुलना करते हैं।

शोधकर्ताओं का सुझाव है कि आर्किटेक्चर के भीतर अन्य तंत्र, शायद प्रशिक्षण सेट में डेटा की आकस्मिक प्रबलता (या कमी) के साथ मिलकर इस तरह से हो सकते हैं कि सीएलआईपी सभी मामलों में, कुछ भी करने में सक्षम हुए बिना DALL-E की सीमाओं को पहचान सकता है। समस्या के बारे में बहुत कुछ.

लेखकों ने निष्कर्ष निकाला है कि DALL-E 2 में छवियों को पुन: प्रस्तुत करने के लिए केवल एक काल्पनिक सुविधा है, यदि कोई है, जिसमें संबंधपरक समझ शामिल है, जो मानव बुद्धि का एक मौलिक पहलू है जो हमारे अंदर बहुत पहले विकसित होता है।

'यह धारणा कि DALL-E 2 जैसी प्रणालियों में संरचनागतता नहीं है, किसी के लिए भी आश्चर्य की बात हो सकती है, जिसने DALL-E 2 की 'टूटू में पूडल पर चलते हुए डाइकॉन मूली के बच्चे का कार्टून' जैसे संकेतों पर बेहद उचित प्रतिक्रियाएं देखी हैं। इस तरह के संकेत अक्सर एक रचनात्मक अवधारणा का एक समझदार सन्निकटन उत्पन्न करते हैं, जिसमें संकेतों के सभी भाग मौजूद होते हैं, और सही स्थानों पर मौजूद होते हैं।

'हालांकि, संरचनागतता न केवल चीजों को एक साथ चिपकाने की क्षमता है - यहां तक ​​​​कि उन चीजों को भी जिन्हें आपने पहले कभी एक साथ नहीं देखा होगा। रचनाशीलता की समझ की आवश्यकता है नियम जो चीजों को एक साथ बांधता है। रिश्ते ऐसे नियम हैं.'

आदमी टी-रेक्स को काटता है

राय जैसा कि OpenAI एक को अपनाता है उपयोगकर्ताओं की अधिक संख्या DALL-E 2 के हालिया बीटा मुद्रीकरण के बाद, और चूँकि अब अधिकांश पीढ़ियों के लिए भुगतान करना पड़ता है, DALL-E 2 की संबंधपरक समझ में कमियाँ अधिक स्पष्ट हो सकती हैं क्योंकि प्रत्येक 'असफल' प्रयास का इसमें एक वित्तीय भार होता है, और रिफंड उपलब्ध नहीं है.

हममें से जिन्हें कुछ समय पहले निमंत्रण मिला था, उनके पास DALL-E 2 से उत्पन्न होने वाली कुछ 'रिलेशनशिप गड़बड़ियों' को देखने के लिए समय (और, हाल तक, सिस्टम के साथ खेलने के लिए अधिक अवकाश) था।

उदाहरण के लिए, ए के लिए जुरासिक पार्क प्रशंसक, DALL-E 2 में किसी व्यक्ति का पीछा करने के लिए डायनासोर को लाना बहुत मुश्किल है, भले ही 'पीछा' की अवधारणा DALL-E 2 में दिखाई नहीं देती है सेंसरशिप प्रणाली, और भले ही लंबा इतिहास डायनासोर फिल्मों को प्रजातियों के इस अन्यथा असंभव मिलन के लिए प्रचुर प्रशिक्षण उदाहरण (कम से कम ट्रेलर और प्रचार शॉट्स के रूप में) प्रदान करने चाहिए।

'सड़क पर एक आदमी का पीछा करते हुए टी-रेक्स की रंगीन तस्वीर' के संकेत पर एक विशिष्ट DALL-E 2 प्रतिक्रिया। स्रोत: DALL-E 2

मैंने पाया है कि उपरोक्त छवियाँ विविधताओं के लिए विशिष्ट हैं '[डायनासोर] [एक व्यक्ति] का पीछा कर रहा है' शीघ्र डिजाइन, और संकेत में कोई भी विस्तार टी-रेक्स को वास्तव में अनुपालन करने के लिए नहीं मिल सकता है। पहली और दूसरी तस्वीर में, आदमी (कमोबेश) टी-रेक्स का पीछा कर रहा है; तीसरे में, सुरक्षा की आकस्मिक उपेक्षा के साथ उसके पास जाना; और अंतिम छवि में, स्पष्ट रूप से महान जानवर के समानांतर जॉगिंग करते हुए। इस विषय पर लगभग 10-15 प्रयासों के दौरान, मैंने पाया है कि डायनासोर भी इसी तरह 'विचलित' है।

ऐसा हो सकता है कि DALL-E 2 जिस एकमात्र प्रशिक्षण डेटा तक पहुंच सकता था, वह इसी पंक्ति में था 'आदमी डायनासोर से लड़ता है', जैसी पुरानी फिल्मों के प्रचार शॉट्स से एक लाख वर्ष ई.पू (1966), और वह जेफ़ गोल्डब्लम का प्रसिद्ध उड़ान शिकारियों के राजा से डेटा की उस छोटी सी किश्त में बस एक बाहरी चीज़ है।

* लेखकों के इनलाइन उद्धरणों का हाइपरलिंक में मेरा रूपांतरण।

पहली बार 4 अगस्त 2022 को प्रकाशित।