विज़ुअल एनालॉगीज़ को एआई में लाना

वर्तमान एआई मॉडल ‘रिलेशनल’ इमेज समानताओं को पहचानने में विफल रहते हैं, जैसे कि पृथ्वी की परतें एक आड़ू के समान हैं, मानव द्वारा छवियों को कैसे महसूस किया जाता है, इसके एक महत्वपूर्ण पहलू को याद करते हुए।

हालांकि कई कंप्यूटर विजन मॉडल हैं जो छवियों की तुलना करने और उनके बीच समानता खोजने में सक्षम हैं, तुलनात्मक प्रणालियों की वर्तमान पीढ़ी में कल्पनाशील क्षमता बहुत कम या नहीं है। क्लासिक 1960 के गीत, विंडमिल्स ऑफ योर माइंड के कुछ बोल पर विचार करें:

एक कारousel की तरह जो घूम रहा है, चंद्रमा के चारों ओर रिंग्स चला रहा है
एक घड़ी जैसे जिसके हाथ मिनटों को पार कर रहे हैं
और दुनिया एक सेब की तरह है जो चुपचाप अंतरिक्ष में घूम रही है

इस प्रकार की तुलना एक ऐसा क्षेत्र है जो मानवों के लिए कलात्मक अभिव्यक्ति से परे अर्थपूर्ण है; बल्कि, यह हमारे संज्ञानात्मक प्रणाली के विकास से जुड़ा हुआ है; जब हम अपने ‘वस्तु’ डोमेन बनाते हैं, तो हम दृश्य समानता की क्षमता विकसित करते हैं, ताकि – उदाहरण के लिए – एक आड़ू और पृथ्वी की परतों के क्रॉस-सेक्शन, या फ्रैक्टल पुनरावृत्ति जैसे कॉफी के घुमावदार और आकाशगंगा की शाखाएं, हमारे साथ तुल्य होती हैं।

इस प्रकार, हम विभिन्न वस्तुओं और वस्तु प्रकारों के बीच संबंधों का अनुमान लगा सकते हैं और प्रणालियों (जैसे गुरुत्वाकर्षण, गति और सतह संघनन) का अनुमान लगा सकते हैं जो विभिन्न डोमेन में विभिन्न स्तरों पर लागू हो सकती हैं।

दृश्य

यहां तक कि नवीनतम पीढ़ी के इमेज तुलना एआई प्रणाली, जैसे कि लर्न्ड परसेप्टुअल इमेज पैच समानता और डीआईएनओ, जो मानव प्रतिक्रिया से सूचित हैं, केवल साहित्यिक सतह तुलना करते हैं।

उनकी क्षमता कहीं भी चेहरे खोजने की – अर्थात, पेरिडोलिया – मानव द्वारा विकसित दृश्य समानता तंत्र का प्रतिनिधित्व नहीं करती है, लेकिन चेहरा खोज एल्गोरिदम द्वारा उपयोग किए जाने वाले निम्न-स्तरीय चेहरा संरचना विशेषताओं के कारण होती है जो कभी-कभी यादृच्छिक वस्तुओं के साथ मेल खाती हैं:

फेस विद थिंग्स डेटासेट में फेसियल रिकग्निशन के लिए गलत सकारात्मक उदाहरण। स्रोत

यह निर्धारित करने के लिए कि क्या मशीनें वास्तव में हमारी कल्पनाशील क्षमता को दृश्य समानता को पहचानने के लिए विकसित कर सकती हैं, अमेरिकी शोधकर्ताओं ने अध्ययन किया है संबंधित दृश्य समानता के बारे में, एक नई डेटासेट को बनाया और प्रशिक्षित किया जो अमूर्त संबंधों को विभिन्न वस्तुओं के बीच बनाने के लिए डिज़ाइन किया गया है जो अभी भी एक अमूर्त संबंध से जुड़े हुए हैं:

अधिकांश एआई मॉडल केवल तभी समानता को पहचानते हैं जब छवियां सतह की विशेषताओं जैसे आकार या रंग को साझा करती हैं, जो यही कारण है कि वे केवल समूह बी (ऊपर) को संदर्भ के साथ जोड़ते हैं। मानव, इसके विपरीत, समूह ए को भी समान के रूप में देखते हैं – न कि क्योंकि छवियां एक जैसी दिखती हैं, बल्कि क्योंकि वे एक ही अंतर्निहित तर्क का पालन करती हैं, जैसे कि समय के साथ एक परिवर्तन दिखा रहा है। यह काम इस प्रकार की संरचनात्मक या संबंधित समानता को पुन: उत्पन्न करने का प्रयास करता है, जिसका उद्देश्य मशीन की धारणा को मानव तर्क के करीब लाना है। स्रोत: https://arxiv.org/pdf/2512.07833

डेटासेट के लिए विकसित कैप्शनिंग सिस्टम असामान्य रूप से अमूर्त एनोटेशन की सुविधा प्रदान करता है, जो एआई प्रणालियों को स्थानीय विवरण के बजाय आधार विशेषताओं पर ध्यान केंद्रित करने के लिए डिज़ाइन किया गया है:

लेखकों के ‘रेल्सिम’ मेट्रिक में योगदान देने वाली अनुमानित ‘अनाम’ कैप्शन।

लेखकों ने अपना नया प्रस्तावित मेट्रिक रेल्सिम विकसित किया है, जिसे उन्होंने फाइन-ट्यून किया है एक दृश्य-भाषा मॉडल (वीएलएम) में:

आम तौर पर डेटासेट की कैप्शनिंग शैली की तुलना में, जो विशेषता समानता पर केंद्रित है, जबकि रेल्सिम दृष्टिकोण (नीचे की पंक्ति) संबंधित समानता पर जोर देता है।

नई दृष्टि संज्ञानात्मक विज्ञान से विधियों पर आकर्षित करती है, विशेष रूप से डेड्रे जेंटनर के संरचना-मैपिंग सिद्धांत (एक तुलना का अध्ययन) और अमोस टवर्स्की के परिभाषा के संबंधित समानता और विशेषता समानता की।

संबंधित परियोजना वेबसाइट से, संबंधित समानता का एक उदाहरण। स्रोत

लेखकों का कहना है:

‘[मानव] विशेषता समानता को संवेदी रूप से संसाधित करते हैं, लेकिन संबंधित समानता के लिए संकल्पनात्मक स abstractification की आवश्यकता होती है, जो अक्सर भाषा या पूर्व ज्ञान द्वारा समर्थित होती है। यह सुझाव देता है कि संबंधित समानता को पहचानने से पहले छवि को समझना, ज्ञान पर आकर्षित करना और इसकी अंतर्निहित संरचना को स abstractify करना आवश्यक है।’

नया पेपर संबंधित दृश्य समानता शीर्षक से है, और इसके साथ एक परियोजना वेबसाइट (इस लेख के अंत में एम्बेडेड वीडियो देखें) है।

विधि

शोधकर्ताओं ने अपने संग्रह के लिए शुरुआत के बिंदु के रूप में सबसे प्रसिद्ध हाइपरस्केल डेटासेट में से एक का उपयोग किया – एलएआईओएन-2बी:

एलएआईओएन-2बी संग्रह में एक प्रविष्टि के लिए मेटाडेटा। स्रोत

लेआन-2बी से 114,000 छवियां जो लचीले संबंधित संरचनाओं को शामिल करने की संभावना रखती थीं, निकाली गईं, जिसमें कम गुणवत्ता वाली छवियों की बड़ी संख्या को फिल्टर करना शामिल था जो न्यूनतम रूप से क्यूरेटेड डेटासेट में मौजूद थीं।

चयन प्रक्रिया के लिए एक पाइपलाइन बनाने के लिए, लेखकों ने क्यूवेन2.5-वीएल-7बी का उपयोग किया, 1,300 सकारात्मक और 11,000 नकारात्मक मानव-लेबल वाले उदाहरणों का लाभ उठाया:

रेल्सिम सिस्टम को तीन चरणों में प्रशिक्षित किया जाता है: एलएआईओएन-2बी से संबंधित सामग्री वाली छवियों को फिल्टर करना; प्रत्येक समूह को एक साझा अनाम कैप्शन सौंपना जो उनके अंतर्निहित तर्क को पकड़ता है; और एक विरोधाभासी हानि का उपयोग करके कैप्शन के साथ छवियों को मिलाने के लिए सीखना।

पेपर में कहा गया है:

‘अन्नोटेटर्स को निर्देश दिए गए: “क्या आप इस छवि में कोई संबंधित पैटर्न, तर्क या संरचना देख सकते हैं जो दूसरी छवि बनाने या लिंक करने के लिए उपयोगी हो सकती है?” फाइन-ट्यून किए गए मॉडल ने मानव निर्णयों के साथ 93% समझौता किया, और जब इसे एलएआईओएन-2बी पर लागू किया गया, तो यह एन = 114के छवियों की पहचान संबंधित रूप से दिलचस्प के रूप में की।’

संबंधित लेबल उत्पन्न करने के लिए, शोधकर्ताओं ने क्यूवेन मॉडल को छवियों के सेटों के पीछे साझा तर्क का वर्णन करने के लिए प्रेरित किया, विशिष्ट वस्तुओं को नामित किए बिना। यह अमूर्तता तब संभव हो गई जब मॉडल ने एक छवि के बजाय कई उदाहरण देखे:

परिणामी समूह-स्तरीय कैप्शन ने विशिष्ट शब्दों को प्लेसहोल्डर्स जैसे ‘{विषय}’ या ‘{प्रकार की गति}’ से बदल दिया, जो उन्हें व्यापक रूप से लागू करने योग्य बनाता है।

मानव सत्यापन के बाद, प्रत्येक कैप्शन को इसके समूह में सभी छवियों के साथ जोड़ा गया। 500 से अधिक ऐसे समूहों का उपयोग मॉडल को प्रशिक्षित करने के लिए किया गया था, जिसे बाद में 114,000 फिल्टर की गई छवियों पर लागू किया गया था, जिससे एक बड़ा सेट अमूर्त, संबंधित रूप से एनोटेटेड नमूने तैयार हुए।

डेटा और परीक्षण

क्यूवेन2.5-वीएल-7बी के साथ संबंधित विशेषताओं के निष्कर्षण के बाद, एक मॉडल को डेटा पर लोरा का उपयोग करके 15,000 कदमों के लिए फाइन-ट्यून किया गया था, आठ ए100 जीपीयू* के माध्यम से। पाठ के लिए, संबंधित कैप्शन को ऑल-मिनीलएम-एल6-वी2 का उपयोग करके एम्बेड किया गया था, जो सेंटेंस-ट्रांसफॉर्मर्स लाइब्रेरी से है:

114,000 कैप्शन वाली छवियों के डेटासेट को 100,000 प्रशिक्षण और 14,000 मूल्यांकन के लिए विभाजित किया गया था। सिस्टम का परीक्षण करने के लिए, एक पुनर्प्राप्ति सेटअप का उपयोग किया गया था: एक प्रश्न छवि दी जाने पर, मॉडल को 28,000-आइटम पूल से एक अलग छवि खोजनी थी जो एक ही संबंधित विचार को व्यक्त करती थी। पुनर्प्राप्ति पूल में 14,000 मूल्यांकन छवियां और एलएआईओएन-2बी से 14,000 अतिरिक्त नमूने शामिल थे, जिसमें 1,000 प्रश्न यादृच्छिक रूप से मूल्यांकन सेट से बेंचमार्किंग के लिए चुने गए थे।

पुनर्प्राप्ति की गुणवत्ता का मूल्यांकन करने के लिए, जीपीटी-4ओ का उपयोग प्रत्येक प्रश्न और पुनर्प्राप्त छवि के बीच संबंधित समानता को 0 से 10 के पैमाने पर स्कोर करने के लिए किया गया था। एक अलग मानव अध्ययन भी चलाया गया था ताकि उपयोगकर्ता प्राथमिकता का आकलन किया जा सके (नीचे देखें):

प्रत्येक प्रतिभागी को एक अनाम प्रश्न छवि के साथ दो उम्मीदवार दिखाए गए, एक प्रस्तावित विधि द्वारा पुनर्प्राप्त और दूसरा बेसलाइन द्वारा। प्रतिभागियों से पूछा गया कि कौन सी छवि प्रश्न से अधिक संबंधित रूप से समान थी, या यदि दोनों समान रूप से करीब थीं। प्रत्येक बेसलाइन के लिए 300 ट्रिपलेट बनाए गए और कम से कम तीन लोगों द्वारा रेट किए गए, जिससे लगभग 900 प्रतिक्रियाएं मिलीं।

रेल्सिम दृष्टिकोण की तुलना कई स्थापित छवि-से-छवि समानता विधियों के साथ की गई, जिनमें उल्लिखित एलपीआईपीएस और डीआईएनओ शामिल हैं, साथ ही ड्रीमसिम और सीएलआईपी-आई। इसके अलावा एलपीआईपीएस, डीआईएनओ, ड्रीमसिम और सीएलआईपी-आई जैसे बेसलाइन जो सीधे छवि जोड़ों के बीच समानता स्कोर की गणना करते हैं, लेखकों ने कैप्शन-आधारित विधियों का भी परीक्षण किया, जिसमें क्यूवेन का उपयोग प्रत्येक छवि के लिए एक अनाम या अमूर्त कैप्शन उत्पन्न करने के लिए किया गया था; यह तब पुनर्प्राप्ति प्रश्न के रूप में कार्य करता था।

दो पुनर्प्राप्ति विविधताओं का मूल्यांकन किया गया, जिसमें सीएलआईपी-टी का उपयोग पाठ-से-छवि पुनर्प्राप्ति (सीएलआईपी-टी) के लिए किया गया था, और क्यूवेन-टी ने पाठ-से-पाठ पुनर्प्राप्ति के लिए किया था। दोनों कैप्शन-आधारित बेसलाइन ने मूल पूर्व-प्रशिक्षित क्यूवेन मॉडल का उपयोग किया, न कि रिलेशनल तर्क पर फाइन-ट्यून किए गए संस्करण का। यह लेखकों को समूह-आधारित प्रशिक्षण के प्रभाव को अलग करने की अनुमति देता है, क्योंकि फाइन-ट्यून किए गए मॉडल को छवि सेटों के साथ उजागर किया गया था, न कि अलग-अलग उदाहरणों के साथ:

मौजूदा मेट्रिक्स और संबंधित समानता

लेखकों ने पहले यह परीक्षण किया कि क्या मौजूदा मेट्रिक्स संबंधित समानता को पकड़ सकते हैं:

जीपीटी-4ओ द्वारा मूल्यांकित पुनर्प्राप्ति प्रदर्शन की तुलना, प्रत्येक विधि के लिए औसत संबंधित समानता स्कोर दिखा रहा है। पारंपरिक समानता मेट्रिक्स जैसे एलपीआईपीएस, डीआईएनओ और सीएलआईपी-आई ने कम स्कोर किया, साथ ही कैप्शन-आधारित बेसलाइन क्यूवेन-टी और सीएलआईपी-टी भी कम प्रदर्शन किया। सबसे उच्च स्कोर रेल्सिम (6.77, दाएं सबसे छोर का नीला स्तंभ) द्वारा प्राप्त किया गया, जो दर्शाता है कि समूह-आधारित संबंधित पैटर्न पर फाइन-ट्यूनिंग जीपीटी-4ओ के मूल्यांकन के साथ संरेखण में सुधार करता है।

इस संबंध में लेखकों का कहना है:

‘[एलपीआईपीएस], जो शुद्ध रूप से संवेदी समानता पर केंद्रित है, सबसे कम स्कोर (4.56) प्राप्त करता है। [डीआईएनओ] थोड़ा बेहतर प्रदर्शन करता है (5.14), शायद इसलिए क्योंकि यह केवल स्व-प्रशिक्षित तरीके से छवि डेटा पर प्रशिक्षित किया जाता है। [सीएलआईपी-आई] बेसलाइन में सबसे मजबूत परिणाम देता है (5.91), संभवतः इसलिए क्योंकि कुछ अमूर्तता कभी-कभी छवि कैप्शन में मौजूद होती है। ‘

‘हालांकि, सीएलआईपी-आई अभी भी हमारे तरीके से कम प्रदर्शन करता है, क्योंकि बेहतर स्कोर प्राप्त करने के लिए उच्च स्तर की अमूर्तता की आवश्यकता हो सकती है, जैसे कि अनाम कैप्शन में।’

मानव अध्ययन में, मानवों ने लगातार रेल्सिम विधि को सभी बेसलाइन के खिलाफ पसंद किया:

प्रत्येक विधि के लिए जीपीटी-4ओ द्वारा सौंपे गए संबंधित समानता स्कोर। मानक समानता मेट्रिक्स जैसे एलपीआईपीएस, डीआईएनओ और सीएलआईपी-आई ने कम स्कोर किया, और कैप्शन-आधारित विविधता क्यूवेन-टी और सीएलआईपी-टी ने थोड़ा बेहतर प्रदर्शन किया। डीआईएनओ और सीएलआईपी-आई के संशोधित संस्करण भी अंतर को बंद नहीं कर सके। रेल्सिम मॉडल, जो समूह-आधारित पर्यवेक्षण के साथ प्रशिक्षित किया गया था, ने 6.77 का स्कोर हासिल किया।

लेखकों का कहना है:

‘यह बहुत प्रोत्साहित करने वाला है, क्योंकि यह न केवल दर्शाता है कि हमारा मॉडल, रेल्सिम, संबंधित रूप से समान छवियों को सफलतापूर्वक पुनर्प्राप्त कर सकता है, बल्कि फिर से पुष्टि करता है कि मानव संबंधित समानता को महसूस करते हैं – न कि केवल विशेषता समानता!’

संबंधित और विशेषता समानता के पूरक होने की संभावना का अन्वेषण करने के लिए, शोधकर्ताओं ने एक संयुक्त दृश्यीकरण विधि का उपयोग किया:

संबंधित और विशेषता समानता के अक्षों का उपयोग करके दृश्य समानता स्थान का संयुक्त दृश्यीकरण। एक ही प्रश्न छवि (एक कुत्ता कैमरा पकड़े हुए) को 3,000 अन्य छवियों के साथ तुलना किया गया, और समानता को संबंधित और विशेषता-आधारित मॉडल दोनों का उपयोग करके गणना की गई। परिणाम संबंधित समानता (उल्लंब) और विशेषता समानता (क्षितिज) द्वारा आयोजित किए गए। शीर्ष-दाएं क्षेत्र में छवियां हैं जो प्रश्न में तर्क और उपस्थिति दोनों में समान हैं, जैसे कि अन्य कुत्ते जो उपकरण का उपयोग कर रहे हैं। शीर्ष-बाएं क्षेत्र में सेमैंटिक रूप से संबंधित लेकिन दृश्य रूप से विभिन्न मामले हैं, जैसे कि विभिन्न जानवर जो कैमरा-संबंधित क्रियाएं कर रहे हैं। अधिकांश शेष उदाहरण निचले स्थान में क्लस्टर करते हैं, जो कमजोर समानता को प्रतिबिंबित करते हैं। लेआउट यह दर्शाता है कि संबंधित और विशेषता मॉडल दृश्य डेटा के पूरक पहलुओं पर प्रकाश डालते हैं। स्रोत पेपर के लिए बेहतर रिज़ॉल्यूशन के लिए कृपया संदर्भ लें।

परिणामों से पता चलता है कि विभिन्न प्रकार की समानता वाले क्लस्टर हैं: कुछ छवियां संबंधित और दृश्य रूप से समान हैं, जैसे कि अन्य कुत्ते जो मानव जैसी मुद्रा में हैं; अन्य संबंधित तर्क साझा करते हैं लेकिन उपस्थिति में नहीं, जैसे कि विभिन्न जानवर जो मानव की तरह क्रियाएं कर रहे हैं; शेष में से अधिकांश निचले स्थान में क्लस्टर करते हैं, जो कमजोर समानता को प्रतिबिंबित करते हैं।

यह विश्लेषण सुझाव देता है कि दो प्रकार की समानता विभिन्न भूमिकाएं निभाती हैं और जब संयुक्त होती हैं तो समृद्ध संरचना प्रदान करती हैं।

उपयोग के मामले

पेपर संबंधित समानता के लिए कुछ संभावित अंत-उपयोग मामलों का भी अन्वेषण करता है, जिनमें संबंधित छवि पुनर्प्राप्ति शामिल है, जो छवि खोज को मानव के अपने रचनात्मक तरीके से दुनिया को देखने के तरीके के साथ अधिक संरेखित करने की अनुमति देता है:

संबंधित पुनर्प्राप्ति छवियों को वापस करती है जो प्रश्न से गहरे概念 संरचना साझा करती है, सतह विशेषताओं से मेल नहीं खाती। उदाहरण के लिए, एक भोजन आइटम जो एक चेहरे की तरह दिखता है अन्य मानवीकरण भोजन को पुनर्प्राप्त करता है; एक कटा हुआ वस्तु अन्य कटी हुई रूपों को वापस करती है; और वयस्क-संतान बातचीत के दृश्य समान संबंधित भूमिकाओं वाली छवियों को वापस करते हैं, भले ही प्रजातियां और संरचना भिन्न हों।

एक अन्य संभावना संबंधित छवि संश्लेषण है, जो संबंधित संरचनाओं का उपयोग करके प्रश्नों का संश्लेषण करने की अनुमति देगा, न कि सीधे विवरण। वर्तमान पीढ़ी के राज्य-оф-द-आर्ट टेक्स्ट-टू-इमेज मॉडल के परिणामों की तुलना में, ऐसे दृष्टिकोण के परिणाम अधिक विविध होने की संभावना हैं:

एक इनपुट छवि और एक संबंधित प्रोम्प्ट दिए जाने पर, मॉडल को एक नई छवि उत्पन्न करने के लिए कहा गया जो एक ही अंतर्निहित अवधारणा को व्यक्त करती है। प्रोप्राइटरी मॉडल ने रूप में बड़े परिवर्तनों के माध्यम से संरचनात्मक तर्क को संरक्षित करते हुए अधिक वफादार तुल्यता का उत्पादन किया, जबकि ओपन-सोर्स मॉडल साहित्यिक या शैलीगत मेलों में वापस लौट आए, जो गहरे विचार को स्थानांतरित करने में विफल रहे। आउटपुट की तुलना मानव-क्यूरेटेड तुल्यता से की गई, जो इरादा परिवर्तन का प्रतिनिधित्व करती थी।

निष्कर्ष

जेनरेटिव एआई सिस्टम, ऐसा लगता है, अमूर्त प्रतिनिधित्व को अपने अवधारणाओं में शामिल करने की क्षमता से काफी बढ़ सकते हैं। जैसा कि यह खड़ा है, अवधारणा-आधारित छवियों जैसे ‘क्रोध’ या ‘खुशी’ के लिए पूछने का मतलब है कि डेटासेट में इन संघों के साथ सबसे लोकप्रिय या सबसे बड़ी छवियों से शैलीबद्ध छवियां वापस मिलना; जो स्मृति के बजाय अमूर्तता है:

यह सिद्धांत संभावित रूप से लाभकारी हो सकता है यदि यह उत्पादक लेखन – विशेष रूप से विश्लेषणात्मक, विचारशील या कल्पनाशील आउटपुट – पर भी लागू किया जा सकता है।

प्ले पर क्लिक करें। स्रोत

* एक ए100 में 40Gb या 80GB का वीआरएएम हो सकता है; यह पेपर में निर्दिष्ट नहीं है।

** लेखकों के उद्धरणों को कम किया गया है और बाहर रखा गया है।

मंगलवार, 16 दिसंबर, 2025 को पहली बार प्रकाशित।