एआई विजन सिस्टम अक्सर वास्तव में ‘देखते’ नहीं हैं

एआई विजन सिस्टम छवियों को रूढ़िवादिता के साथ समझा सकते हैं, न कि वास्तव में वे क्या देखते हैं। लेबल को हटा दें, और उनके कथित दृश्य विवरण ढह जाते हैं।

चूंकि फ्रंटियर एआई प्लेटफ़ॉर्म लगातार पैसा खो रहे हैं एआई इवेंट होराइज़न की आशा में, उनकी प्रावधान और सेवाओं में छोटी अर्थव्यवस्थाएं बड़े बचत के बराबर होती हैं: उदाहरण के लिए, हर बार जब एक एलएलएम अपने स्वयं के प्रशिक्षित मैट्रिक्स से एक उत्तर प्रदान कर सकता है, तो वेब पर जाने के बजाय आरएजी -आधारित यात्रा के लिए वर्तमान जानकारी प्राप्त करने के लिए जो कि शुद्धिकरण और परिष्करण की आवश्यकता होगी, यह तेजी से उत्तर देता है, और प्रदाता को पैसे बचाता है।

बेशक, यह अधिक संभावना है कि हॉलुसिनेट करे, बिना अतिरिक्त टोकन और ऊर्जा को संदर्भित करने और अपने अनुमानों की जांच करने पर खर्च किए।

इसी तरह, जब एक एलएलएम वास्तव में वेब पर पहुंचता है, तो यह अक्सर अस्पष्ट, अनुपयुक्त, या यहां तक ​​कि अर्थहीन और अनसंबंधित यूआरएल का हवाला देता है, क्योंकि यह ऊर्जा को बचाता है कि यह केवल पृष्ठों के मेटाडेटा का मूल्यांकन करता है, उन्हें वास्तव में पढ़ने के बजाय।

इसी तरह, यदि आप एक एलएलएम पर एक पीडीएफ़ अपलोड करते हैं और इस पर चर्चा करना चाहते हैं, तो एलएलएम अंततः पीडीएफ़ सामग्री को अपनी स्मृति से मिटा देगा और केवल पीडीएफ़ के बारे में खाली मेटाडेटा का उपयोग करके आपके प्रश्नों का उत्तर देगा, बिना यह बताए कि आपको इसे फिर से अपलोड करना चाहिए – जिससे त्रुटियां, गलत धारणाएं और और भी हॉलुसिनेशन हो जाते हैं।

औद्योगिक परीक्षण

ये व्यावहारिक हैं, यदि पूरी तरह से ईमानदार नहीं हैं, तो उपयोगकर्ता के लिए संचालन के कारणों से लगाए गए अर्थव्यवस्थाएं हैं। डेटा संग्रह और मॉडल प्रशिक्षण की अपस्ट्रीम दुनिया में, जहां लाखों – यहां तक ​​कि सैकड़ों लाख – छवियों को बड़े पैमाने पर संसाधित किया जाना चाहिए, और मानव द्वारा हाथ से अन्नोटेट नहीं किया जा सकता है, ऊर्जा और समय व्यय को कम करने के लिए दबाव समान रूप से तीव्र है।

एक ऐसा ‘शॉर्टकट’ है कंट्रास्टिव लैंग्वेज इमेज प्रीट्रेनिंग (सीएलआईपी) जैसे मध्यवर्ती विजन लैंग्वेज मॉडल का उपयोग करना, जो छवियों और पाठ को एक साझा सेमेंटिक स्थान में मैप करता है, ताकि दृश्य अवधारणाओं की तुलना भाषा का उपयोग करके की जा सके, न कि स्पष्ट लेबल का उपयोग करके।

इसका क्या अर्थ है? खैर, एक बच्चे की कल्पना करें जो लाखों कैप्शन वाली तस्वीरों से सीखता है जब तक कि वे दृश्य अवधारणाओं और शब्दों के बीच एक अनुमानित अर्थ बनाने के लिए विकसित नहीं हो जाते।

परेशानी यह है कि अक्सर, कैप्शन वेबसाइट के मालिकों और अन्य स्व-हित वाले संस्थाओं द्वारा लिखे गए थे जो अच्छे एसईओ में अधिक रुचि रखते थे niż अच्छा लेबलिंग, जिससे बहुत सारा ‘शोर’ या असटीक लेबलिंग होती है।

फिर भी, बड़े डेटासेट में एक अवधारणा और एक संबंधित शब्द के पुनरावृत्ति के पैमाने पर आमतौर पर इसका मतलब है कि मूल शब्द छवि के साथ जुड़े होंगे, क्योंकि ‘अर्थहीन’ लेबल की छोटी संख्या आमतौर पर एक आउटलियर घेटो में मजबूर हो जाएगी, और छवि के साथ संबंध नहीं बनाएगी। इसलिए यह अधिकांश समय लगभग काम करता है।

डेटा एनोटेशन इस तरह से किया जाता है क्योंकि यह सस्ता है और न्यूनतम कार्यात्मक है, न कि इसलिए कि यह अच्छा है।

ऑफ-लेबल

इस परेशानी भरे दृश्य में एक नई कार्नेगी मेलन से एक नई पेपर आती है, जो यह दिखाती है कि कई कैप्शन जो छवियों को सौंपे जाते हैं – उदाहरण के लिए, सीएलआईपी द्वारा – वास्तव में रूढ़िवादिता हैं जो छवि के (पाठ-आधारित) लेबल को संदर्भित करने पर आधारित हैं, न कि छवि को स्वयं देखने पर।

पेपर में एक उल्लेखनीय उदाहरण में, सीएलआईपी को इमेजनेट-स्केच पर परीक्षण के लिए इमेजनेट क्लास नाम स्ट्रॉबेरी से उत्पन्न विवरणकों के साथ जोड़ा जाता है, जहां हर स्ट्रॉबेरी एक काले और सफेद ड्राइंग है – फिर भी विवरणक अभी भी यह दावा करते हैं कि फल ‘लाल’ और ‘ताज़ा’ है:

क्लास-नाम विवरणक इमेजनेट-स्केच पर विफल होते हैं: भाषा प्राथमिकताएं ‘लाल’ और ‘ताज़ा’ कहती हैं, जबकि छवि-आधारित विशेषताएं काले और सफेद ड्राइंग से मेल खाती हैं। स्रोत

यहां, सीएलआईपी को केवल स्ट्रॉबेरी वर्ग नाम से उत्पन्न विवरणकों के साथ जोड़ा जाता है, जीपीटी -3 या बाहरी ज्ञान के माध्यम से। वे कभी भी छवि को नहीं देखते हैं, इसलिए वे डिफ़ॉल्ट मानक विशेषताओं जैसे लाल और पत्तेदार पर। जब इमेजनेट-स्केच में रेखाचित्रों पर लागू किया जाता है, तो प्रक्रिया विफल हो जाती है।

इसके विपरीत, छवियों से व्युत्पन्न विशेषताएं वे विशेषताएं चुनती हैं जो स्थानांतरण के तहत सच रहती हैं, जैसे बिंदीदार या दिल के आकार का।

इस प्रकार हम देख सकते हैं कि पहचाना गया वस्तु वास्तव में क्या है के लिए नहीं, बल्कि ‘प्रतिष्ठा’ के लिए विज्ञापित किया जा रहा है; ‘लाल’ और ‘पत्तेदार’ विशेषण स्ट्रॉबेरी उपडोमेन के लिए सटीक हैं, लेकिन छवि (उदाहरण) की सीमाओं से अधिक हैं।

लेखक नई कार्य – शीर्षक विशेषताएं छवियों से, न कि वर्ग नामों से आनी चाहिए: विजन-लैंग्वेज मॉडल के लिए वितरित-शर्त विशेषता चयन – तर्क देते हैं कि यह एक स्थायी और व्यापक समस्या है, और सुझाव देते हैं कि विशेषताओं का चयन सीधे छवियों से किया जाना चाहिए, ताकि वे वास्तव में दृश्यमान हों वितरण स्थानांतरण के तहत, न कि वर्ग-नाम प्राथमिकताओं पर निर्भर करने के लिए।

लेखक कहते हैं:

‘एक लोकप्रिय मार्ग इंटरप्रेटेबल ज़ीरो-शॉट वर्गीकरण के लिए एक बड़े भाषा मॉडल (एलएलएम) को प्रत्येक वर्ग नाम का वर्णन करने और सीएलआईपी को परिणामी विवरणकों के साथ प्रेरित करने के लिए कहता है। हम दिखाते हैं कि इन विवरणकों में थोड़ी दृश्य साक्ष्य होती है: प्रॉम्प्ट से वर्ग नाम हटाने से इमेजनेट सटीकता 59.5% से 15.5% तक गिर जाती है।

‘निदान यह है कि विवरणक लेबल पर सशर्त होते हैं, न कि छवियों पर, इसलिए वे सामान्य अवधारणा का वर्णन करते हैं और डेटा के स्थानांतरण पर भ्रमित करते हैं; एक एलएलएम यह दावा करता है कि स्ट्रॉबेरी लाल होती है, लेकिन इमेजनेट-स्केच में हर स्ट्रॉबेरी एक रंगहीन ड्राइंग है।

‘हम इसलिए छवि संग्रह से विशेषताओं का चयन करते हैं: हम एक बड़े विशेषता पूल को सीएलआईपी के संयुक्त एम्बेडिंग स्थान में छवियों के खिलाफ स्कोर करते हैं और प्रति वर्ग शीर्ष-स्कोरिंग विशेषताओं को बनाए रखते हैं, एक व्याख्यात्मक सेट का उत्पादन करते हुए प्रॉम्प्ट जबकि छवि और पाठ एन्कोडर्स को पूरी प्रक्रिया में तय किया जाता है।’

उनका प्रस्तावित उपाय यह है कि मॉडल वही रहता है, लेकिन वर्ग-नाम विवरणकों पर निर्भर करने के बजाय, यह उम्मीदवार विशेषता पूल के खिलाफ छवियों की जांच करता है, और केवल उन विशेषताओं को बनाए रखता है जो वास्तव में दृश्यमान हैं।

इसकी लागत तर्कसंगत रूप से स्वीकार्य है, क्योंकि यह सुझाव नहीं देता है कि मूल कारण के लिए ‘चीटिंग’ तरीकों की बचत की गई ऊर्जा को फिर से शामिल किया जाए। बल्कि, यह प्रति वर्ग उम्मीदवार विशेषताओं पर एक स्कोरिंग पास जोड़ता है, ताकि विलंबता थोड़ी बढ़ जाए – लेकिन पुनः प्रशिक्षण या पूर्ण आरएजी शैली की पाइपलाइनों की तुलना में बहुत कम। सिद्धांत रूप में, ऊर्जा लागत स्वीकार्य होगी, सटीकता में सुधार के खिलाफ तौली जाएगी।

विधि

चूंकि लेखकों के परीक्षणों की विधि विशेष रूप से जटिल है, और चूंकि उनकी गहराई से जांच से न्यूनतम अतिरिक्त उपयोगी अंतर्दृष्टि प्राप्त होगी, हम, असामान्य रूप से, केवल उनके दृष्टिकोण का एक संक्षिप्त अवलोकन पर विचार करेंगे।

कार्य मूल समस्या को वर्ग-नाम भ्रम के रूप में वर्णित करता है: एक स्थिति जहां प्रदर्शन अर्थपूर्ण विवरणकों से आता हुआ प्रतीत होता है, लेकिन वास्तव में वर्ग नाम पर निर्भर करता है, विवरणक थोड़ा जोड़ते हैं और जैसे ही उस समर्थन को हटा दिया जाता है, तो विफल हो जाते हैं।

पेपर तब तर्क देता है कि यह विफलता अपरिहार्य है, क्योंकि वर्ग नाम से उत्पन्न विवरणक केवल बता सकते हैं कि कोई चीज़ आम तौर पर कैसी दिखती है, न कि विशेष रूप से क्या वास्तव में एक विशिष्ट छवि में मौजूद है। जैसे ही डेटा उन अपेक्षाओं से विचलित होता है, विवरणक न केवल अप्रभावी हो जाते हैं, बल्कि सक्रिय रूप से भ्रामक हो जाते हैं, प्रभावी रूप से सही उत्तर के खिलाफ मतदान करते हैं।

शोधकर्ताओं ने यह भी जांच की कि क्या सीएलआईपी को वर्ग लेबल की सहायता के बिना विशेषताओं का पता लगाने में खराब हो सकता है, या क्या जीपीटी द्वारा उत्पन्न विवरणक बहुत सामान्य हैं कि वे उपयोगी हों। हालांकि, उनके बाद के प्रयोग दोनों स्पष्टीकरणों का खंडन करेंगे।

इस मुद्दे को हल करने के लिए, एक जमे हुए सीएलआईपी मॉडल का उपयोग किया गया था ताकि छवियों की तुलना वीएडब्ल्यू, एलएसए और जीपीटी -3 आउटपुट से उम्मीदवार विशेषता पूल से खींची गई छवियों के खिलाफ की जा सके, केवल उन विशेषताओं को बनाए रखने के लिए जो छवियों से सबसे अच्छी तरह मेल खाती थीं, बिना किसी पुनः प्रशिक्षण या अतिरिक्त छवि-पाठ पर्यवेक्षण की आवश्यकता के।

प्रस्तावित प्रणाली का अवलोकन: एक जमे हुए सीएलआईपी मॉडल दोनों छवियों और एक बड़े उम्मीदवार विशेषता पाठ को एन्कोड करता है, कोसाइन समानता का उपयोग करके यह मापता है कि प्रत्येक विवरणक दृश्य सामग्री से कितनी मजबूती से मेल खाता है। उच्चतम स्कोरिंग विशेषताओं को तब प्रति वर्ग के आधार पर बनाए रखा जाता है, एक व्याख्यात्मक सेट का उत्पादन करते हुए प्रॉम्प्ट जबकि छवि और पाठ एन्कोडर्स को पूरी प्रक्रिया में तय किया जाता है।

डेटा और परीक्षण

लेखकों के प्रयोगों में सीएलआईपी का उपयोग रेसनेट-50 बैकबोन के साथ किया गया था और इमेजनेट पर प्रदर्शन का मूल्यांकन किया गया था, साथ ही चार वितरण-विचलित संस्करणों के साथ: इमेजनेटवी2; इमेजनेट-स्केच; इमेजनेट-ए; और इमेजनेट-आर।

विशेषताएं केवल मूल इमेजनेट प्रशिक्षण छवियों का उपयोग करके चुनी गईं – जिससे विचलित डेटासेट यह जांचने के लिए कि क्या छवि-व्युत्पन्न विशेषताएं तब भी उपयोगी रहती हैं जब दृश्य उपस्थिति बदलती है, तो बाहरी-वितरण परीक्षण के रूप में कार्य करती हैं:

इमेजनेट और चार वितरण-विचलित बेंचमार्क पर शीर्ष-1 वर्गीकरण सटीकता। परिणाम यह दिखाते हैं कि प्रदर्शन तब भी बड़े पैमाने पर समान रहता है जब वर्ग नाम प्रॉम्प्ट में शामिल होते हैं, लेकिन जब विवरणक को अपने दम पर खड़ा करने के लिए मजबूर किया जाता है, तो ढह जाता है, यह सुझाव देते हुए कि उनकी स्पष्ट प्रभावशीलता का अधिकांश हिस्सा वास्तव में वर्ग लेबल से आता है। इसके विपरीत, छवियों से सीधे चुनी गई विशेषताएं सभी परीक्षण किए गए डेटासेट में काफी अधिक जानकारीपूर्ण बनी हुई हैं।

जीपीटी से उत्पन्न उसी उम्मीदवार पूल से विशेषताओं का पुनः चयन करना, लेकिन उन्हें इमेजनेट छवियों पर सशर्त बनाना, वर्ग-नाम-मुक्त सटीकता को 15.5% से 19.4% तक बढ़ा दिया। चूंकि मॉडल, विशेषता पूल और मूल्यांकन प्रोटोकॉल अपरिवर्तित रहे, इसलिए लाभ को पूरी तरह से छवि-सशर्त चयन के लिए जिम्मेदार ठहराया जा सकता है।

परिणाम से यह भी पता चलता है कि सीएलआईपी वर्ग लेबल के बिना विशेषताओं की पहचान कर सकता है, और जीपीटी द्वारा उत्पन्न पूल में पहले से ही उपयोगी विवरणक हैं। मुख्य विफलता तब लगती है लेबल-शर्तित पीढ़ी में, जो अक्सर छवियों के लिए सबसे प्रासंगिक विशेषताओं का खुलासा करने में विफल रहता है।

हालांकि लेखक व्यापक अतिरिक्त प्रयोगों के दौर पर जारी रहते हैं, हम पाठक को आगे के विवरण के लिए स्रोत सामग्री के लिए संदर्भित करते हैं, क्योंकि वे केवल केंद्रीय परिकल्पनाओं की पुष्टि करते हैं जो अब तक रेखांकित की गई हैं – कि लेबल पर निर्भरता वास्तविक छवि डेटा की क्षमता को आधुनिक कंप्यूटर विजन अनुप्रयोगों में कम कर सकती है, सस्ते ‘प्रतिष्ठा’ संभावना के साथ त्रुटि के लिए जोखिम है।

निष्कर्ष

यह विचार करना दिलचस्प है कि आधुनिक जेनरेटिव एआई को उन लाखों हाथ से वर्णित छवियों के लिए कितना ऋणी होना चाहिए जो बड़े पैमाने पर डेटासेट जैसे कॉमन क्रॉल में निगली गईं, हाइपरस्केल युग की शुरुआत में।

हर बार जब एक छवि पहचान या स्वचालित लेबलिंग प्रणाली पुरानी या नई छवि को वर्गीकृत करने या फिर से लेबल करने का प्रयास करती है, तो उस ज्ञान का प्रावधान कुछ विक्रेता को 2004 में किसी ईबे सूची में हॉट 1970 का पत्रिका! लिखने जैसी घटना में वापस चला जाता है।

हालांकि कई लोग मानते हैं कि कीवर्ड स्टफिंग का स्वर्ण युग गूगल के अधिक परिष्कृत पेजरैंक अल्गोरिदम द्वारा लगभग तीन दशक पहले बह गया था, ‘पाठ की दीवार, आशा है कि कुछ चिपक जाएगा’ दृष्टिकोण अभी भी बहुत जीवित है: कल ही, क्वेन-इमेज -3.0 मॉडल के रिलीज पेज के एचटीएमएल को हेडिंग कीवर्ड स्टफिंग पागलपन का एक प्राचीन विस्फोट था (यह अभी भी वहां हो सकता है!):

क्वेन इमेज 3 के रिलीज के लिए एचटीएमएल कोड एक दीवार है कीवर्ड पाठ, कम से कम, लेखन के समय में। स्रोत

चाहे यह कीवर्ड टेक्स्ट का यह तूफान व्यवस्थित रूप से लक्ष्य सूचियों से निकाला गया हो या एसईओ विशेषज्ञों द्वारा हाथ से लिखा गया हो, यह आधुनिक जेनरेटिव एआई प्रणाली के कच्चे मूल का एक प्रमुख उदाहरण है, जिसमें अक्सर अर्थ एक बड़े स्व-हित के पेलोड को ले जाता है जिसे बाद में किसी तरह से छीनना या कम से कम तर्कसंगत प्रणालियों और अनुप्रयोगों में हस्तक्षेप करने वाले ऐसे शब्दों के लिए खाता होना चाहिए।

सबसे पहले बुधवार, 22 जुलाई, 2026 को प्रकाशित