Anderson का एंगल
यहां तक कि राज्य-ऑफ-द-आर्ट भाषा मॉडल भी समयिक तर्क को समझने के लिए संघर्ष करते हैं
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
भविष्य की स्थितियों का पूर्वानुमान करना कंप्यूटर विजन अनुसंधान में एक महत्वपूर्ण मिशन है – न केवल रोबोटिक्स में, जहां वास्तविक दुनिया की स्थितियों पर विचार किया जाना चाहिए, बल्कि मिशन-महत्वपूर्ण कार्यों के साथ मशीन लर्निंग सिस्टम को शारीरिक दुनिया की पर्याप्त समझ की आवश्यकता होती है।
हालांकि, कुछ मामलों में, समयिक वास्तविकता का एक स्पष्ट रूप से प्रभावशाली ज्ञान धोखा दे सकता है: संयुक्त अरब अमीरात से एक नए शोध पत्र में पाया गया है कि राज्य-ऑफ-द-आर्ट मल्टीमॉडल लार्ज लैंग्वेज मॉडल (एमएलएलएम), जिनमें क्षेत्र के नेता जीपीटी-4ओ और गूगल जेमिनी शामिल हैं, समय को छवियों में कैसे प्रस्तुत किया जाता है, इसे व्याख्या करने में असफल रहते हैं।
उदाहरण के लिए, अनुक्रमिक जोड़े (नीचे दी गई छवि देखें), जो मानवों के लिए भी चुनौतीपूर्ण नहीं होंगे जब उन्हें गलत क्रम में रखा जाता है, उन्नत एमएलएलएम को भ्रमित कर सकते हैं जब उन्हें अप्रत्याशित संदर्भों या कॉन्फ़िगरेशन में प्रस्तुत किया जाता है (जैसे कि दूसरी छवि पहले, एकल छवियों में जोड़कर, अनुक्रमिक कई छवियों में जो सही समयिक क्रम का प्रतिनिधित्व कर सकती हैं या नहीं)।
शोध के लिए संकलित डेटासेट के नमूने, जो ‘पहले और बाद’ छवियों के रूप में अनुक्रमिक घटनाओं को दिखाते हैं। शोधकर्ताओं ने इस डेटा को https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer पर उपलब्ध कराया है
शोधकर्ताओं ने मॉडल को मूलभूत समयिक तर्क चुनौतियों के साथ काम किया, जैसे कि घटना क्रम निर्धारित करना या समय अंतराल का अनुमान लगाना, और पाया कि सात एमएलएलएम परीक्षण में मानव सटीकता से काफी नीचे प्रदर्शन किया।
‘सामान्य तौर पर, [परिणाम] यह दर्शाते हैं कि सभी वर्तमान एमएलएलएम, जीपीटी-4ओ सहित – हमारे मूल्यांकन में सबसे उन्नत मॉडल – प्रस्तावित बेंचमार्क के साथ संघर्ष करते हैं। जीपीटी-4ओ के अन्य मॉडलों की तुलना में श्रेष्ठ प्रदर्शन के बावजूद, यह विभिन्न सेटिंग्स में सुसंगत रूप से सटीक समयिक तर्क प्रदर्शित करने में विफल रहता है।
‘सुसंगत सटीकता स्कोर सभी मॉडलों के लिए कम है, जो उनकी क्षमता में महत्वपूर्ण सीमाओं को दर्शाता है दृश्य इनपुट से समयिक अनुक्रमों को समझने और व्याख्या करने के लिए। ये कमियां तब भी स्पष्ट हैं जब मॉडल को मल्टी-इमेज इनपुट या अनुकूलित प्रॉम्प्ट प्रदान किए जाते हैं, यह सुझाव देते हुए कि वर्तमान आर्किटेक्चर और प्रशिक्षण विधियां समयिक क्रम समझ के लिए पर्याप्त नहीं हैं।
मशीन लर्निंग सिस्टम को सबसे सटीक, लेकिन सबसे कुशल और लोगों को पसंद आने वाले परिणामों के लिए अनुकूलित किया जाता है। चूंकि वे अपने तर्क को स्पष्ट रूप से प्रकट नहीं करते हैं, इसलिए यह जानना मुश्किल हो सकता है कि वे कब धोखा दे रहे हैं या ‘शॉर्टकट’ का उपयोग कर रहे हैं।
इस तरह के मामले में, एमएलएलएम सही उत्तर तक पहुंच सकता है लेकिन गलत तरीके से। यह तथ्य कि ऐसा उत्तर सही हो सकता है, मॉडल में गलत आत्मविश्वास पैदा कर सकता है, जो बाद में उसी तरीके से गलत परिणाम पैदा कर सकता है।
और भी बुरी बात यह है कि यह गलत दिशा विकास श्रृंखला में और अधिक गहराई से जड़ सकती है यदि मानव इसे प्रभावित करते हैं और परीक्षणों और एनोटेशन सत्रों में सकारात्मक प्रतिक्रिया देते हैं जो डेटा और/या मॉडल की दिशा में योगदान कर सकते हैं।
इस मामले में, सुझाव यह है कि एमएलएलएम समयिक घटनाओं की सच्ची समझ को ‘नकल’ कर रहे हैं, द्वितीयक संकेतकों (जैसे समय टिकट, वीडियो डेटा में) को देखकर और उन पर आधारित करके, या यहां तक कि अनुक्रमिक रूप से संख्यांकित फ़ाइल नामों पर भी।
यह आगे संकेत देता है कि एमएलएलएम वर्तमान में समयिक घटनाओं की अवधारणा को सामान्यीकृत करने की किसी भी वास्तविक परिभाषा को संतुष्ट नहीं करते हैं – कम से कम, उतना जितना मानव कर सकते हैं।
नया शोध पत्र क्या मल्टीमॉडल एमएलएलएम दृश्य समयिक समझ और तर्क कर सकते हैं? उत्तर है नहीं! है, और यह तीन शोधकर्ताओं द्वारा मोहम्मद बिन जायद विश्वविद्यालय के कृत्रिम बुद्धिमत्ता और अलीबाबा इंटरनेशनल डिजिटल कॉमर्स से आया है।
डेटा और परीक्षण
लेखकों का उल्लेख है कि पिछले बेंचमार्क और अध्ययन, जैसे कि एमएमयू और टेम्पोरलबेंच, एकल-छवि इनपुट पर केंद्रित होते हैं या एमएलएलएम के लिए प्रश्न तैयार करते हैं जो उत्तर देने के लिए बहुत आसान हो सकते हैं, और शॉर्टकट व्यवहार की प्रवृत्ति को उजागर नहीं कर सकते हैं।
इसलिए, लेखक दो अद्यतन दृष्टिकोण प्रदान करते हैं: समयिक क्रम समझ (टीओयू) और समय-लैप्स अनुमान (टीएलई)। टीओयू दृष्टिकोण मॉडल की क्षमता का परीक्षण करता है कि वे वीडियो फ्रेम की जोड़ियों से घटनाओं का सही क्रम निर्धारित कर सकते हैं; टीएलई विधि एमएलएलएम की क्षमता का मूल्यांकन करती है कि वे दो छवियों के बीच समय अंतर का अनुमान लगा सकते हैं, जो कि सेकंड से लेकर वर्षों तक हो सकता है।
<img class=" wp-image-211730" src="https://www.unite.ai/wp-content/uploads/2025/01/two-methods-temporal-order-understanding-and-time-lapse-estimation.jpg" alt="पत्र से, टेम्पोरलवीक्यूए बेंचमार्क के दो मुख्य कार्य: समयिक क्रम समझ में, मॉडल तय करता है कि कौन सी छवि पहले हुई घटना को दिखाती है; समय-लैप्स अनुमान में, मॉडल दो छवियों के बीच का समय अंतर अनुमान लगाता है, जिसमें सेकंड, मिनट, दिन या वर्ष जैसे विकल्प शामिल हैं। ये कार्य दृश्य घटनाओं के समय और अनुक्रम के बारे में एमएलएलएम के तर्क का परीक्षण करने के लिए हैं। स्रोत: https://arxiv.org/pdf/2501.10674
टीओयू बेंचमार्क के लिए, शोधकर्ताओं ने 360 छवि जोड़ियों को पिक्साबे और पेक्सल्स से खुले स्रोत वीडियो का उपयोग करके तैयार किया, ताकि डेटासेट को जीयूआई के माध्यम से उपलब्ध कराया जा सके।
वीडियो विभिन्न विषयों को कवर करते थे, जिनमें दैनिक गतिविधियों में लोग शामिल थे, साथ ही गैर-मानव सामग्री जैसे कि जानवर और पौधे। इनसे घटनाओं की एक श्रृंखला को दर्शाने वाली फ्रेम की जोड़ियों का चयन किया गया था, जिसमें पर्याप्त भिन्नता थी ताकि प्रारंभिक फ्रेम ‘स्पष्ट’ हो।
इन दो तस्वीरों का समयिक तर्क से बचना असंभव है, क्योंकि चाय को नली से वापस चूसा नहीं जा सकता है।
इस प्रकार, 360 छवि जोड़ियों का अधिग्रहण किया गया।
टीएलई दृष्टिकोण के लिए, गूगल और फ्लिकर से कॉपीराइट-मुक्त छवियों का चयन किया गया था, साथ ही यूट्यूब पर कॉपीराइट-मुक्त वीडियो के चयनित फ्रेम। इन वीडियो की सामग्री दृश्यों या वस्तुओं को दर्शाती थी जिनका परिवर्तन अंतराल सेकंड से लेकर दिनों या मौसमों तक हो सकता था – जैसे कि फल का पकना या परिदृश्य में मौसम का बदलाव।
इस प्रकार, टीएलई विधि के लिए 125 छवि जोड़ियों का संकलन किया गया।
परीक्षणों में भाग लेने वाले सभी एमएलएलएम मल्टी-इमेज इनपुट को संसाधित नहीं कर सकते थे; इसलिए, प्रत्येक मॉडल की क्षमताओं को समायोजित करने के लिए परीक्षण भिन्न थे।
क्यूरेटेड डेटासेट के कई संस्करण तैयार किए गए, जिनमें से कुछ जोड़ियों को लंबवत रूप से जोड़ा गया था, और अन्य को क्षैतिज रूप से। आगे के संस्करणों में जोड़ियों के सही और सही समयिक क्रम को स्वapped किया गया था।
दो प्रॉम्प्ट प्रकार विकसित किए गए। पहला इस टेम्पलेट का अनुसरण करता है:
क्या (बाएं / ऊपर / पहले) छवि में घटना (दाएं / नीचे / दूसरे) छवि में घटना से पहले हुई? सच या झूठा बताएं, तर्क के साथ।
दूसरा इस योजना का पालन करता है:
इन दो छवियों के बीच, कौन सी छवि पहले हुई घटना को दर्शाती है? (बाएं या दाएं / ऊपर या नीचे / पहले या दूसरे) बताएं, तर्क के साथ।
टीएलई के लिए, प्रश्न बहुविकल्पी थे, जिसमें मॉडल को दो प्रस्तुत छवियों के बीच समय अंतर का मूल्यांकन करने के लिए कहा गया था, जिसमें सेकंड, मिनट, घंटे, दिन, महीने और वर्ष विकल्पों के रूप में उपलब्ध थे। इस कॉन्फ़िगरेशन में, सबसे हाल की छवि दाईं ओर प्रस्तुत की गई थी।
यहाँ उपयोग किया गया प्रॉम्प्ट था:
दी गई छवि में, पहली छवि (बाएं) और दूसरी छवि (दाएं) के बीच कितना समय बीता है?
निम्नलिखित विकल्पों में से एक चुनें:
-
15 सेकंड से कम
बी। 2 मिनट से 15 मिनट के बीच
सी। 1 घंटे से 12 घंटे के बीच
डी। 2 दिन से 30 दिन के बीच
ई। 4 महीने से 12 महीने के बीच
एफ। 3 वर्ष से अधिक
परीक्षण किए गए एमएलएलएम में चैटजीपीटी-4ओ; जेमिनी1.5-प्रो; एलएलएवीए-नेक्स्ट; इंटरनवीएल; क्वेन-वीएल; लामा-3-विजन; और एलएलएवीए-コट शामिल थे।
समयिक क्रम समझ: परिणाम
विभिन्न मॉडलों और इनपुट लेआउट पर समयिक क्रम समझ के परिणाम, जो विभिन्न सेटअप और प्रॉम्प्ट के लिए सटीकता और सुसंगतता को दर्शाते हैं।
उपरोक्त परिणामों के संबंध में, लेखकों ने पाया कि सभी परीक्षण किए गए एमएलएलएम, जीपीटी-4ओ (जो सबसे अच्छा समग्र प्रदर्शन दिखाया) सहित, टेम्पोरलवीक्यूए बेंचमार्क के साथ संघर्ष करते हैं – और यहां तक कि जीपीटी-4ओ भी विभिन्न कॉन्फ़िगरेशन में सुसंगत रूप से सटीक समयिक तर्क प्रदर्शित करने में विफल रहता है।
लेखकों का तर्क है कि एमएलएलएम में सुसंगत रूप से कम सटीकता स्कोर उनकी क्षमता में महत्वपूर्ण सीमाओं को दर्शाता है दृश्य इनपुट से समयिक अनुक्रमों को समझने और व्याख्या करने के लिए। यह कमियां तब भी स्पष्ट हैं जब मॉडल को मल्टी-इमेज इनपुट या अनुकूलित प्रॉम्प्ट प्रदान किए जाते हैं, यह सुझाव देते हुए कि वर्तमान आर्किटेक्चर और प्रशिक्षण विधियां समयिक क्रम समझ के लिए पर्याप्त नहीं हैं।
परीक्षणों ने प्रॉम्प्ट रणनीतियों में महत्वपूर्ण भिन्नता दिखाई। जबकि जीपीटी-4ओ ने अनुकूलित प्रॉम्प्ट के साथ सुधार दिखाया (एकल-छवि में 4% और मल्टी-इमेज में 65.3% तक पहुंच गया), प्रदर्शन अभी भी स्वीकार्य स्तर से नीचे रहा।
मॉडल जैसे एलएलएवीए-नेक्स्ट और क्वेन-वीएल अधिक संवेदनशील थे, जिनका प्रदर्शन विभिन्न प्रॉम्प्ट का उपयोग करने पर गिर गया, यह सुझाव देते हुए कि प्रॉम्प्ट इंजीनियरिंग अकेले एमएलएलएम की मूलभूत सीमाओं को समयिक तर्क के संबंध में पार नहीं कर सकती है।
परीक्षणों से यह भी पता चला कि छवि लेआउट (यानी, ऊर्ध्वाधर बनाम क्षैतिज) मॉडल के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है। जीपीटी-4ओ ने ऊर्ध्वाधर व्यवस्था के साथ अपनी सुसंगतता में सुधार किया, 39.2% से 52.8% तक बढ़ गया; हालांकि, अन्य मॉडल, जिनमें एलएलएवीए स्ट्रेन शामिल हैं, ने मजबूत दिशात्मक पूर्वाग्रह दिखाए, एक दिशा में उत्कृष्टता प्रदर्शित करते हुए लेकिन दूसरे में विफल होते हैं।
यह संकेत देता है कि ये असंगतियां समयिक तर्क के बजाय स्थानिक संकेतों पर निर्भरता को दर्शाती हैं, एमएलएलएम वास्तव में घटनाओं के क्रम या समय के साथ प्रगति का विश्लेषण नहीं करते हैं। इसके बजाय, वे छवियों की व्यवस्था से संबंधित पैटर्न या दृश्य विशेषताओं पर भरोसा करते हैं, जैसे कि उनकी स्थिति या संरेखण, निर्णय लेने के लिए।
गुणात्मक परीक्षण जीपीटी-4ओ की भविष्यवाणियों को उजागर करता है जब यह विभिन्न इनपुट क्रमों का सामना करता है। पहले क्रम में, छवि जोड़े उनके मूल क्रम में प्रस्तुत किए जाते हैं, जबकि दूसरे क्रम में क्रम उल्टा होता है। सही वर्गीकरण हरे रंग में चिह्नित हैं, शुद्ध वर्गीकरण लाल रंग में, हॉलुसिनेटेड तर्क नारंगी में, और तार्किक या ‘अमान्य’ तर्क भूरे रंग में, विभिन्न इनपुट कॉन्फ़िगरेशन में मॉडल की असंगतता को प्रकट करता है।
एकल-छवि और मल्टी-इमेज इनपुट के बीच तुलना परीक्षणों ने सीमित समग्र सुधार दिखाया, जीपीटी-4ओ मल्टी-इमेज इनपुट पर थोड़ा बेहतर प्रदर्शन करता है, 31.0% से 43.6% (पी1 के साथ) और 46.0% से 65.3% (पी2 के साथ) तक बढ़ गया।
अन्य मॉडल, जैसे इंटरनवीएल, ने स्थिर लेकिन निम्न सटीकता दिखाई, जबकि क्वेन-वीएल ने मामूली लाभ देखा। लेखकों का निष्कर्ष है कि ये परिणाम यह दर्शाते हैं कि अतिरिक्त दृश्य संदर्भ समयिक तर्क क्षमताओं को महत्वपूर्ण रूप से बढ़ाने में विफल रहता है, क्योंकि मॉडल समयिक जानकारी को प्रभावी ढंग से एकीकृत करने में संघर्ष करते हैं।
मानव अध्ययन
एक मानव अध्ययन में, तीन सर्वेक्षण किए गए ताकि यह आकलन किया जा सके कि कैसे सर्वोत्तम प्रदर्शन करने वाले मल्टीमॉडल एमएलएलएम ने मानव अनुमान के साथ तुलना की।
मानवों ने 90.3% सटीकता हासिल की, जो जीपीटी-4ओ के 65.3% से 25% बेहतर थी। डेटासेट विश्वसनीय साबित हुआ, मानव त्रुटियों को कम से कम रखा गया और सही उत्तरों पर सुसंगत समझौता हुआ।
पहले परीक्षण के दौरान मानव उपयोगकर्ता अध्ययन के परिणाम।
समय-लैप्स अनुमान: परिणाम
टीएलई के लिए परिणाम: समय-लैप्स अनुमान मॉडल की सटीकता का मूल्यांकन करता है कि वे छवि जोड़े के बीच अंतराल को कैसे पहचानते हैं, जो सेकंड से लेकर वर्षों तक हो सकता है। यह कार्य मॉडल की क्षमता का परीक्षण करता है कि वे समयिक अंतर के लिए सही समय स्केल का चयन करें।
इन परीक्षणों में, एमएलएलएम ने समय-लैप्स अनुमान पर केवल पर्याप्त रूप से प्रदर्शन किया: जीपीटी-4ओ ने 70% सटीकता हासिल की, लेकिन अन्य मॉडलों ने काफी खराब प्रदर्शन किया (उपरोक्त तालिका देखें), और प्रदर्शन विभिन्न समय स्केल पर भी भिन्न था।
लेखकों का टिप्पणी है:
‘समय-लैप्स अनुमान का कार्य एमएलएलएम की क्षमता का परीक्षण करता है कि वे छवि जोड़े के बीच समयिक अंतराल का अनुमान लगा सकते हैं। [सभी] एमएलएलएम, जीपीटी-4ओ और जेमिनी1.5-प्रो जैसे शीर्ष प्रदर्शनकर्ताओं सहित, इस कार्य के साथ संघर्ष करते हैं, केवल 60-70% की मध्यम सटीकता स्तर प्राप्त करते हैं। जीपीटी-4ओ का प्रदर्शन असंगत है, सेकंड और वर्षों में मजबूत प्रदर्शन दिखाता है लेकिन घंटों में कमजोर प्रदर्शन करता है।
‘इसी तरह, एलएलएवीए-コट सेकंड और दिनों के समय अंतराल में असाधारण प्रदर्शन दिखाता है, जबकि अन्य समय अंतराल में उल्लेखनीय रूप से खराब प्रदर्शन करता है।
मानव अध्ययन
टीएलई के लिए मानव अध्ययन में, मानव प्रदर्शन जीपीटी-4ओ (इस श्रेणी में भी सर्वोत्तम प्रदर्शन करने वाले मॉडल) को 12.3% से बेहतर था।
लेखकों का नोट है कि कुछ चुनौतियां विशेष रूप से मांग वाली थीं, और एक मामले में सभी मानव प्रतिभागियों ने गलत उत्तर दिया, साथ ही सभी एआई प्रतिभागियों ने।
लेखकों का निष्कर्ष है कि जीपीटी-4ओ इस क्षेत्र में ‘काफी मजबूत तर्क क्षमता’ प्रदर्शित करता है, इसके द्वारा प्रस्तुत की गई छवियों के क्रम की परवाह किए बिना।
निष्कर्ष
यदि एमएलएलएम अंततः पर्याप्त ‘शॉर्टकट’ डेटा एकत्र करते हैं और अवशोषित करते हैं ताकि वे इस प्रकार की चुनौतियों को कवर कर सकें, तो यह एक मoot बिंदु बन सकता है कि क्या वे इस डोमेन में मानव-शैली की सामान्यीकरण क्षमता विकसित कर सकते हैं या नहीं।
न ही यह ज्ञात है कि हम अपनी समयिक तर्क क्षमताओं को किस मार्ग से प्राप्त करते हैं – क्या हम भी ‘चीट’ करते हैं जब तक कि सीखे गए अनुभव की मात्रा एक पैटर्न का खुलासा नहीं करती जो इस प्रकार के परीक्षण के संबंध में ‘वृत्ति’ के रूप में कार्य करता है? *
* मॉडलों को हानि कार्यों के साथ अनुकूलित किया जा रहा है जिसमें मानव प्रतिक्रिया का योगदान है, और मानव परीक्षणों और बाद के ट्राइएज के माध्यम से प्रभावी ढंग से अनुकूलित किया जा रहा है।
सोमवार, 27 जनवरी, 2025 को पहली बार प्रकाशित
