एआई की एनालॉग घड़ियों को पढ़ने में परेशानी गहरे अर्थ की ओर संकेत करती है

चीन और स्पेन के शोधकर्ताओं के एक नए शोध पत्र में पाया गया है कि उन्नत बहुमोडल एआई मॉडल जैसे कि जीपीटी-4.1 भी एनालॉग घड़ियों की तस्वीरों से समय बताने में संघर्ष करते हैं। घड़ियों में छोटे दृश्य परिवर्तन बड़ी व्याख्या त्रुटियों का कारण बन सकते हैं, और फाइन-ट्यूनिंग केवल परिचित उदाहरणों के साथ मदद करती है। परिणाम इन मॉडलों की विश्वसनीयता के बारे में चिंता उठाते हैं जब उन्हें वास्तविक दुनिया के कार्यों में अपरिचित छवियों का सामना करना पड़ता है।

जब मनुष्य किसी डोमेन की गहरी समझ विकसित करते हैं, जैसे कि गुरुत्वाकर्षण या अन्य मूलभूत भौतिक सिद्धांत, तो हम विशिष्ट उदाहरणों से परे जाकर अंतर्निहित अमूर्तता को समझने की कोशिश करते हैं। यह हमें उस ज्ञान को रचनात्मक रूप से विभिन्न संदर्भों में लागू करने और नए उदाहरणों को पहचानने में सक्षम बनाता है, भले ही हमने उन्हें पहले कभी नहीं देखा हो, सिद्धांत को पहचानने के द्वारा।

जब एक डोमेन पर्याप्त महत्व रखता है, तो हम शायद इसे जहां यह मौजूद नहीं है भी देखना शुरू कर देते हैं, जैसे कि पैरिडोलिया के मामले में, जो वास्तविक उदाहरण को पहचानने में विफल होने की उच्च लागत से प्रेरित होता है। यह पैटर्न-मान्यता तंत्र इतना मजबूत है कि यह हमें कोई पैटर्न नहीं होने पर भी व्यापक श्रृंखला के पैटर्न खोजने के लिए प्रेरित करता है।

जितनी जल्दी और बार-बार एक डोमेन हमें सिखाया जाता है, उतना ही गहरा इसका आधार और जीवन भर बना रहता है; और हमें जो पहली दृश्य डेटा दी जाती है, वह अक्सर शिक्षण घड़ियों के रूप में आती है, जहां मुद्रित सामग्री या इंटरैक्टिव एनालॉग घड़ियों का उपयोग हमें समय बताना सिखाने के लिए किया जाता है:

बच्चों को समय बताना सिखाने में मदद करने के लिए शिक्षण सहायता। स्रोत: https://www.youtube.com/watch?v=IBBQXBhSNUs

हालांकि घड़ी डिजाइन में बदलते फैशन कभी-कभी हमें चुनौती दे सकते हैं, इस प्रारंभिक डोमेन-मास्टरी की लचीलापन काफी प्रभावशाली है, जो हमें जटिल या ‘विचित्र’ डिजाइन विकल्पों के बावजूद एनालॉग घड़ियों के चेहरे को पहचानने की अनुमति देती है:

वॉच काउचर में कुछ चुनौतीपूर्ण चेहरे। स्रोत: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

मानवों को हजारों उदाहरणों की आवश्यकता नहीं होती घड़ियों के काम करने के तरीके को सीखने के लिए; एक बार मूल अवधारणा को समझ लेने के बाद, हम लगभग किसी भी रूप में इसकी पहचान कर सकते हैं, यहां तक कि विकृत या अमूर्त होने पर भी।

एआई मॉडल को इस कार्य के साथ जो कठिनाई का सामना करना पड़ता है, इसके विपरीत, एक गहरी समस्या को उजागर करता है: उनकी स्पष्ट ताकत अधिक मात्रा में जोखिम पर निर्भर हो सकती है rather की समझ पर।

नकल के खेल से परे?

सतह-स्तर के प्रदर्शन और वास्तविक ‘समझ’ के बीच तनाव बार-बार बड़े मॉडलों की जांच में सामने आया है। पिछले महीने जेजियांग विश्वविद्यालय और वेस्टलेक विश्वविद्यालय ने एक पत्र में प्रश्न को फिर से तैयार किया, जिसका शीर्षक था क्या पीएचडी-स्तर के एलएलएम वास्तव में मूलभूत जोड़ को समझते हैं? (यह इस लेख का ध्यान केंद्रित नहीं है), निष्कर्ष निकालते हुए:

‘बेंचमार्क में प्रभावशाली प्रदर्शन के बावजूद, मॉडल पैटर्न मिलान पर महत्वपूर्ण निर्भरता दिखाते हैं, प्रतीकात्मक प्रतिनिधित्व और मूलभूत गुणों के उल्लंघन के साथ विफलता के साक्ष्य के रूप में।

‘नियमों के स्पष्ट प्रावधान प्रदर्शन को बिगाड़ते हैं, जो आंतरिक वास्तुकला संबंधी प्रतिबंधों का सुझाव देते हैं। ये अंतर्दृष्टि मूल्यांकन अंतराल को प्रकट करती हैं और वास्तविक गणितीय तर्क के लिए सक्षम वास्तुकला की आवश्यकता पर प्रकाश डालती हैं। ‘

इस सप्ताह प्रश्न फिर से उठता है, अब नैनजिंग विश्वविद्यालय ऑफ एयरोनॉटिक्स एंड एस्ट्रोनॉटिक्स और स्पेन के यूनिवर्सिडाड पॉलिटेकनिका डी मैड्रिड के बीच सहयोग में। शीर्षक क्या बहुमोडल बड़े भाषा मॉडल (एमएलएलएम) वास्तव में एनालॉग घड़ियों पर समय बताना सीखा हैं?, नए पत्र में यह जांच की जाती है कि बहुमोडल मॉडल समय बताने की समझ कैसे समझते हैं।

हालांकि शोध की प्रगति केवल विस्तृत विवरण में कवर की जाती है, शोधकर्ताओं के प्रारंभिक परीक्षणों ने स्थापित किया कि ओपनएआई का जीपीटी-4.1 बहुमोडल भाषा मॉडल विविध एनालॉग घड़ी छवियों से समय सही ढंग से पढ़ने में संघर्ष करता था, अक्सर सरल मामलों में भी गलत उत्तर देता था।

यह मॉडल के प्रशिक्षण डेटा में एक संभावित अंतर की ओर संकेत करता है, जो एक अधिक संतुलित डेटासेट की आवश्यकता को उठाता है, यह परीक्षण करने के लिए कि क्या मॉडल वास्तव में अंतर्निहित अवधारणा सीख सकता है। इसलिए, लेखकों ने हर संभव समय को समान रूप से कवर करने वाले एक सिंथेटिक एनालॉग घड़ियों का डेटासेट तैयार किया, जिसमें आमतौर पर इंटरनेट छवियों में पाए जाने वाले पूर्वाग्रहों से बचा जाता है:

शोधकर्ताओं के सिंथेटिक एनालॉग घड़ियों के डेटासेट का एक उदाहरण, जिसका उपयोग जीपीटी मॉडल को फाइन-ट्यून करने के लिए किया गया था। स्रोत: https://huggingface.co/datasets/migonsa/analog_watches_finetune

फाइन-ट्यूनिंग से पहले, जीपीटी-4.1 इन घड़ियों को पढ़ने में लगातार विफल रहता था। हालांकि, नए संग्रह के संपर्क में आने के बाद, इसका प्रदर्शन में सुधार हुआ – लेकिन केवल जब नई छवियां उन लोगों की तरह दिखती थीं जिन्हें यह पहले से ही देख चुका था।

जब घड़ी का आकार या हाथों की शैली बदल जाती है, तो सटीकता तेजी से गिर जाती है; यहां तक कि छोटे बदलाव, जैसे कि पतले हाथ या तीर के सिरे (दाएं सबसे छवि नीचे), इसे बंद करने के लिए पर्याप्त थे; और जीपीटी-4.1 को अतिरिक्त रूप से ‘पिघलने वाली घड़ियों’ की व्याख्या करने में संघर्ष करना पड़ा:

मानक डिजाइन (बाएं), विकृत आकार (मध्य), और संशोधित हाथ (दाएं) के साथ घड़ी छवियों, साथ ही जीपीटी-4.1 द्वारा फाइन-ट्यूनिंग से पहले और बाद में लौटाए गए समय। स्रोत: https://arxiv.org/pdf/2505.10862

लेखकों का निष्कर्ष है कि वर्तमान मॉडल जैसे जीपीटी-4.1 संभवतः समय बताने के माध्यम से दृश्य पैटर्न मिलान के माध्यम से सीखते हैं, न कि किसी गहरी अवधारणा के माध्यम से, यह दावा करते हैं:

‘[जीपीटी 4.1] विफल रहता है जब घड़ी विकृत होती है या जब हाथ पतले होते हैं और तीर के सिरे होते हैं। समय अनुमान में माध्य पूर्ण त्रुटि (एमएई) 150 यादृच्छिक समय में 232.48 सेकंड थी मूल घड़ियों के लिए, 1380.69 सेकंड जब आकार विकृत होता है और 3726.93 सेकंड जब हाथ बदले जाते हैं।

‘इन परिणामों से पता चलता है कि एमएलएलएम ने समय बताना नहीं सीखा है, बल्कि पैटर्न को याद रखा है।’

पर्याप्त समय

अधिकांश प्रशिक्षण डेटासेट वेब छवियों पर निर्भर करते हैं, जो अक्सर कुछ समय को दोहराते हैं – विशेष रूप से 10:10, जो घड़ी विज्ञापनों में एक लोकप्रिय सेटिंग है:

नए पत्र से, एनालॉग घड़ी छवियों में ‘दस मिनट बाद दस’ समय की प्रचुरता का एक उदाहरण।

इस समय की सीमित श्रृंखला के कारण, मॉडल को केवल एक संकीर्ण श्रृंखला के घड़ी कॉन्फ़िगरेशन दिखाई दे सकते हैं, जो इसकी उन पैटर्न से परे सामान्यीकरण करने की क्षमता को सीमित करता है।

विकृत घड़ियों की व्याख्या करने में मॉडल की विफलता के कारणों के बारे में, पत्र में कहा गया है:

‘हालांकि जीपीटी-4.1 मानक घड़ी छवियों के साथ असाधारण रूप से अच्छा प्रदर्शन करता है, यह आश्चर्यजनक है कि हाथों को पतला करने और तीर के सिरे जोड़ने से इसकी सटीकता में काफी गिरावट आती है।

‘आश्चर्यजनक रूप से, एक विकृत डायल – जो अधिक दृश्य जटिलता का सुझाव देता है – प्रदर्शन पर अपेक्षाकृत छोटा प्रभाव डालता है।’

‘यह एक प्रश्न उठाता है: एमएलएलएम घड़ियों की व्याख्या कैसे करते हैं, और वे क्यों विफल होते हैं? एक संभावना यह है कि पतले हाथ मॉडल की दिशा की धारणा को बाधित करते हैं, इसकी स्थानिक अभिविन्यास की समझ को कमजोर करते हैं।

‘वैकल्पिक रूप से, हाथों को मिलाने के लिए मॉडल के प्रयास में अन्य कारक हो सकते हैं जो भ्रम पैदा करते हैं।’

लेखकों का तर्क है कि इन विफलताओं के मूल कारण की पहचान करना बहुमोडल मॉडलों को आगे बढ़ाने के लिए महत्वपूर्ण है: यदि मुद्दा मॉडल की स्थानिक दिशा की धारणा में है, तो फाइन-ट्यूनिंग एक सरल समाधान प्रदान कर सकती है; लेकिन यदि समस्या कई दृश्य संकेतों को एकीकृत करने में एक व्यापक कठिनाई से उत्पन्न होती है, तो यह इन प्रणालियों द्वारा जानकारी के प्रसंस्करण में एक मूलभूत कमजोरी की ओर संकेत करता है।

फाइन-ट्यूनिंग परीक्षण

यह परीक्षण करने के लिए कि क्या मॉडल की विफलता को जोखिम के साथ दूर किया जा सकता है, जीपीटी-4.1 को पहले उल्लिखित और व्यापक सिंथेटिक डेटासेट पर फाइन-ट्यून किया गया था। फाइन-ट्यूनिंग से पहले, इसकी भविष्यवाणियां व्यापक रूप से बिखरी हुई थीं, जिसमें सभी प्रकार की घड़ियों में महत्वपूर्ण त्रुटियां थीं। फाइन-ट्यूनिंग के बाद, मानक घड़ी चेहरों पर सटीकता में तेजी से सुधार हुआ, और, एक हद तक, विकृत लोगों पर भी।

हालांकि, संशोधित हाथों वाली घड़ियों पर, जैसे कि पतले आकार या तीर के सिरे, बड़ी त्रुटियां बनी रहीं।

दो अलग-अलग विफलता मोड उभरे: सामान्य और विकृत घड़ियों पर, मॉडल आमतौर पर हाथों की दिशा को गलत समझता था; लेकिन संशोधित हाथ शैलियों वाली घड़ियों पर, यह अक्सर प्रत्येक हाथ के कार्य को भ्रमित करता था, घंटे के हाथ को मिनट के हाथ के रूप में या मिनट के हाथ को सेकंड के रूप में गलत समझता था।

मॉडल की प्रारंभिक कमजोरी और फाइन-ट्यूनिंग के माध्यम से आंशिक लाभ की तुलना दिखा रहा है, 150 यादृच्छिक घड़ियों के लिए अनुमानित बनाम वास्तविक समय, सेकंड में।

यह सुझाव देता है कि मॉडल ने दृश्य विशेषताओं जैसे हाथ की मोटाई को विशिष्ट भूमिकाओं के साथ जोड़ा है, और जब ये संकेत बदल जाते हैं तो संघर्ष करता है।

अज्ञात डिज़ाइनों पर सीमित सुधार इस बात पर और संदेह उठाता है कि क्या इस प्रकार का मॉडल समय बताने की अमूर्त अवधारणा सीखता है, या केवल पैटर्न मिलान को परिष्कृत करता है।

हाथ संकेत

तो जबकि फाइन-ट्यूनिंग ने जीपीटी-4.1 के प्रदर्शन में सुधार किया मानक एनालॉग घड़ियों पर, यह घड़ियों पर बहुत कम प्रभाव डालता है जिनमें पतले हाथ या तीर के सिरे होते हैं, जो यह सुझाव देते हैं कि मॉडल की विफलता अधिक से अधिक अमूर्त तर्क के बजाय हाथ की भूमिका के बारे में भ्रम से उत्पन्न हो सकती है।

यह देखने के लिए कि क्या सटीकता में सुधार हो सकता है यदि यह भ्रम दूर हो जाए, तो ‘संशोधित-हाथ’ डेटासेट के लिए मॉडल की भविष्यवाणियों का एक नया विश्लेषण किया गया था। आउटपुट को दो समूहों में विभाजित किया गया था: मामले जहां जीपीटी-4.1 ने घंटे, मिनट और सेकंड के हाथों को सही ढंग से पहचाना; और मामले जहां यह नहीं किया।

भविष्यवाणियों का मूल्यांकन फाइन-ट्यूनिंग से पहले और बाद में किया गया था, और परिणाम मानक घड़ियों से तुलना किए गए थे; प्रत्येक हाथ के लिए डायल स्थिति को बेसलाइन के रूप में उपयोग करके कोणीय त्रुटि को भी मापा गया था:

फाइन-ट्यूनिंग से पहले और बाद में संशोधित-हाथ डेटासेट में हाथ-भूमिका भ्रम के साथ और बिना त्रुटि की तुलना।

हाथों की भूमिकाओं को भ्रमित करने से सबसे बड़ी त्रुटियां हुईं। जब जीपीटी-4.1 ने घंटे के हाथ को मिनट के हाथ के रूप में या इसके विपरीत गलत समझा, तो परिणामी समय अनुमान अक्सर बहुत दूर थे। इसके विपरीत, एक सही ढंग से पहचाने गए हाथ की दिशा को गलत समझने से छोटी त्रुटियां हुईं। तीन हाथों में, घंटे के हाथ ने फाइन-ट्यूनिंग से पहले सबसे बड़ी कोणीय त्रुटि दिखाई, जबकि सेकंड के हाथ ने सबसे कम दिखाई।

हाथ प्रकार द्वारा कोणीय त्रुटि, फाइन-ट्यूनिंग से पहले और बाद में हाथ-भूमिका भ्रम के साथ और बिना, संशोधित-हाथ डेटासेट में।

केवल दिशात्मक त्रुटियों पर ध्यान केंद्रित करने के लिए, विश्लेषण को उन मामलों तक सीमित कर दिया गया था जहां मॉडल ने प्रत्येक हाथ के कार्य को सही ढंग से पहचाना। यदि मॉडल ने समय बताने की एक सामान्य अवधारणा को आंतरिक बनाया होता, तो इन उदाहरणों पर इसका प्रदर्शन मानक घड़ियों पर इसकी सटीकता के अनुरूप होना चाहिए था। ऐसा नहीं था, और सटीकता अभी भी काफी खराब रही।

यह देखने के लिए कि क्या हाथ आकार मॉडल की दिशा की समझ में हस्तक्षेप करता है, एक दूसरा प्रयोग चलाया गया था: दो नए डेटासेट बनाए गए थे, प्रत्येक में साठ सिंथेटिक घड़ियां थीं जिनमें केवल एक घंटे का हाथ था जो एक अलग मिनट अंक को इंगित करता था। एक सेट में मूल हाथ डिजाइन था, और दूसरे में संशोधित संस्करण था। मॉडल से पूछा गया था कि हाथ किस टिक मार्क को इंगित कर रहा था।

परिणामों ने संशोधित हाथों के साथ एक छोटी सी गिरावट दिखाई, लेकिन मॉडल की व्यापक विफलता के लिए पर्याप्त नहीं। एक अज्ञात दृश्य विशेषता मॉडल की समग्र व्याख्या को बाधित करने में सक्षम दिखाई दी।

मानक, विकृत और संशोधित-हाथ घड़ियों पर जीपीटी-4.1 के प्रदर्शन का अवलोकन, फाइन-ट्यूनिंग से पहले और बाद में, असमान लाभ और लंबे समय से चली आ रही कमजोरियों को उजागर करता है।

निष्कर्ष

जबकि पत्र का फोकस पहली नज़र में तुच्छ लग सकता है, यह वास्तव में महत्वपूर्ण नहीं है कि दृष्टि-भाषा मॉडल कभी 100% सटीकता के साथ एनालॉग घड़ियों को पढ़ना सीखते हैं या नहीं। जो इस काम को महत्व देता है वह एक गहरी बार-बार उठने वाला प्रश्न है: क्या मॉडलों को अधिक (और अधिक विविध) डेटा के साथ संतृप्त करने से मानवों द्वारा अमूर्तता और सामान्यीकरण के माध्यम से प्राप्त की गई डोमेन समझ प्राप्त हो सकती है; या क्या एकमात्र व्यवहार्य मार्ग यह है कि डोमेन को पर्याप्त उदाहरणों से भर दें ताकि अनुमान में हर संभावित परिवर्तन का अनुमान लगाया जा सके; या क्या एकमात्र व्यवहार्य मार्ग यह है कि डोमेन को पर्याप्त उदाहरणों से भर दें ताकि अनुमान में हर संभावित परिवर्तन का अनुमान लगाया जा सके।

दोनों मार्ग वर्तमान वास्तुकला की क्षमताओं के बारे में संदेह पैदा करते हैं।

सोमवार, 19 मई, 2025 को पहली बार प्रकाशित