विचार नेता
एलएलएम्स की गणित में विफलता और इसे हल करने का तरीका
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
गणित ने हमेशा एआई मॉडल्स के लिए एक महत्वपूर्ण चुनौती पेश की है। गणित में महारत हासिल करने के लिए जटिल तर्क कौशल की आवश्यकता होती है, और एआई के लिए यह कार्य बिल्कुल सीधा नहीं है। यह एक बड़ी समस्या पैदा करता है क्योंकि पेशेवर, व्यक्तिगत और शैक्षिक सफलता के लिए गणितीय कौशल का महत्व है।
अपनी उल्लेखनीय क्षमताओं के बावजूद, बड़े भाषा मॉडल (एलएलएम) अक्सर जटिल गणितीय कार्यों के साथ संघर्ष करते हैं, जैसे कि ज्यामिति, जो उन्नत तर्क कौशल की मांग करते हैं। यह हमें एक महत्वपूर्ण प्रश्न के पास ले जाता है: एक एआई मॉडल की गणितीय क्षमता कितनी वास्तविक तर्क से बनी है और कितनी केवल प्रशिक्षण डेटा की याददाश्त से?
एप्पल के हाल के निष्कर्ष दिखाते हैं कि जब प्राथमिक विद्यालय के गणित शब्द समस्याओं पर ध्यान केंद्रित किया जाता है, तो सबसे उन्नत मॉडल भी पूरी तरह से “तर्क” से चलने वाले नहीं होते हैं।
इसे एक कदम आगे बढ़ाते हुए, MathGPT.ai की आरएंडडी टीम ने बीजगणित से कैलकुलस स्तर के गणित के क्षेत्रों पर नई रोशनी डाली जिनमें सबसे अधिक सुधार की आवश्यकता है।
इस डेटा ने जांचा कि समस्या संदर्भ और भाषा में परिवर्तन कैसे विभिन्न एलएलएम्स में मॉडल प्रदर्शन को प्रभावित करते हैं, जिनमें ओपनएआई के नवीनतम ओ1-पूर्वावलोकन और ओ1-मिनी मॉडल शामिल हैं। निष्कर्षों ने एक चिंताजनक प्रवृत्ति का खुलासा किया: सटीकता मूल प्रशिक्षण डेटा में उपलब्ध मूल प्रश्नों से विचलन के रूप में लगातार गिरती गई, जिसमें ग्रेड स्कूल गणित स्तर से ऊपर अधिक चुनौतीपूर्ण गणितीय बेंचमार्क पर प्रदर्शन तेजी से गिर गया।
पुनरावृत्ति बनाम तर्क संघर्ष
जांच तीन मुख्य कारकों पर केंद्रित थी:
- ग्रेड स्कूल गणित से अधिक चुनौतीपूर्ण गणितीय बेंचमार्क का उपयोग करना
- एक “1-शॉट प्रॉम्प्ट” का अन्वेषण जो परीक्षण समस्या के बहुत करीब है
- एक “सर्वश्रेष्ठ एन” रणनीति को लागू करना – प्रभावी रूप से एक बहुमत मतदान के लिए प्रत्येक समस्या के नमूने के लिए एन प्रयास, सांख्यिकीय विचलन को समाप्त करने के लिए।
परिणाम दोनों आकर्षक और चिंताजनक थे। समस्या विविधता की सीमाओं को आगे बढ़ाया गया, जो गणितीय समीकरणों की जटिलता के साथ एआई मॉडल प्रदर्शन में लगातार गिरावट दिखाता है।
मैथ डेटासेट चुनौती
मैथ डेटासेट, जो अपनी चुनौतीपूर्ण उच्च विद्यालय स्तर की समस्याओं के लिए जाना जाता है, को तैनात किया गया था, जो ग्रेड स्कूल मैथ 8के डेटासेट के विपरीत है, जिसमें 8,500 भाषाई विविध प्राथमिक स्तर की समस्याएं हैं। मैथ डेटासेट मॉडल प्रदर्शन की जांच के लिए पूर्व-बीजगणित से संख्या सिद्धांत तक विभिन्न कठिनाई स्तरों पर अधिक चुनौतीपूर्ण उच्च विद्यालय स्तर के प्रश्न प्रस्तुत करता है। इस विकल्प ने MathGPT.ai को विभिन्न कठिनाई स्तरों पर मॉडल प्रदर्शन की बेहतर जांच करने की अनुमति दी।
परीक्षण में, जबकि संख्यात्मक मान और अंतिम उत्तर अपरिवर्तित रहे, हमने समस्याओं की भाषा, चर और संदर्भ को बदल दिया। उदाहरण के लिए, एक “कुत्ता चलने” की स्थिति को “वॉशिंग मशीन” समस्या में बदल दिया जा सकता है। इस विधि ने मैथ डेटासेट की बढ़ी हुई जटिलता को कम करने में मदद की जबकि मॉडल की तर्क क्षमता को अभी भी चुनौती दी।
परिणामों का खुलासा
परिणाम आकर्षक थे। यहां तक कि सबसे उन्नत मॉडल भी तब संघर्ष करते हैं जब उन्हें प्रशिक्षण डेटा में मिलने वाली समस्याओं के संस्करणों का सामना करना पड़ता है। उदाहरण के लिए, इसके ओ1-मिनी मॉडल की सटीकता मूल प्रश्नों पर 93.66% से गिरकर सबसे चुनौतीपूर्ण संस्करण पर 88.54% हो गई। ओ1-पूर्वावलोकन मॉडल ने एक समान गिरावट का अनुभव किया, 91.22% से 82.93% तक – एक तेज गिरावट जो उनकी मजबूती में महत्वपूर्ण अंतराल को उजागर करती है।
इन निष्कर्षों का संरेखण एप्पल के पहले के शोध के साथ है और यह दिखाता है कि एआई की गणितीय तर्क सीमाएं अधिक जटिल समस्याओं के सामने आने पर और अधिक स्पष्ट हो जाती हैं जो पैटर्न पहचान की तुलना में गहरी समझ की मांग करती हैं।
आगे का मार्ग
जैसा कि हम एलएलएम तर्क की सीमाओं को आगे बढ़ाते हैं, यह पहचानना महत्वपूर्ण है कि इसकी अविश्वसनीय क्षमता और वर्तमान सीमाएं दोनों हैं। नई अनुसंधान इस बात पर जोर देती है कि एआई मॉडल विकसित करने में निरंतर नवाचार की आवश्यकता है जो पैटर्न पहचान से परे अधिक मजबूत और सामान्य समस्या-समाधान कौशल हासिल कर सकें।
यह उच्च शिक्षा में विशेष रूप से एक महत्वपूर्ण समय पर आता है, जहां एआई का उपयोग अधिक भारी रूप से कक्षा में एक प्रशिक्षक के सहायक के रूप में किया जा रहा है, जबकि स्कूल गणित पाठ्यक्रमों के लिए तैयार नहीं होने वाले छात्रों के बीच उच्च विफलता दर देख रहे हैं।
मानव जैसी संज्ञानात्मक क्षमताएं प्राप्त करना या एआई में सामान्य बुद्धिमत्ता प्राप्त करने के लिए न केवल तकनीकी प्रगति की आवश्यकता है, बल्कि पुनरावृत्ति और वास्तविक तर्क के बीच की खाई को पाटने के तरीके की एक सूक्ष्म समझ की भी आवश्यकता है।
यदि हम इस पथ पर सफल होते हैं, तो मुझे विश्वास है कि हम लाखों छात्रों और यहां तक कि पेशेवरों के जीवन को पूरी तरह से नए दिशा में मोड़ सकते हैं।
