स्केलिंग युग का अंत: एल्गोरिदमिक ब्रेकथ्रू क्यों मॉडल के आकार से अधिक महत्वपूर्ण हैं

पिछले दशक के अधिकांश हिस्से में, कृत्रिम बुद्धिमत्ता में प्रगति स्केल द्वारा संचालित की गई है। बड़े डेटासेट, अधिक पैरामीटर और अधिक गणना शक्ति सफलता के लिए एक सूत्र बन गए हैं। टीमें बड़े मॉडल बनाने के लिए प्रतिस्पर्धा करती हैं, जिसमें ट्रिलियन पैरामीटर और पेटाबाइट्स के प्रशिक्षण डेटा के साथ प्रगति को मापा जाता है। हम इसे स्केलिंग युग कहते हैं। यह आज हम जो कृत्रिम बुद्धिमत्ता प्रगति देखते हैं उसके लिए ईंधन प्रदान करता है, लेकिन हम अब एक सीमा की ओर बढ़ रहे हैं जहां केवल मॉडल को बड़ा बनाना अब सबसे कुशल, स्मार्ट या टिकाऊ दृष्टिकोण नहीं है। इसके परिणामस्वरूप, ध्यान को कच्चे स्केल से एल्गोरिदमिक दक्षता में स्थानांतरित किया जा रहा है। इस लेख में, हम जांचते हैं कि स्केलिंग खुद क्यों कम पड़ जाता है और कैसे कृत्रिम बुद्धिमत्ता विकास का अगला चरण एल्गोरिदमिक नवाचार पर निर्भर करेगा।

मॉडल स्केलिंग में कम होने वाली वापसी का नियम

स्केलिंग युग मजबूत अनुभवजन्य नींव पर बनाया गया था। शोधकर्ताओं ने देखा कि मॉडल और डेटासेट के आकार को बढ़ाने से प्रदर्शन में भविष्यवाणी योग्य लाभ हो सकते हैं। इस पैटर्न को स्केलिंग कानून के रूप में जाना जाता है। ये कानून जल्द ही अग्रणी कृत्रिम बुद्धिमत्ता प्रयोगशालाओं के लिए प्लेबुक बन गए, जो बड़े पैमाने पर सिस्टम बनाने की दौड़ को बढ़ावा देते हैं। इस दौड़ ने बड़े भाषा मॉडल और मूलभूत मॉडल को जन्म दिया, जो आज की अधिकांश कृत्रिम बुद्धिमत्ता को शक्ति प्रदान करते हैं। हालांकि, हर एक्सपोनेंशियल कर्व की तरह, यह कृत्रिम बुद्धिमत्ता स्केलिंग अब समतल होना शुरू हो रहा है। बड़े मॉडल विकसित करने का व्यय तेजी से बढ़ रहा है। एक राज्य-ऑफ-द-आर्ट सिस्टम को प्रशिक्षित करने में अब एक छोटे शहर जितनी ऊर्जा की खपत होती है, जो गंभीर पर्यावरण चिंताएं पैदा करता है। वित्तीय लागत इतनी उच्च है कि केवल एक हाथ की गिनती वाले संगठन ही प्रतिस्पर्धा कर सकते हैं। इसके बीच, हम कम होने वाली वापसी के स्पष्ट संकेत देख रहे हैं। पैरामीटर गिनती को दोगुना करने से अब क्षमता दोगुनी नहीं होती है। सुधार भी क्रमिक हैं, जो केवल मौजूदा ज्ञान को परिष्कृत करते हैं, न कि नए कौशल को अनलॉक करते हैं। प्रत्येक अतिरिक्त डॉलर और वाट पर खर्च किए जाने वाले मूल्य लाभ को कम किया जा रहा है। स्केलिंग रणनीति अपनी आर्थिक और तकनीकी सीमाओं तक पहुंच रही है।

नई फ्रंटियर: एल्गोरिदमिक दक्षता

स्केलिंग कानूनों की सीमाओं ने शोधकर्ताओं को एल्गोरिदमिक दक्षता पर पुनः ध्यान केंद्रित करने के लिए प्रेरित किया है। बल के बजाय, वे अब स्मार्टर एल्गोरिदम डिज़ाइन करने पर ध्यान केंद्रित कर रहे हैं जो संसाधनों का अधिक प्रभावी ढंग से उपयोग करते हैं। हाल के अग्रिम इस बदलाव की शक्ति को प्रदर्शित करते हैं। उदाहरण के लिए, ट्रांसफॉर्मर आर्किटेक्चर, जो अपनी ध्यान तंत्र द्वारा संचालित है, ने वर्षों से कृत्रिम बुद्धिमत्ता पर हावी है। लेकिन ध्यान के साथ एक कमजोरी आती है: इसकी गणना मांगें तेजी से क्रम से बढ़ती हैं। स्टेट स्पेस मॉडल (एसएसएम), जैसे माम्बा, ट्रांसफॉर्मर के विकल्प के रूप में उभर रहे हैं। अधिक कुशल चयनात्मक तर्क को सक्षम करके, एसएसएम बड़े ट्रांसफॉर्मर के प्रदर्शन को मैच कर सकते हैं जबकि तेजी से चल रहे हैं और महत्वपूर्ण रूप से कम मेमोरी का उपयोग कर रहे हैं।

एल्गोरिदमिक दक्षता का एक और उदाहरण मिक्सचर ऑफ एक्सपर्ट्स (मोए) मॉडल का उदय है। इसके बजाय प्रत्येक इनपुट के लिए पूरे विशाल नेटवर्क को सक्रिय करने, मोए सिस्टम कार्यों को केवल सबसे प्रासंगिक उप-नेटवर्क के सबसेट, या “विशेषज्ञों” को मार्गदर्शन करते हैं। मॉडल में कुल मिलाकर अरबों पैरामीटर हो सकते हैं, लेकिन प्रत्येक गणना में केवल एक अंश का उपयोग किया जाता है। यह एक विशाल पुस्तकालय के समान है लेकिन केवल उन कुछ पुस्तकों को खोलता है जिनकी आपको एक प्रश्न का उत्तर देने की आवश्यकता है, प्रत्येक बार पूरे भवन में हर पुस्तक को पढ़ने के बजाय। परिणाम एक विशाल मॉडल की ज्ञान क्षमता है जो एक बहुत छोटे मॉडल की दक्षता के साथ आती है।

इन विचारों को मिलाकर एक और उदाहरण डीपसीक-V3 है, जो एक मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल है जिसे मल्टी-हेड लैटेंट अटेंशन (एमएलए) के साथ बढ़ाया गया है। एमएलए पारंपरिक ध्यान को बेहतर बनाता है कि कुंजी-मूल्य राज्यों को संपीड़ित करके, मॉडल को एसएसएम की तरह लंबे क्रमों को कुशलता से संभालने की अनुमति देता है, जबकि ट्रांसफॉर्मर की ताकत को बनाए रखता है। 236 अरब पैरामीटर के साथ लेकिन प्रति कार्य केवल एक अंश सक्रिय, डीपसीक-V3 कोडिंग और तर्क जैसे क्षेत्रों में शीर्ष-स्तरीय प्रदर्शन प्रदान करता है, सभी जबकि तुलनात्मक रूप से बड़े मॉडलों की तुलना में अधिक सुलभ और कम संसाधन-Gra है।

ये केवल अलग-अलग उदाहरण नहीं हैं। वे एक व्यापक प्रवृत्ति को दर्शाते हैं जो स्मार्टर, अधिक कुशल डिजाइन की ओर बढ़ रही है। शोधकर्ता अब इस बात पर ध्यान केंद्रित कर रहे हैं कि मॉडल को तेज, छोटा और कम डेटा-भूखा कैसे बनाया जाए, जो प्रदर्शन को कम किए बिना।

यह बदलाव क्यों मायने रखता है

स्केल पर निर्भर रहने से एल्गोरिदमिक ब्रेकथ्रू पर ध्यान केंद्रित करने के लिए स्थानांतरण कृत्रिम बुद्धिमत्ता क्षेत्र पर महत्वपूर्ण प्रभाव डालता है। सबसे पहले, यह कृत्रिम बुद्धिमत्ता को सभी के लिए अधिक सुलभ बनाता है। सफलता अब केवल सबसे शक्तिशाली कंप्यूटरों के कब्जे में नहीं है। एक छोटा सा शोधकर्ता समूह एक नया डिज़ाइन बना सकता है जो बड़े बजट वाले मॉडलों को पीछे छोड़ देता है। यह नवाचार को संसाधनों की दौड़ से विचारों और विशेषज्ञता द्वारा संचालित करने में बदलता है। इसके परिणामस्वरूप, विश्वविद्यालय, स्टार्टअप और स्वतंत्र प्रयोगशालाएं अब बड़ी तकनीक कंपनियों के अलावा एक बड़ी भूमिका निभा सकती हैं।

दूसरा, यह कृत्रिम बुद्धिमत्ता को दैनिक सेटिंग्स में अधिक उपयोगी बनाता है। 500 अरब पैरामीटर वाला एक मॉडल अध्ययन में प्रभावशाली दिख सकता है, लेकिन इसका विशाल आकार इसे व्यावहारिक रूप से उपयोग करना मुश्किल और महंगा बनाता है। इसके विपरीत, कुशल विकल्प जैसे माम्बा या मिक्सचर ऑफ एक्सपर्ट्स मॉडल मानक हार्डवेयर पर चल सकते हैं, जिसमें नेटवर्क के किनारे पर उपकरण शामिल हैं। यह उपयोगिता स्वास्थ्य सेवा में निदान उपकरण या स्मार्टफोन पर त्वरित अनुवाद सुविधाओं जैसे सामान्य अनुप्रयोगों में कृत्रिम बुद्धिमत्ता को लाने के लिए महत्वपूर्ण है।

तीसरा, यह स्थिरता के मुद्दे को संबोधित करता है। कृत्रिम बुद्धिमत्ता मॉडल के निर्माण और संचालन की ऊर्जा मांगें एक प्रमुख पर्यावरणीय चुनौती बन रही हैं। दक्षता पर जोर देकर, हम कृत्रिम बुद्धिमत्ता कार्य से कार्बन उत्सर्जन में तेजी से कटौती कर सकते हैं।

आगे क्या है: बुद्धिमत्ता डिजाइन का युग

हम बुद्धिमत्ता डिजाइन के युग में प्रवेश कर रहे हैं। प्रश्न अब यह नहीं है कि हम मॉडल को कितना बड़ा बना सकते हैं, बल्कि यह कि हम एक मॉडल को कैसे डिजाइन कर सकते हैं जो स्वाभाविक रूप से अधिक बुद्धिमान और कुशल है।

यह बदलाव शोध के मूलभूत क्षेत्रों में नवाचार लाएगा। हमें जहां अग्रिम की उम्मीद है वह क्षेत्रों में से एक कृत्रिम बुद्धिमत्ता मॉडल वास्तुकला है। जैसे राज्य स्थान मॉडल पहले से ही उल्लेखित, न्यूरल नेटवर्क को डेटा कैसे संसाधित करते हैं इसे बदलने की क्षमता रखते हैं। उदाहरण के लिए, दynamical सिस्टम से प्रेरित वास्तुकला प्रयोगों में अधिक शक्तिशाली साबित हो रही है। एक और फोकस प्रशिक्षण विधियों पर होगा जो मॉडल को बहुत कम डेटा के साथ प्रभावी ढंग से सीखने में मदद करती हैं। उदाहरण के लिए, फ्यू-शॉट और ज़ीरो-शॉट लर्निंग में प्रगति कृत्रिम बुद्धिमत्ता को डेटा-कुशल बना रही है, जबकि एक्टिवेशन स्टीयरिंग जैसी तकनीकें बिना पुनः प्रशिक्षण के व्यवहार सुधार की अनुमति देती हैं। पोस्ट-ट्रेनिंग रिफाइनमेंट और सिंथेटिक डेटा का उपयोग प्रशिक्षण की आवश्यकताओं को नाटकीय रूप से कम कर रहा है, कभी-कभी 10,000 गुना तक।

हम न्यूरो-सимвोलिक कृत्रिम बुद्धिमत्ता जैसे हाइब्रिड मॉडल में बढ़ती रुचि भी देखेंगे। न्यूरो-सимвोलिक कृत्रिम बुद्धिमत्ता एक प्रमुख रुझान के रूप में उभर रही है, जो न्यूरल लर्निंग की पैटर्न मान्यता को सимвोलिक सिस्टम की तार्किक ताकत के साथ जोड़ती है, जो बेहतर व्याख्या और कम डेटा निर्भरता के लिए है। उदाहरणों में अल्फाजोमेट्री 2 और अल्फाप्रूफ शामिल हैं, जो गूगल डीपमाइंड को आईएमओ 2025 में स्वर्ण पदक प्रदर्शन हासिल करने की अनुमति देते हैं। लक्ष्य ऐसे सिस्टम विकसित करना है जो केवल आंकड़ों के आधार पर अगले शब्द की भविष्यवाणी नहीं करते हैं, बल्कि मानवों की तरह दुनिया को समझते हैं और तर्क करते हैं।

नीचे की रेखा

स्केलिंग युग आवश्यक था और कृत्रिम बुद्धिमत्ता में उल्लेखनीय वृद्धि लाया। यह संभव की सीमाओं को बढ़ाया और आज हम जो मूलभूत प्रौद्योगिकी पर निर्भर करते हैं उसे वितरित किया। लेकिन जैसे कि कोई भी परिपक्व प्रौद्योगिकी अंततः अपनी प्रारंभिक रणनीति की संभावना को समाप्त कर देती है, आगे के मुख्य ब्रेकथ्रू स्टैक में अधिक परतें जोड़ने से नहीं आएंगे। इसके बजाय, वे स्टैक को फिर से डिज़ाइन करने से उभरेंगे।

भविष्य उन लोगों का है जो एल्गोरिदम, वास्तुकला और मशीन लर्निंग के मूलभूत विज्ञान में नवाचार करते हैं। यह एक भविष्य है जहां बुद्धिमत्ता को पैरामीटर की संख्या से नहीं, बल्कि डिजाइन की सुंदरता से मापा जाता है। स्मार्टर एल्गोरिदम बनाने की प्रेरणा अभी शुरू हो रही है। यह परिवर्तन अधिक सुलभ, स्थिर और वास्तव में बुद्धिमान कृत्रिम बुद्धिमत्ता के लिए दरवाजा खोलता है।