Google शिक्षकों के रूप में SLM का उपयोग करके AI प्रशिक्षण को 28% तेज़ बना रहा है

प्रशिक्षण बड़े भाषा मॉडल (एलएलएम) अधिकांश संगठनों के लिए यह पहुंच से बाहर हो गया है। लाखों की लागत और सुपरकंप्यूटर को पसीना बहाने वाली कंप्यूटिंग आवश्यकताओं के साथ, AI विकास तकनीकी दिग्गजों के दरवाज़ों के पीछे बंद रहा है। लेकिन Google ने इस कहानी को एक ऐसे सरल दृष्टिकोण से उलट दिया है जिसे देखकर आपको आश्चर्य होगा कि किसी ने इसके बारे में पहले क्यों नहीं सोचा: शिक्षकों के रूप में छोटे AI मॉडल का उपयोग करना।

SALT कैसे काम करता है: AI मॉडल को प्रशिक्षित करने का एक नया तरीका

हाल ही में एक शोध पत्र जिसका शीर्षक है "थोड़ी सी मदद बहुत काम आती है: छोटे एल.एम. का लाभ उठाकर कुशल एल.एल.एम. प्रशिक्षण,” गूगल रिसर्च और डीपमाइंड ने SALT (स्मॉल मॉडल एडेड लार्ज मॉडल ट्रेनिंग) की शुरुआत की। यह एलएलएम को प्रशिक्षित करने के हमारे पारंपरिक दृष्टिकोण को चुनौती देने वाली नई विधि है।

यह शोध क्यों महत्वपूर्ण है? वर्तमान में, बड़े AI मॉडल को प्रशिक्षित करना किसी व्यक्ति को एक ही बार में किसी विषय के बारे में सब कुछ सिखाने की कोशिश करने जैसा है - यह अक्षम, महंगा है, और अक्सर बड़े पैमाने पर कंप्यूटिंग संसाधनों वाले संगठनों तक ही सीमित है। SALT एक अलग रास्ता अपनाता है, दो-चरणीय प्रशिक्षण प्रक्रिया शुरू करता है जो अभिनव और व्यावहारिक दोनों है।

SALT वास्तव में कैसे काम करता है, इसका विस्तृत विवरण:

चरण 1: ज्ञान आसवन

• A लघु भाषा मॉडल (एसएलएम) एक शिक्षक के रूप में कार्य करता है, अपनी समझ को बड़े मॉडल के साथ साझा करता है
• छोटा मॉडल अपने "सीखे हुए ज्ञान" को स्थानांतरित करने पर ध्यान केंद्रित करता है जिसे शोधकर्ता "सॉफ्ट लेबल" कहते हैं
• इसे एक शिक्षण सहायक की तरह समझें जो छात्र के उन्नत विषयों पर जाने से पहले आधारभूत अवधारणाओं को संभालता है
• यह चरण सीखने के "आसान" क्षेत्रों में विशेष रूप से प्रभावी है - ऐसे क्षेत्र जहां छोटे मॉडल में मजबूत भविष्य कहनेवाला आत्मविश्वास होता है

स्टेज 2: स्व-पर्यवेक्षित शिक्षण

• बड़े मॉडल का स्वतंत्र शिक्षण में परिवर्तन
• यह जटिल पैटर्न और चुनौतीपूर्ण कार्यों में निपुणता हासिल करने पर केंद्रित है
• यह वह जगह है जहाँ मॉडल अपने छोटे "शिक्षक" द्वारा प्रदान की जा सकने वाली क्षमताओं से परे क्षमताओं का विकास करता है
• चरणों के बीच संक्रमण में सावधानीपूर्वक डिज़ाइन की गई रणनीतियों का उपयोग किया जाता है, जिसमें आसवन हानि भार का रैखिक क्षय और रैखिक अनुपात क्षय शामिल है

गैर-तकनीकी शब्दों में, मैंकल्पना करें कि छोटा AI मॉडल एक सहायक शिक्षक की तरह है जो प्रशिक्षण के शुरुआती चरणों में बड़े मॉडल का मार्गदर्शन करता है। यह शिक्षक उनके उत्तरों के साथ-साथ अतिरिक्त जानकारी भी प्रदान करता है, जो दर्शाता है कि वे प्रत्येक उत्तर के बारे में कितने आश्वस्त हैं। यह अतिरिक्त जानकारी, जिसे "सॉफ्ट लेबल" के रूप में जाना जाता है, बड़े मॉडल को अधिक तेज़ी से और प्रभावी ढंग से सीखने में मदद करती है।

• रेखीय क्षय: यह शिक्षक की आवाज़ की आवाज़ को धीरे-धीरे कम करने जैसा है। हर कदम के साथ शिक्षक का मार्गदर्शन कम होता जाता है, जिससे बड़ा मॉडल कच्चे डेटा से सीखने पर ज़्यादा ध्यान केंद्रित कर पाता है।
• रैखिक अनुपात क्षय: यह शिक्षक की सलाह और हाथ में मौजूद वास्तविक कार्य के बीच संतुलन बिठाने जैसा है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, ज़ोर मूल कार्य पर ज़्यादा केंद्रित होता जाता है, जबकि शिक्षक का योगदान कम प्रभावशाली होता जाता है।

परिणाम आकर्षक हैं। जब गूगल शोधकर्ताओं ने 1.5 बिलियन पैरामीटर LLM को प्रशिक्षित करने के लिए 2.8 बिलियन पैरामीटर SLM का उपयोग करके SALT का परीक्षण किया ढेर डेटासेट, उन्होंने देखा:

• पारंपरिक तरीकों की तुलना में प्रशिक्षण समय में 28% की कमी
• फ़ाइन-ट्यूनिंग के बाद महत्वपूर्ण प्रदर्शन सुधार:
  • गणित की समस्याओं की सटीकता बढ़कर 34.87% हो गई (आधारभूत स्तर 31.84% की तुलना में)
  • पठन समझ की सटीकता 67% तक पहुंच गई (63.7% से ऊपर)

लेकिन SALT को वास्तव में अभिनव बनाने वाला इसका सैद्धांतिक ढाँचा है। शोधकर्ताओं ने पाया कि एक "कमज़ोर" शिक्षक मॉडल भी "अनुकूल पूर्वाग्रह-भिन्नता समझौता" हासिल करके छात्र के प्रदर्शन को बेहतर बना सकता है। सरल शब्दों में, छोटा मॉडल बड़े मॉडल को बुनियादी पैटर्न को अधिक कुशलता से सीखने में मदद करता है, जिससे उन्नत शिक्षा के लिए एक मज़बूत आधार तैयार होता है।

SALT क्यों AI विकास के क्षेत्र को नया आकार दे सकता है

याद कीजिए जब क्लाउड कंप्यूटिंग ने तकनीक कंपनी शुरू करने के तरीके को बदल दिया था? SALT शायद AI विकास के लिए भी ऐसा ही कर सकता है।

मैं कई वर्षों से एआई प्रशिक्षण नवाचारों पर नज़र रख रहा हूँ, और ज़्यादातर सफलताओं से मुख्य रूप से तकनीकी दिग्गजों को फ़ायदा हुआ है। लेकिन SALT अलग है।

भविष्य के लिए इसका क्या अर्थ हो सकता है, आइए जानें:

सीमित संसाधनों वाले संगठनों के लिए:

• अब आपको सक्षम AI मॉडल विकसित करने के लिए विशाल कंप्यूटिंग अवसंरचना की आवश्यकता नहीं होगी
• छोटी अनुसंधान प्रयोगशालाएं और कंपनियां कस्टम मॉडल विकास के साथ प्रयोग कर सकती हैं
• प्रशिक्षण समय में 28% की कमी से सीधे तौर पर कंप्यूटिंग लागत में कमी आएगी
• इससे भी महत्वपूर्ण बात यह है कि आप मामूली कंप्यूटिंग संसाधनों के साथ शुरुआत कर सकते हैं और फिर भी पेशेवर परिणाम प्राप्त कर सकते हैं

एआई विकास परिदृश्य के लिए:

• अधिक खिलाड़ी इस क्षेत्र में प्रवेश कर सकते हैं, जिससे अधिक विविध और विशिष्ट एआई समाधान सामने आ सकते हैं
• विश्वविद्यालय और शोध संस्थान अपने मौजूदा संसाधनों के साथ अधिक प्रयोग कर सकते हैं
• एआई अनुसंधान में प्रवेश की बाधाएं काफी हद तक कम हो गई हैं
• हम उन क्षेत्रों में नए अनुप्रयोग देख सकते हैं जहां पहले एआई विकास संभव नहीं था

भविष्य के लिए इसका क्या मतलब है?

शिक्षकों के रूप में छोटे मॉडलों का उपयोग करके, हम न केवल एआई प्रशिक्षण को अधिक कुशल बना रहे हैं - बल्कि हम मौलिक रूप से यह भी बदल रहे हैं कि एआई विकास में कौन भाग ले सकता है। इसके निहितार्थ सिर्फ़ तकनीकी सुधारों से कहीं आगे तक जाते हैं।

ध्यान में रखने योग्य मुख्य बातें:

• प्रशिक्षण समय में 28% की कमी, एआई परियोजना शुरू करने या इसे पहुंच से बाहर मानने के बीच का अंतर है
• प्रदर्शन में सुधार (गणित में 34.87%, पढ़ने के कार्यों में 67%) से पता चलता है कि सुलभता का मतलब हमेशा गुणवत्ता से समझौता करना नहीं होता है
• SALT का दृष्टिकोण यह सिद्ध करता है कि कभी-कभी सर्वोत्तम समाधान केवल अधिक कंप्यूटिंग शक्ति जोड़ने के बजाय मूलभूत बातों पर पुनर्विचार करने से प्राप्त होते हैं।

क्या देखना है:

1. कस्टम AI मॉडल विकसित करने वाले छोटे संगठनों पर नज़र रखें
2. उन क्षेत्रों में नए अनुप्रयोगों पर नज़र रखें, जहां पहले AI विकास संभव नहीं था
3. विशेष कार्यों के लिए छोटे मॉडलों का उपयोग कैसे किया जाता है, इसमें नवाचारों पर ध्यान दें

याद रखें: SALT का वास्तविक मूल्य इस बात में है कि यह किस तरह से AI में नवाचार करने वालों को नया आकार दे सकता है। चाहे आप कोई शोध प्रयोगशाला चला रहे हों, कोई तकनीकी टीम प्रबंधित कर रहे हों, या सिर्फ़ AI विकास में रुचि रखते हों, यह ऐसी सफलता है जो आपके अगले बड़े विचार को संभव बना सकती है।

शायद आप उस AI प्रोजेक्ट के बारे में सोचना शुरू कर दें जिसके बारे में आपने सोचा था कि वह आपकी पहुँच से बाहर है। यह आपकी कल्पना से कहीं ज़्यादा संभव हो सकता है।