गूगल एआई प्रशिक्षण को 28% तेजी से बना रहा है एसएलएम का उपयोग करके

बड़े भाषा मॉडल (एलएलएम) को प्रशिक्षित करना अब अधिकांश संगठनों के लिए पहुंच से बाहर हो गया है। लाखों में चलने वाली लागत और एक सुपरकंप्यूटर को भी पसीना आने वाली कंप्यूटिंग आवश्यकताओं के साथ, एआई विकास तकनीकी दिग्गजों के दरवाजों के पीछे ताला मार दिया गया है। लेकिन गूगल ने इस कहानी को अपने सिर पर पलट दिया है एक ऐसे दृष्टिकोण के साथ जो इतना सरल है कि आप सोचते हैं कि किसी ने इसे पहले क्यों नहीं सोचा: छोटे एआई मॉडल का उपयोग शिक्षक के रूप में करना।

एसएलटी कैसे काम करता है: एआई मॉडल को प्रशिक्षित करने का एक नया दृष्टिकोण

एक हालिया शोध पत्र में जिसका शीर्षक है “एक छोटी सी मदद लंबा रास्ता तय करती है: छोटे एलएम का उपयोग करके कुशल एलएलएम प्रशिक्षण,” गूगल रिसर्च और डीपमाइंड ने एसएलटी (छोटे मॉडल सहायता बड़े मॉडल प्रशिक्षण) की शुरुआत की। यह वह नया तरीका है जो हमारे पारंपरिक एलएलएम प्रशिक्षण दृष्टिकोण को चुनौती दे रहा है।

यह शोध क्यों महत्वपूर्ण है? वर्तमान में, बड़े एआई मॉडल को प्रशिक्षित करना किसी विषय के बारे में किसी को सब कुछ एक बार में सिखाने की कोशिश करने जैसा है – यह असमान है, महंगा है, और अक्सर बड़ी कंप्यूटिंग संसाधनों वाले संगठनों तक सीमित है। एसएलटी एक अलग मार्ग अपनाता है, जिसमें एक दो-चरण प्रशिक्षण प्रक्रिया शामिल है जो नवाचारी और व्यावहारिक दोनों है।

एसएलटी वास्तव में कैसे काम करता है:

चरण 1: ज्ञान संक्षेपण

• एक छोटा भाषा मॉडल (एसएलएम) एक शिक्षक के रूप में कार्य करता है, बड़े मॉडल के साथ अपनी समझ साझा करता है
• छोटा मॉडल “नरम लेबल” के माध्यम से अपने “सीखे हुए ज्ञान” को स्थानांतरित करने पर ध्यान केंद्रित करता है
• इसे एक शिक्षण सहायक के रूप में सोचें जो मूलभूत अवधारणाओं को संभालता है trước कि एक छात्र उन्नत विषयों पर जाए
• यह चरण विशेष रूप से “आसान” क्षेत्रों में प्रभावी है – उन क्षेत्रों में जहां छोटा मॉडल मजबूत पूर्वानुमानिक आत्मविश्वास रखता है

चरण 2: स्व-पर्यवेक्षित शिक्षण

• बड़ा मॉडल स्वतंत्र शिक्षण में संक्रमण करता है
• यह जटिल पैटर्न और चुनौतीपूर्ण कार्यों को मास्टर करने पर ध्यान केंद्रित करता है
• यह वह जगह है जहां मॉडल अपने छोटे “शिक्षक” द्वारा प्रदान की जा सकने वाली क्षमताओं से परे विकसित होता है
• चरणों के बीच संक्रमण में सावधानी से डिज़ाइन की गई रणनीतियों का उपयोग किया जाता है, जिनमें रैखिक क्षय और रैखिक अनुपात क्षय शामिल हैं

गैर-तकनीकी शब्दों में, छोटे एआई मॉडल को एक मददगार ट्यूटर के रूप में कल्पना करें जो बड़े मॉडल को प्रशिक्षण के प्रारंभिक चरणों में मार्गदर्शन करता है। यह ट्यूटर अपने उत्तरों के साथ अतिरिक्त जानकारी प्रदान करता है, जो यह दर्शाता है कि वे प्रत्येक उत्तर के बारे में कितने आत्मविश्वासी हैं। यह अतिरिक्त जानकारी, जिसे “नरम लेबल” के रूप में जाना जाता है, बड़े मॉडल को अधिक तेजी से और प्रभावी ढंग से सीखने में मदद करता है।

• रैखिक क्षय: यह ट्यूटर की आवाज को धीरे-धीरे कम करने जैसा है। ट्यूटर का मार्गदर्शन प्रत्येक चरण के साथ कम प्रमुख हो जाता है, जिससे बड़े मॉडल को स्वयं डेटा से सीखने पर अधिक ध्यान केंद्रित करने की अनुमति मिलती है।
• रैखिक अनुपात क्षय: यह ट्यूटर की सलाह और वास्तविक कार्य के बीच संतुलन को समायोजित करने जैसा है। प्रशिक्षण के दौरान, जोर मूल कार्य पर अधिक हो जाता है, जबकि ट्यूटर का इनपुट कम प्रमुख हो जाता है।

परिणाम प्रभावशाली हैं। जब गूगल शोधकर्ताओं ने एसएलटी का परीक्षण एक 1.5 अरब पैरामीटर एसएलएम का उपयोग करके एक 2.8 अरब पैरामीटर एलएलएम पर पाइल डेटासेट पर किया, तो उन्होंने देखा:

• पारंपरिक तरीकों की तुलना में 28% प्रशिक्षण समय में कमी
• फाइन-ट्यूनिंग के बाद महत्वपूर्ण प्रदर्शन में सुधार:
  • गणित समस्या सटीकता 34.87% तक पहुंच गई (31.84% बेसलाइन की तुलना में)
  • पढ़ने की समझ 67% सटीकता तक पहुंच गई (63.7% से ऊपर)

लेकिन एसएलटी को वास्तव में नवाचारी बनाने वाली बात इसका सैद्धांतिक ढांचा है। शोधकर्ताओं ने पाया कि एक “कमजोर” शिक्षक मॉडल भी एक “अनुकूल पूर्वाग्रह-विचलन व्यापार” हासिल करके छात्र के प्रदर्शन में सुधार कर सकता है। सरल शब्दों में, छोटा मॉडल बड़े मॉडल को मूलभूत पैटर्न सीखने में अधिक कुशलता से मदद करता है, जिससे उन्नत सीखने के लिए एक मजबूत आधार बनता है।

एसएलटी एआई विकास खेल को कैसे बदल सकता है

याद रखें जब क्लाउड कंप्यूटिंग ने यह तय किया कि कौन सी तकनीकी कंपनी शुरू कर सकती है? एसएलटी एआई विकास के लिए भी ऐसा ही कर सकता है।

मैं एआई प्रशिक्षण नवाचारों का अनुसरण कई वर्षों से कर रहा हूं, और अधिकांश सफलताएं मुख्य रूप से तकनीकी दिग्गजों को लाभान्वित करती हैं। लेकिन एसएलटी अलग है।

यह भविष्य के लिए क्या मतलब हो सकता है:

सीमित संसाधनों वाले संगठनों के लिए:

• आपको अब क्षमतावान एआई मॉडल विकसित करने के लिए विशाल कंप्यूटिंग बुनियादी ढांचे की आवश्यकता नहीं हो सकती है
• छोटे शोध प्रयोगशालाएं और कंपनियां कस्टम मॉडल विकास के साथ प्रयोग कर सकती हैं
• 28% प्रशिक्षण समय में कमी सीधे कम कंप्यूटिंग लागत में अनुवाद करती है
• अधिक महत्वपूर्ण बात, आप मामूली कंप्यूटिंग संसाधनों से शुरू कर सकते हैं और अभी भी पेशेवर परिणाम प्राप्त कर सकते हैं

एआई विकास परिदृश्य के लिए:

• अधिक खिलाड़ी क्षेत्र में प्रवेश कर सकते हैं, जिससे अधिक विविध और विशेषज्ञता वाले एआई समाधान सामने आ सकते हैं
• विश्वविद्यालय और शोध संस्थान अपने मौजूदा संसाधनों के साथ अधिक प्रयोग चला सकते हैं
• एआई अनुसंधान में प्रवेश की बाधा काफी कम हो जाती है
• हम उन क्षेत्रों में नए अनुप्रयोग देख सकते हैं जो पहले एआई विकास को वहन नहीं कर सकते थे

यह भविष्य के लिए क्या मतलब है

छोटे मॉडल को शिक्षक के रूप में उपयोग करके, हम न केवल एआई प्रशिक्षण को अधिक कुशल बना रहे हैं – हम एआई विकास में भाग लेने वालों को भी मौलिक रूप से बदल रहे हैं। निहितार्थ तकनीकी सुधार से बहुत आगे निकल जाते हैं।

ध्यान में रखने के लिए मुख्य बिंदु:

• 28% प्रशिक्षण समय में कमी एक एआई परियोजना शुरू करने या इसे पहुंच से बाहर मानने के बीच का अंतर है
• प्रदर्शन में सुधार (34.87% गणित पर, 67% पढ़ने की समझ में) दिखाता है कि सुलभता का अर्थ हमेशा गुणवत्ता से समझौता नहीं होता है
• एसएलटी का दृष्टिकोण साबित करता है कि कभी-कभी सर्वोत्तम समाधान मूल बातों को पुनः सोचकर आते हैं, न कि केवल अधिक कंप्यूटिंग शक्ति जोड़कर

देखने के लिए क्या:

1. छोटे संगठनों को कस्टम एआई मॉडल विकसित करना शुरू करने के लिए देखें
2. नए अनुप्रयोगों को देखें जो पहले एआई विकास को वहन नहीं कर सकते थे
3. विशेषज्ञता वाले कार्यों के लिए छोटे मॉडल का उपयोग करने में नवाचारों की तलाश करें

याद रखें: एसएलटी का वास्तविक मूल्य यह है कि यह एआई में कौन नवाचार कर सकता है इसमें कैसे बदलाव ला सकता है। चाहे आप एक शोध प्रयोगशाला चला रहे हों, एक तकनीकी टीम का प्रबंधन कर रहे हों, या बस एआई विकास में रुचि रखते हों, यह वह प्रकार का सफलता हो सकता है जो आपके अगले बड़े विचार को संभव बना सकता है।

हो सकता है कि आप उस एआई परियोजना के बारे में सोचना शुरू करें जिसे आप पहुंच से बाहर मानते थे। यह आपकी कल्पना से अधिक संभव हो सकता है।