मेटा लामा 3 का अनावरण: बड़े भाषा मॉडल में एक कदम आगे

जनरेटिव एआई के क्षेत्र में, मेटा अपने उन्नत बड़े भाषा मॉडल (एलएलएम) मेटा एआई (लामा) श्रृंखला को विश्वभर में डेवलपर्स और शोधकर्ताओं के लिए खुले स्रोत के रूप में वितरित करके अग्रणी बना हुआ है। अपनी प्रगतिशील पहलों पर निर्माण करते हुए, मेटा ने हाल ही में इस श्रृंखला के तीसरे संस्करण, लामा 3 की शुरुआत की। यह नया संस्करण लामा 2 पर काफी सुधार करता है, कई उन्नतियां प्रदान करता है और उद्योग के प्रतिस्पर्धियों जैसे गूगल, मिस्ट्रल और एंथ्रोपिक के लिए बेंचमार्क स्थापित करता है। यह लेख लामा 3 की महत्वपूर्ण उन्नतियों और इसकी तुलना लामा 2 से करता है।

मेटा की लामा श्रृंखला: विशेष से खुले स्रोत और उन्नत प्रदर्शन तक

मेटा ने 2022 में लामा 1 के लॉन्च के साथ अपनी लामा श्रृंखला शुरू की, जो एक मॉडल था जो गैर-व्यावसायिक उपयोग के लिए सीमित था और उस समय के अग्रणी एलएलएम की विशाल गणना मांगों और स्वामित्व स्वभाव के कारण केवल चुनिंदा शोध संस्थानों के लिए उपलब्ध था। 2023 में, लामा 2 के रोलआउट के साथ, मेटा एआई ने अधिक खुलापन की ओर बढ़े, शोध और व्यावसायिक दोनों उद्देश्यों के लिए मॉडल को नि:शुल्क प्रदान किया। यह कदम उन्नत जनरेटिव एआई प्रौद्योगिकियों तक पहुंच को लोकतांत्रिक बनाने के लिए डिज़ाइन किया गया था, जिससे एक व्यापक उपयोगकर्ता आधार, जिसमें स्टार्टअप और छोटी शोध टीमें शामिल हैं, बिना बड़े पैमाने पर मॉडलों से जुड़े उच्च लागत के बिना नवाचार और अनुप्रयोग विकसित कर सकें। इस खुलापन की प्रवृत्ति को जारी रखते हुए, मेटा ने लामा 3 पेश किया है, जो विभिन्न औद्योगिक बेंचमार्क पर छोटे मॉडलों के प्रदर्शन में सुधार पर केंद्रित है।

लामा 3 की शुरुआत

लामा 3 मेटा के खुले स्रोत बड़े भाषा मॉडल (एलएलएम) की दूसरी पीढ़ी है, जिसमें 8बी और 70बी पैरामीटर के साथ पूर्व-प्रशिक्षित और निर्देश-परिष्कृत मॉडल शामिल हैं। अपने पूर्ववर्तियों की तरह, लामा 3 डिकोडर-ओनली ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करता है और स्व-निर्देशित, स्व-पर्यवेक्षित प्रशिक्षण के अभ्यास को जारी रखता है ताकि पाठ अनुक्रमों में बाद के टोकन की भविष्यवाणी की जा सके। लामा 3 को लामा 2 के लिए उपयोग किए गए डेटासेट की तुलना में सात गुना बड़े डेटासेट पर प्रशिक्षित किया गया है, जिसमें 15 ट्रिलियन से अधिक टोकन शामिल हैं जो एक नए रूप से क्यूरेटेड मिश्रण से लिए गए हैं ऑनलाइन डेटा। इस विशाल डेटासेट को 24,000 जीपीयू से सुसज्जित दो क्लस्टर का उपयोग करके संसाधित किया जाता है। इस प्रशिक्षण डेटा की उच्च गुणवत्ता को बनाए रखने के लिए, डेटा-केंद्रित एआई तकनीकों का एक समूह नियोजित किया गया था, जिसमें सुझाव और एनएसएफडब्ल्यू फिल्टर, सेमांटिक डुप्लिकेशन, और पाठ गुणवत्ता वर्गीकरण शामिल थे। संवाद अनुप्रयोगों के लिए अनुकूलित, लामा 3 इंस्ट्रक्ट मॉडल में 10 मिलियन से अधिक मानव-संकेतित डेटा नमूनों को शामिल किया गया है और परिष्कृत प्रशिक्षण विधियों के मिश्रण का लाभ उठाया गया है, जैसे कि पर्यवेक्षित परिष्करण (एसएफटी), अस्वीकृति नमूनाकरण, प्रॉक्सिमल नीति अनुकूलन (पीपीओ), और प्रत्यक्ष नीति अनुकूलन (डीपीओ)।

लामा 3 बनाम लामा 2: मुख्य उन्नतियां

लामा 3 लामा 2 पर कई सुधार लाता है, जो इसकी कार्यक्षमता और प्रदर्शन को काफी बढ़ाता है:

• विस्तारित शब्दावली: लामा 3 ने अपनी शब्दावली को 128,256 टोकन तक बढ़ा दिया है, जो लामा 2 के 32,000 टोकन से अधिक है। यह उन्नति इनपुट और आउटपुट दोनों के लिए अधिक कुशल पाठ एन्कोडिंग का समर्थन करती है और इसकी बहुभाषी क्षमताओं को मजबूत करती है।
• विस्तारित संदर्भ लंबाई: लामा 3 मॉडल 8,000 टोकन की संदर्भ लंबाई प्रदान करते हैं, जो लामा 2 द्वारा समर्थित 4,090 टोकन की तुलना में दोगुने हैं। यह वृद्धि अधिक व्यापक सामग्री हैंडलिंग की अनुमति देती है, जिसमें उपयोगकर्ता प्रॉम्प्ट और मॉडल प्रतिक्रियाएं दोनों शामिल हैं।
• अपग्रेडेड प्रशिक्षण डेटा: लामा 3 के लिए प्रशिक्षण डेटासेट लामा 2 की तुलना में सात गुना बड़ा है, जिसमें चार गुना अधिक कोड शामिल है। इसमें 30 से अधिक भाषाओं में 5% से अधिक उच्च-गुणवत्ता वाला, गैर-अंग्रेजी डेटा शामिल है, जो बहुभाषी अनुप्रयोगों के लिए महत्वपूर्ण है। इस डेटा पर उन्नत तकनीकों का उपयोग करके गुणवत्ता नियंत्रण किया जाता है, जैसे कि सुझाव और एनएसएफडब्ल्यू फिल्टर, सेमांटिक डुप्लिकेशन, और पाठ वर्गीकरण।
• परिष्कृत निर्देश-ट्यूनिंग और मूल्यांकन: लामा 2 से विचलित, लामा 3 उन्नत निर्देश-ट्यूनिंग तकनीकों का उपयोग करता है, जिसमें पर्यवेक्षित परिष्करण (एसएफटी), अस्वीकृति नमूनाकरण, प्रॉक्सिमल नीति अनुकूलन (पीपीओ), और प्रत्यक्ष नीति अनुकूलन (डीपीओ) शामिल हैं। इस प्रक्रिया को बढ़ाने के लिए, एक नई उच्च-गुणवत्ता वाली मानव मूल्यांकन सेट पेश की गई है, जिसमें विभिन्न उपयोग के मामलों जैसे सलाह, ब्रेनस्टॉर्मिंग, वर्गीकरण, कोडिंग, और अधिक को कवर करने वाले 1,800 प्रॉम्प्ट शामिल हैं, जो मॉडल की क्षमताओं के व्यापक मूल्यांकन और परिष्करण की गारंटी देता है।
• उन्नत एआई सुरक्षा: लामा 3, लामा 2 की तरह, सख्त सुरक्षा उपायों को शामिल करता है, जैसे कि निर्देश-परिष्करण और व्यापक लाल-टीमिंग, जो विशेष रूप से साइबर सुरक्षा और जैविक खतरों जैसे महत्वपूर्ण क्षेत्रों में जोखिमों को कम करने के लिए। इन प्रयासों के समर्थन में, मेटा ने लामा 3 के 8बी संस्करण पर परिष्कृत लामा गार्ड 2 भी पेश किया है। यह नया मॉडल लामा गार्ड श्रृंखला को उन्नत बनाता है और एलएलएम इनपुट और प्रतिक्रियाओं को वर्गीकृत करके संभावित रूप से असुरक्षित सामग्री की पहचान करने में मदद करता है, जो उत्पादन वातावरण के लिए आदर्श बनाता है।

लामा 3 की उपलब्धता

लामा 3 मॉडल अब हगिंग फेस इकोसिस्टम में एकीकृत हैं, जो डेवलपर्स के लिए पहुंच को बढ़ाता है। मॉडल पर्प्लेक्सिटी लैब्स और फायरवर्क्स.एआई जैसे मॉडल-ए-सर्विस प्लेटफॉर्म के माध्यम से भी उपलब्ध हैं, और एएमएजेडन सेजमेकर, एज़्योर एमएल, और वर्टेक्स एआई जैसे क्लाउड प्लेटफॉर्म पर। मेटा लामा 3 की उपलब्धता को और भी बढ़ाने की योजना बना रहा है, जिसमें गूगल क्लाउड, कैग्ले, आईबीएम वॉटसनएक्स, एनवीडिया एनआईएम, और स्नोफ्लेक जैसे प्लेटफॉर्म शामिल हैं। इसके अलावा, लामा 3 के लिए हार्डवेयर समर्थन को एएमडी, एएवीएस, डेल, इंटेल, एनवीडिया, और क्वालकॉम जैसे प्लेटफॉर्म से लेकर विस्तारित किया जाएगा।

लामा 3 में आगामी उन्नतियां

मेटा ने खुलासा किया है कि लामा 3 की वर्तमान रिलीज उनके व्यापक दृष्टिकोण में केवल प्रारंभिक चरण है। वे 400 बिलियन पैरामीटर से अधिक के साथ एक उन्नत मॉडल विकसित कर रहे हैं जो मल्टीमॉडलिटी और कई भाषाओं को संभालने की क्षमता जैसी नई सुविधाएं पेश करेगा। यह उन्नत संस्करण एक महत्वपूर्ण रूप से विस्तारित संदर्भ विंडो और सुधारित प्रदर्शन क्षमताओं की सुविधा भी प्रदान करेगा।

नीचे की रेखा

मेटा का लामा 3 बड़े भाषा मॉडल के परिदृश्य में एक महत्वपूर्ण विकास का प्रतिनिधित्व करता है, जो न केवल श्रृंखला को अधिक खुले स्रोत तक पहुंच की ओर ले जाता है, बल्कि इसकी प्रदर्शन क्षमताओं को भी काफी बढ़ाता है। लामा 2 की तुलना में सात गुना बड़े प्रशिक्षण डेटासेट और विस्तारित शब्दावली और संदर्भ लंबाई जैसी सुविधाओं के साथ, लामा 3 नए मानक स्थापित करता है जो उद्योग के सबसे मजबूत प्रतिस्पर्धियों को भी चुनौती देते हैं।

यह तीसरा संस्करण न केवल एआई प्रौद्योगिकी को लोकतांत्रिक बनाना जारी रखता है, जो उच्च-स्तरीय क्षमताओं को विकसित करने के लिए एक व्यापक विकासकर्ता स्पेक्ट्रम के लिए उपलब्ध कराता है, बल्कि सुरक्षा और प्रशिक्षण सटीकता में भी महत्वपूर्ण प्रगति भी लाता है। हगिंग फेस जैसे प्लेटफॉर्म में मॉडल को एकीकृत करके और प्रमुख क्लाउड सेवाओं के माध्यम से इसकी उपलब्धता का विस्तार करके, मेटा यह सुनिश्चित कर रहा है कि लामा 3 उतना ही शक्तिशाली है जितना कि यह व्यापक है।

आगे देखते हुए, मेटा के निरंतर विकास का वादा और भी मजबूत क्षमताओं की ओर इशारा करता है, जिसमें मल्टीमॉडलिटी और विस्तारित भाषा समर्थन शामिल है, जो लामा 3 को न केवल अन्य प्रमुख एआई मॉडलों के साथ प्रतिस्पर्धा करने के लिए तैयार करता है, बल्कि उन्हें पार करने की संभावना भी रखता है। लामा 3 मेटा की एआई क्रांति का नेतृत्व करने और एक वैश्विक उपयोगकर्ता आधार के लिए न केवल अधिक सुलभ बल्कि महत्वपूर्ण रूप से उन्नत और सुरक्षित उपकरण प्रदान करने की प्रतिबद्धता का प्रमाण है।