5 सर्वश्रेष्ठ ओपन सोर्स एलएलएम (मई 2024)

कृत्रिम बुद्धिमत्ता (एआई) की तेजी से विकसित हो रही दुनिया में, बड़े भाषा मॉडल (एलएलएम) एक आधारशिला के रूप में उभरे हैं, जो नवाचारों को बढ़ावा दे रहे हैं और प्रौद्योगिकी के साथ हमारे बातचीत करने के तरीके को नया आकार दे रहे हैं।

जैसे-जैसे ये मॉडल तेजी से परिष्कृत होते जा रहे हैं, उन तक पहुंच को लोकतांत्रिक बनाने पर जोर बढ़ रहा है। ओपन-सोर्स मॉडल, विशेष रूप से, इस लोकतंत्रीकरण में एक महत्वपूर्ण भूमिका निभा रहे हैं, जो शोधकर्ताओं, डेवलपर्स और उत्साही लोगों को समान रूप से उनकी पेचीदगियों में गहराई तक जाने, उन्हें विशिष्ट कार्यों के लिए तैयार करने, या यहां तक ​​​​कि उनकी नींव पर निर्माण करने का अवसर प्रदान करते हैं।

इस ब्लॉग में, हम कुछ शीर्ष ओपन-सोर्स एलएलएम का पता लगाएंगे जो एआई समुदाय में लहरें पैदा कर रहे हैं, प्रत्येक अपनी अनूठी ताकत और क्षमताओं को सामने ला रहा है।

1. लामा 2

मेटा का लामा 2 उनके एआई मॉडल लाइनअप में एक अभूतपूर्व अतिरिक्त है। यह सिर्फ एक और मॉडल नहीं है; इसे अत्याधुनिक अनुप्रयोगों की एक श्रृंखला को बढ़ावा देने के लिए डिज़ाइन किया गया है। लामा 2 का प्रशिक्षण डेटा विशाल और विविध है, जो इसे अपने पूर्ववर्ती की तुलना में महत्वपूर्ण उन्नति बनाता है। प्रशिक्षण में यह विविधता सुनिश्चित करती है कि लामा 2 न केवल एक वृद्धिशील सुधार है बल्कि एआई-संचालित इंटरैक्शन के भविष्य की दिशा में एक महत्वपूर्ण कदम है।

मेटा और माइक्रोसॉफ्ट के बीच सहयोग ने लामा 2 के लिए क्षितिज का विस्तार किया है। ओपन-सोर्स मॉडल अब एज़्योर और विंडोज जैसे प्लेटफार्मों पर समर्थित है, जिसका लक्ष्य डेवलपर्स और संगठनों को जेनरेटिव एआई-संचालित अनुभव बनाने के लिए उपकरण प्रदान करना है। यह साझेदारी एआई को अधिक सुलभ और सभी के लिए खुला बनाने के प्रति दोनों कंपनियों के समर्पण को रेखांकित करती है।

लामा 2 केवल मूल लामा मॉडल का उत्तराधिकारी नहीं है; यह चैटबॉट क्षेत्र में एक आदर्श बदलाव का प्रतिनिधित्व करता है। जबकि पहला लामा मॉडल पाठ और कोड उत्पन्न करने में क्रांतिकारी था, दुरुपयोग को रोकने के लिए इसकी उपलब्धता सीमित थी। दूसरी ओर, लामा 2 व्यापक दर्शकों तक पहुंचने के लिए तैयार है। इसे AWS, Azure और Hugging Face के AI मॉडल होस्टिंग प्लेटफ़ॉर्म जैसे प्लेटफ़ॉर्म के लिए अनुकूलित किया गया है। इसके अलावा, माइक्रोसॉफ्ट के साथ मेटा के सहयोग से, लामा 2 न केवल विंडोज़ पर बल्कि क्वालकॉम के स्नैपड्रैगन सिस्टम-ऑन-चिप द्वारा संचालित उपकरणों पर भी अपनी छाप छोड़ने के लिए तैयार है।

सुरक्षा लामा 2 के डिज़ाइन के केंद्र में है। जीपीटी जैसे पहले के बड़े भाषा मॉडल, जो कभी-कभी भ्रामक या हानिकारक सामग्री उत्पन्न करते थे, के सामने आने वाली चुनौतियों को पहचानते हुए, मेटा ने लामा 2 की विश्वसनीयता सुनिश्चित करने के लिए व्यापक उपाय किए हैं। मॉडल को 'मतिभ्रम', गलत सूचना और पूर्वाग्रहों को कम करने के लिए कठोर प्रशिक्षण से गुजरना पड़ा है।

LLaMa 2 की शीर्ष विशेषताएं:

• विविध प्रशिक्षण डेटा: लामा 2 का प्रशिक्षण डेटा व्यापक और विविध दोनों है, जो व्यापक समझ और प्रदर्शन सुनिश्चित करता है।
• माइक्रोसॉफ्ट के साथ सहयोग: Llama 2 को Azure और Windows जैसे प्लेटफ़ॉर्म पर समर्थित किया गया है, जिससे इसके एप्लिकेशन का दायरा बढ़ गया है।
• खुली उपलब्धता: अपने पूर्ववर्ती के विपरीत, लामा 2 व्यापक दर्शकों के लिए उपलब्ध है, कई प्लेटफार्मों पर फाइन-ट्यूनिंग के लिए तैयार है।
• सुरक्षा-केंद्रित डिज़ाइन: मेटा ने सुरक्षा पर जोर दिया है, यह सुनिश्चित करते हुए कि लामा 2 हानिकारक आउटपुट को कम करते हुए सटीक और विश्वसनीय परिणाम देता है।
• अनुकूलित संस्करण: लामा 2 दो मुख्य संस्करणों में आता है - लामा 2 और लामा 2-चैट, बाद वाले को विशेष रूप से दो-तरफ़ा बातचीत के लिए डिज़ाइन किया गया है। इन संस्करणों की जटिलता 7 अरब से 70 अरब मापदंडों तक है।
• उन्नत प्रशिक्षण: लामा 2 को दो मिलियन टोकन पर प्रशिक्षित किया गया था, जो मूल लामा के 1.4 ट्रिलियन टोकन से एक महत्वपूर्ण वृद्धि है।

2. फूल का खिलना

2022 में, 70 से अधिक देशों के स्वयंसेवकों और हगिंग फेस के विशेषज्ञों के वैश्विक सहयोगात्मक प्रयास के बाद, ब्लूम परियोजना का अनावरण किया गया। एक साल की पहल के माध्यम से बनाया गया यह बड़ा भाषा मॉडल (एलएलएम) ऑटोरेग्रेसिव टेक्स्ट जेनरेशन के लिए डिज़ाइन किया गया है, जो किसी दिए गए टेक्स्ट प्रॉम्प्ट को विस्तारित करने में सक्षम है। इसे पर्याप्त कम्प्यूटेशनल शक्ति का उपयोग करके टेक्स्ट डेटा के विशाल संग्रह पर प्रशिक्षित किया गया था।

ब्लूम की शुरुआत जेनेरिक एआई तकनीक को और अधिक सुलभ बनाने की दिशा में एक महत्वपूर्ण कदम थी। एक ओपन-सोर्स एलएलएम के रूप में, इसमें 176 बिलियन पैरामीटर हैं, जो इसे अपनी कक्षा में सबसे दुर्जेय में से एक बनाता है। ब्लूम के पास 46 भाषाओं और 13 प्रोग्रामिंग भाषाओं में सुसंगत और सटीक पाठ उत्पन्न करने की दक्षता है।

परियोजना पारदर्शिता पर जोर देती है, जिससे जनता को इसके स्रोत कोड और प्रशिक्षण डेटा तक पहुंच की अनुमति मिलती है। यह खुलापन मॉडल की निरंतर जांच, उपयोग और वृद्धि को आमंत्रित करता है।

हगिंग फेस प्लेटफॉर्म के माध्यम से बिना किसी लागत के पहुंच योग्य, ब्लूम एआई में सहयोगात्मक नवाचार के लिए एक प्रमाण पत्र के रूप में खड़ा है।

ब्लूम की शीर्ष विशेषताएं:

• बहुभाषी क्षमताएं: ब्लूम अपनी विस्तृत भाषाई रेंज को प्रदर्शित करते हुए 46 भाषाओं और 13 प्रोग्रामिंग भाषाओं में टेक्स्ट तैयार करने में कुशल है।
• ओपन-सोर्स एक्सेस: मॉडल का स्रोत कोड और प्रशिक्षण डेटा सार्वजनिक रूप से उपलब्ध है, जो पारदर्शिता और सहयोगात्मक सुधार को बढ़ावा देता है।
• ऑटोरेग्रेसिव टेक्स्ट जनरेशन: किसी दिए गए प्रॉम्प्ट से टेक्स्ट जारी रखने के लिए डिज़ाइन किया गया, ब्लूम टेक्स्ट अनुक्रमों को विस्तारित करने और पूरा करने में उत्कृष्टता प्राप्त करता है।
• विशाल पैरामीटर गणना: 176 बिलियन मापदंडों के साथ, ब्लूम अस्तित्व में सबसे शक्तिशाली ओपन-सोर्स एलएलएम में से एक है।
• वैश्विक सहयोग: 70 से अधिक देशों के स्वयंसेवकों और हगिंग फेस शोधकर्ताओं के योगदान से एक साल की लंबी परियोजना के माध्यम से विकसित किया गया।
• नि:शुल्क पहुंच: उपयोगकर्ता हगिंग फेस इकोसिस्टम के माध्यम से ब्लूम को मुफ्त में एक्सेस और उपयोग कर सकते हैं, जिससे एआई के क्षेत्र में इसका लोकतंत्रीकरण बढ़ जाएगा।
• औद्योगिक पैमाने पर प्रशिक्षण: मॉडल को महत्वपूर्ण कम्प्यूटेशनल संसाधनों का उपयोग करके बड़ी मात्रा में टेक्स्ट डेटा पर प्रशिक्षित किया गया था, जिससे मजबूत प्रदर्शन सुनिश्चित हुआ।

3. एमपीटी-7बी

मोज़ेकएमएल फ़ाउंडेशन ने अपने नवीनतम ओपन-सोर्स एलएलएम एमपीटी-7बी की शुरुआत के साथ इस क्षेत्र में महत्वपूर्ण योगदान दिया है। MPT-7B, MosaicML Pretrained Transformer का संक्षिप्त रूप, एक GPT-शैली, डिकोडर-केवल ट्रांसफार्मर मॉडल है। यह मॉडल कई संवर्द्धन का दावा करता है, जिसमें प्रदर्शन-अनुकूलित परत कार्यान्वयन और वास्तुशिल्प परिवर्तन शामिल हैं जो बेहतर प्रशिक्षण स्थिरता सुनिश्चित करते हैं।

MPT-7B की एक असाधारण विशेषता टेक्स्ट और कोड के 1 ट्रिलियन टोकन वाले व्यापक डेटासेट पर इसका प्रशिक्षण है। यह कठोर प्रशिक्षण 9.5 दिनों की अवधि में मोज़ेकएमएल प्लेटफॉर्म पर निष्पादित किया गया था।

एमपीटी-7बी की ओपन-सोर्स प्रकृति इसे व्यावसायिक अनुप्रयोगों के लिए एक मूल्यवान उपकरण के रूप में स्थापित करती है। यह भविष्य कहनेवाला विश्लेषण और व्यवसायों और संगठनों की निर्णय लेने की प्रक्रियाओं को महत्वपूर्ण रूप से प्रभावित करने की क्षमता रखता है।

बेस मॉडल के अलावा, मोज़ेकएमएल फ़ाउंडेशन विशिष्ट कार्यों के लिए तैयार किए गए विशेष मॉडल भी जारी कर रहा है, जैसे शॉर्ट-फॉर्म इंस्ट्रक्शन फॉलोइंग के लिए एमपीटी-7बी-इंस्ट्रक्ट, डायलॉग जेनरेशन के लिए एमपीटी-7बी-चैट और एमपीटी-7बी-स्टोरीराइटर-65k+ लंबी-चौड़ी कहानी निर्माण के लिए.

एमपीटी-7बी की विकास यात्रा व्यापक थी, मोज़ेकएमएल टीम ने कुछ ही हफ्तों में डेटा तैयारी से लेकर तैनाती तक सभी चरणों का प्रबंधन किया। डेटा विविध रिपॉजिटरी से प्राप्त किया गया था, और टीम ने विविध और व्यापक प्रशिक्षण मिश्रण सुनिश्चित करने के लिए EleutherAI के GPT-NeoX और 20B टोकननाइज़र जैसे टूल का उपयोग किया।

एमपीटी-7बी की मुख्य विशेषताएं अवलोकन:

• वाणिज्यिक लाइसेंसिंग: एमपीटी-7बी को व्यावसायिक उपयोग के लिए लाइसेंस प्राप्त है, जो इसे व्यवसायों के लिए एक मूल्यवान संपत्ति बनाता है।
• व्यापक प्रशिक्षण डेटा: यह मॉडल 1 ट्रिलियन टोकन के विशाल डेटासेट पर प्रशिक्षण का दावा करता है।
• लंबी इनपुट हैंडलिंग: एमपीटी-7बी को बिना किसी समझौते के अत्यधिक लंबे इनपुट को संसाधित करने के लिए डिज़ाइन किया गया है।
• गति और दक्षता: मॉडल को त्वरित प्रशिक्षण और अनुमान के लिए अनुकूलित किया गया है, जिससे समय पर परिणाम सुनिश्चित होते हैं।
• ओपन-सोर्स कोड: एमपीटी-7बी कुशल ओपन-सोर्स प्रशिक्षण कोड के साथ आता है, जो पारदर्शिता और उपयोग में आसानी को बढ़ावा देता है।
• तुलनात्मक उत्कृष्टता: एमपीटी-7बी ने 7बी-20बी रेंज में अन्य ओपन-सोर्स मॉडलों पर श्रेष्ठता प्रदर्शित की है, इसकी गुणवत्ता एलएलएएमए-7बी से मेल खाती है।

4. बाज़

फाल्कन एलएलएम, एक ऐसा मॉडल है जो तेजी से एलएलएम पदानुक्रम के शीर्ष पर चढ़ गया है। फाल्कन एलएलएम, विशेष रूप से फाल्कन-40बी, 40 बिलियन मापदंडों से सुसज्जित एक मूलभूत एलएलएम है और इसे प्रभावशाली एक ट्रिलियन टोकन पर प्रशिक्षित किया गया है। यह एक ऑटोरेग्रेसिव डिकोडर-ओनली मॉडल के रूप में काम करता है, जिसका अनिवार्य रूप से मतलब है कि यह पिछले टोकन के आधार पर अनुक्रम में बाद के टोकन की भविष्यवाणी करता है। यह आर्किटेक्चर GPT मॉडल की याद दिलाता है। विशेष रूप से, फाल्कन की वास्तुकला ने जीपीटी-3 से बेहतर प्रदर्शन किया है, जिससे प्रशिक्षण गणना बजट के केवल 75% के साथ यह उपलब्धि हासिल हुई है और अनुमान के दौरान काफी कम गणना की आवश्यकता होती है।

टेक्नोलॉजी इनोवेशन इंस्टीट्यूट की टीम ने फाल्कन के विकास के दौरान डेटा गुणवत्ता पर जोर दिया। डेटा गुणवत्ता के प्रशिक्षण के लिए एलएलएम की संवेदनशीलता को पहचानते हुए, उन्होंने एक डेटा पाइपलाइन का निर्माण किया जो हजारों सीपीयू कोर तक फैली हुई थी। इसने व्यापक फ़िल्टरिंग और डिडुप्लीकेशन प्रक्रियाओं के माध्यम से तेजी से प्रसंस्करण और वेब से उच्च गुणवत्ता वाली सामग्री निकालने की अनुमति दी।

फाल्कन-40बी के अलावा, टीआईआई ने फाल्कन-7बी सहित अन्य संस्करण भी पेश किए हैं, जिसमें 7 अरब पैरामीटर हैं और इसे 1,500 अरब टोकन पर प्रशिक्षित किया गया है। फाल्कन-40बी-इंस्ट्रक्ट और फाल्कन-7बी-इंस्ट्रक्ट जैसे विशेष मॉडल भी हैं, जो विशिष्ट कार्यों के लिए तैयार किए गए हैं।

फाल्कन-40बी का प्रशिक्षण एक व्यापक प्रक्रिया थी। मॉडल को रिफाइंडवेब डेटासेट पर प्रशिक्षित किया गया था, जो टीआईआई द्वारा निर्मित एक विशाल अंग्रेजी वेब डेटासेट है। यह डेटासेट कॉमनक्रॉल के शीर्ष पर बनाया गया था और गुणवत्ता सुनिश्चित करने के लिए इसे कठोर फ़िल्टरिंग से गुजरना पड़ा। एक बार मॉडल तैयार हो जाने के बाद, इसे ईएआई हार्नेस, एचईएलएम और बिगबेंच सहित कई ओपन-सोर्स बेंचमार्क के खिलाफ मान्य किया गया था।

फाल्कन एलएलएम की मुख्य विशेषताएं अवलोकन:

• व्यापक पैरामीटर: फाल्कन-40बी 40 अरब मापदंडों से सुसज्जित है, जो व्यापक शिक्षण और प्रदर्शन सुनिश्चित करता है।
• ऑटोरेग्रेसिव डिकोडर-केवल मॉडल: यह आर्किटेक्चर फाल्कन को GPT मॉडल के समान, पिछले टोकन के आधार पर बाद के टोकन की भविष्यवाणी करने की अनुमति देता है।
• श्रेष्ठ प्रदर्शन: फाल्कन प्रशिक्षण गणना बजट का केवल 3% उपयोग करते हुए जीपीटी-75 से बेहतर प्रदर्शन करता है।
• उच्च गुणवत्ता वाली डेटा पाइपलाइन: टीआईआई की डेटा पाइपलाइन वेब से उच्च गुणवत्ता वाली सामग्री का निष्कर्षण सुनिश्चित करती है, जो मॉडल के प्रशिक्षण के लिए महत्वपूर्ण है।
• मॉडल की विविधता: फाल्कन-40बी के अलावा, टीआईआई फाल्कन-7बी और फाल्कन-40बी-इंस्ट्रक्ट और फाल्कन-7बी-इंस्ट्रक्ट जैसे विशेष मॉडल पेश करता है।
• ओपन-सोर्स उपलब्धता: फाल्कन एलएलएम को ओपन-सोर्स किया गया है, जो एआई डोमेन में पहुंच और समावेशिता को बढ़ावा देता है।

5. विकुना-13बी

एलएमएसवाईएस ओआरजी ने विकुना-13बी की शुरुआत के साथ ओपन-सोर्स एलएलएम के क्षेत्र में एक महत्वपूर्ण छाप छोड़ी है। इस ओपन-सोर्स चैटबॉट को ShareGPT से प्राप्त उपयोगकर्ता-साझा वार्तालापों पर LLaMA को फाइन-ट्यूनिंग द्वारा सावधानीपूर्वक प्रशिक्षित किया गया है। प्रारंभिक मूल्यांकन, जिसमें जीपीटी-4 जज की भूमिका निभा रहा है, से संकेत मिलता है कि विकुना-13बी ओपनएआई चैटजीपीटी और गूगल बार्ड जैसे प्रसिद्ध मॉडलों की 90% से अधिक गुणवत्ता प्राप्त करता है।

प्रभावशाली ढंग से, विकुना-13बी 90% से अधिक मामलों में एलएलएएमए और स्टैनफोर्ड अल्पाका जैसे अन्य उल्लेखनीय मॉडलों से बेहतर प्रदर्शन करता है। विकुना-13बी के लिए पूरी प्रशिक्षण प्रक्रिया लगभग $300 की लागत पर निष्पादित की गई थी। इसकी क्षमताओं की खोज में रुचि रखने वालों के लिए, कोड, वज़न और एक ऑनलाइन डेमो गैर-व्यावसायिक उद्देश्यों के लिए सार्वजनिक रूप से उपलब्ध कराया गया है।

विकुना-13बी मॉडल को 70K उपयोगकर्ता-साझा चैटजीपीटी वार्तालापों के साथ ठीक किया गया है, जो इसे अधिक विस्तृत और अच्छी तरह से संरचित प्रतिक्रियाएं उत्पन्न करने में सक्षम बनाता है। इन प्रतिक्रियाओं की गुणवत्ता ChatGPT से तुलनीय है। हालाँकि, चैटबॉट्स का मूल्यांकन करना एक जटिल प्रयास है। GPT-4 में प्रगति के साथ, बेंचमार्क पीढ़ी और प्रदर्शन मूल्यांकन के लिए एक स्वचालित मूल्यांकन ढांचे के रूप में काम करने की इसकी क्षमता के बारे में जिज्ञासा बढ़ रही है। प्रारंभिक निष्कर्षों से पता चलता है कि चैटबॉट प्रतिक्रियाओं की तुलना करते समय GPT-4 लगातार रैंक और विस्तृत मूल्यांकन उत्पन्न कर सकता है। GPT-4 पर आधारित प्रारंभिक मूल्यांकन से पता चलता है कि विकुना बार्ड/चैटजीपीटी जैसे मॉडलों की 90% क्षमता हासिल कर लेता है।

विकुना-13बी की मुख्य विशेषताएं अवलोकन:

• ओपन-सोर्स प्रकृति: विकुना-13बी सार्वजनिक पहुंच के लिए उपलब्ध है, जो पारदर्शिता और सामुदायिक भागीदारी को बढ़ावा देता है।
• व्यापक प्रशिक्षण डेटा: मॉडल को 70K उपयोगकर्ता-साझा वार्तालापों पर प्रशिक्षित किया गया है, जो विविध इंटरैक्शन की व्यापक समझ सुनिश्चित करता है।
• प्रतिस्पर्धी प्रदर्शन: विकुना-13बी का प्रदर्शन चैटजीपीटी और गूगल बार्ड जैसे उद्योग जगत के नेताओं के बराबर है।
• लागत प्रभावी प्रशिक्षण: विकुना-13बी के लिए संपूर्ण प्रशिक्षण प्रक्रिया लगभग $300 की कम लागत पर निष्पादित की गई।
• LLaMA पर फाइन-ट्यूनिंग: बेहतर प्रदर्शन और प्रतिक्रिया गुणवत्ता सुनिश्चित करने के लिए मॉडल को LLaMA पर ठीक किया गया है।
• ऑनलाइन डेमो उपलब्धता: विकुना-13बी की क्षमताओं का परीक्षण और अनुभव करने के लिए उपयोगकर्ताओं के लिए एक इंटरैक्टिव ऑनलाइन डेमो उपलब्ध है।

बड़े भाषा मॉडलों का विस्तारित दायरा

बड़े भाषा मॉडल का दायरा विशाल और लगातार विस्तारित हो रहा है, प्रत्येक नया मॉडल जो संभव है उसकी सीमाओं को आगे बढ़ाता है। इस ब्लॉग में चर्चा की गई एलएलएम की ओपन-सोर्स प्रकृति न केवल एआई समुदाय की सहयोगात्मक भावना को दर्शाती है बल्कि भविष्य के नवाचारों का मार्ग भी प्रशस्त करती है।

ये मॉडल, विकुना की प्रभावशाली चैटबॉट क्षमताओं से लेकर फाल्कन के बेहतर प्रदर्शन मेट्रिक्स तक, वर्तमान एलएलएम तकनीक के शिखर का प्रतिनिधित्व करते हैं। जैसा कि हम इस क्षेत्र में तेजी से प्रगति देख रहे हैं, यह स्पष्ट है कि ओपन-सोर्स मॉडल एआई के भविष्य को आकार देने में महत्वपूर्ण भूमिका निभाएंगे।

चाहे आप एक अनुभवी शोधकर्ता हों, उभरते एआई उत्साही हों, या इन मॉडलों की क्षमता के बारे में उत्सुक हों, उनके द्वारा प्रदान की जाने वाली विशाल संभावनाओं का पता लगाने और उनका पता लगाने का इससे बेहतर समय नहीं हो सकता।