मेटा के ल्लामा 4 के साथ ओपन-सोर्स एआई का पलटवार

पिछले कुछ वर्षों में, एआई दुनिया एक खुले सहयोग की संस्कृति से एक ऐसी संस्कृति में बदल गई है जो बंद और संरक्षित प्रणालियों द्वारा प्रभुत्व रखती है। ओपनएआई – एक कंपनी जो वास्तव में “ओपन” नाम के साथ स्थापित की गई थी – 2019 के बाद अपने सबसे शक्तिशाली मॉडलों को गुप्त रखने के लिए बदल गई। प्रतिद्वंद्वी जैसे एंथ्रोपिक और गूगल ने भी अपने नवीनतम एआई को एपीआई दीवारों के पीछे बनाया, जो केवल उनकी शर्तों पर ही उपलब्ध हैं। यह बंद दृष्टिकोण को आंशिक रूप से सुरक्षा और व्यावसायिक हितों द्वारा उचित ठहराया गया था, लेकिन इससे समुदाय के कई लोगों को प्रारंभिक ओपन-सोर्स भावना की हानि का दुख हुआ।

अब, वह भावना एक पुनरुत्थान की ओर बढ़ रही है। मेटा के नए ल्लामा 4 मॉडल उच्चतम स्तर पर ओपन-सोर्स एआई को पुनर्जीवित करने के लिए एक साहसिक प्रयास का संकेत देते हैं – और यहां तक कि पारंपरिक रूप से संरक्षित खिलाड़ी भी ध्यान दे रहे हैं। ओपनएआई के सीईओ सैम एल्टमैन ने हाल ही में स्वीकार किया कि कंपनी “ओपन मॉडल” के संबंध में “इतिहास के गलत पक्ष” पर थी और एक “शक्तिशाली नए ओपन-वेट” जीपीटी-4 वेरिएंट की घोषणा की। संक्षेप में, ओपन-सोर्स एआई वापस लड़ रहा है, और “ओपन” के अर्थ और मूल्य विकसित हो रहे हैं।

(स्रोत: मेटा)

ल्लामा 4: मेटा का जीपीटी-4ओ, क्लॉड, और जेमिनी के लिए ओपन चैलेंजर

मेटा ने ल्लामा 4 को नए मॉडलों के लिए एक सीधी चुनौती के रूप में पेश किया, जिसे एक ओपन-वेट विकल्प के रूप में स्थिति दी गई है। ल्लामा 4 आज दो स्वादों में उपलब्ध है – ल्लामा 4 स्काउट और ल्लामा 4 मावेरिक – जो आंखों को चकाचौंध करने वाले तकनीकी विशिष्टताओं के साथ आते हैं। दोनों मिश्रण-ऑफ-एक्सपर्ट (मोई) मॉडल हैं जो केवल एक फ्रैक्शन को सक्रिय करते हैं उनके पैरामीटर प्रति प्रश्न, जिससे बड़े कुल आकार के बिना रनटाइम लागत को कुचलने की अनुमति मिलती है। स्काउट और मावेरिक प्रत्येक में 17 बिलियन “सक्रिय” पैरामीटर (जो किसी भी दिए गए इनपुट पर काम करता है) हैं, लेकिन मोई के कारण, स्काउट उन्हें 16 विशेषज्ञों (109बी पैरामीटर कुल) में फैलाता है और मावेरिक 128 विशेषज्ञों (400बी कुल) में। परिणाम: ल्लामा 4 मॉडल प्रभावशाली प्रदर्शन प्रदान करते हैं – और ऐसा करते हुए वे अनोखे लाभ प्रदान करते हैं जो कुछ बंद मॉडलों में भी नहीं हैं।

उदाहरण के लिए, ल्लामा 4 स्काउट उद्योग के नेतृत्व में 10 मिलियन टोकन संदर्भ विंडो का दावा करता है, जो अधिकांश प्रतिद्वंद्वियों से कई गुना अधिक है। इसका मतलब है कि यह वास्तव में बड़े दस्तावेजों या कोडबेस को एक बार में पचा सकता है और तर्क दे सकता है। इसके आकार के बावजूद, स्काउट पर्याप्त कुशल है कि यह एक ही एच100 जीपीयू पर चल सकता है जब यह उच्च स्तर पर क्वांटाइज़ किया जाता है, जो यह संकेत देता है कि डेवलपर्स को इसके साथ प्रयोग करने के लिए एक सुपरकंप्यूटर की आवश्यकता नहीं होगी।

इस बीच ल्लामा 4 मावेरिक को अधिकतम पrowess के लिए ट्यून किया गया है। शुरुआती परीक्षणों से पता चलता है कि मावेरिक शीर्ष बंद मॉडलों को तर्क, कोडिंग और दृष्टि कार्यों में मिला रहा है या उन्हें पार कर रहा है। वास्तव में, मेटा पहले से ही एक और बड़े भाई, ल्लामा 4 बेहेमोथ की छेड़छाड़ कर रहा है, जो अभी प्रशिक्षण में है, जो “जीपीटी-4.5, क्लॉड 3.7 सोनेट, और जेमिनी 2.0 प्रो को कई स्टेम बेंचमार्क पर पार करता है” आंतरिक रूप से। संदेश स्पष्ट है: ओपन मॉडल अब दूसरे दर्जे के नहीं हैं; ल्लामा 4 राज्य-ऑफ-द-आर्ट स्थिति के लिए लक्ष्य बना रहा है।

समान रूप से, मेटा ने ल्लामा 4 को तुरंत डाउनलोड और उपयोग के लिए उपलब्ध कर दिया है। डेवलपर्स स्काउट और मावेरिक को आधिकारिक साइट से या हगिंग फेस से ल्लामा 4 कम्युनिटी लाइसेंस के तहत प्राप्त कर सकते हैं। इसका मतलब है कि कोई भी – एक गैरेज हैकर से लेकर एक फोर्ट्यून 500 कंपनी तक – इसे अपनी आवश्यकताओं के अनुसार अनुकूलित कर सकता है और अपने स्वयं के हार्डवेयर या क्लाउड पर तैनात कर सकता है। यह प्रोप्राइटरी ऑफरिंग्स जैसे ओपनएआई के जीपीटी-4ओ या एंथ्रोपिक के क्लॉड 3.7 के विपरीत एक तेज़ विपरीत है, जो भुगतान किए गए एपीआई के माध्यम से परोसे जाते हैं जिनमें अंतर्निहित वजन तक कोई पहुंच नहीं है।

मेटा पर जोर देता है कि ल्लामा 4 की खुलापन उपयोगकर्ताओं को सशक्त बनाने के बारे में है: “हम ल्लामा 4 झुंड के पहले मॉडल साझा कर रहे हैं, जो लोगों को अधिक व्यक्तिगत बहुमोडल अनुभव बनाने में सक्षम बनाएगा।” अन्य शब्दों में, ल्लामा 4 एक टूलकिट है जो विश्वभर के डेवलपर्स और शोधकर्ताओं के हाथों में होना चाहिए। शीर्ष-स्तरीय एआई को जारी करके जो जीपीटी-4 और क्लॉड जैसे मॉडलों की क्षमता को पार कर सकता है, मेटा यह धारणा को पुनर्जीवित कर रहा है कि शीर्ष-स्तरीय एआई को एक प्रवेश द्वार के पीछे नहीं रहना चाहिए।

(स्रोत: मेटा)

प्रामाणिक आदर्शवाद या रणनीतिक खेल?

मेटा ल्लामा 4 को महान, लगभग अल्ट्रूस्टिक शब्दों में पेश करता है। “हमारा ओपन-सोर्स एआई मॉडल, ल्लामा, एक बिलियन से अधिक बार डाउनलोड किया गया है,” सीईओ मार्क जुकरबर्ग हाल ही में घोषणा की, यह कहते हुए कि “एआई मॉडल को ओपन-सोर्स करना यह सुनिश्चित करने के लिए आवश्यक है कि हर कोई एआई के लाभों तक पहुंच हासिल करे।” यह फ्रेमिंग मेटा को लोकतांत्रिक एआई के ध्वजवाहक के रूप में चित्रित करता है – एक कंपनी जो अपने ताज मॉडलों को साझा करने के लिए तैयार है बड़े अच्छे के लिए। और वास्तव में, ल्लामा परिवार की लोकप्रियता इसका समर्थन करती है: मॉडल को आश्चर्यजनक पैमाने पर डाउनलोड किया गया है (कुछ ही महीनों में 650 मिलियन से 1 बिलियन तक कुल डाउनलोड), और वे पहले से ही स्पॉटिफाई, एटी एंड टी, और डोरडैश जैसी कंपनियों द्वारा उत्पादन में उपयोग किए जा रहे हैं।

मेटा गर्व से कहता है कि डेवलपर्स “पारदर्शिता, अनुकूलन और सुरक्षा” की सराहना करते हैं जो खुले मॉडलों को चलाने में सक्षम होने के साथ आती है, जो “नई स्तरों की रचनात्मकता और नवाचार की अनुमति देता है,” ब्लैक-बॉक्स एपीआई की तुलना में। सिद्धांत रूप में, यह पुराने ओपन-सोर्स सॉफ्टवेयर नैतिकता (लिनक्स या अपाचे के बारे में सोचें) की तरह लगता है जो एआई पर लागू किया जा रहा है – एक स्पष्ट जीत समुदाय के लिए।

हालांकि, इस खुलापन के पीछे रणनीतिक गणित को नजरअंदाज नहीं किया जा सकता है। मेटा एक धर्मार्थ संस्था नहीं है, और “ओपन-सोर्स” इस संदर्भ में कुछ शर्तों के साथ आता है। विशेष रूप से, ल्लामा 4 एक विशेष सामुदायिक लाइसेंस के तहत जारी किया गया है, एक मानक अनुमति लाइसेंस नहीं – इसलिए जबकि मॉडल वजन मुफ्त में उपयोग करने के लिए उपलब्ध हैं, कुछ प्रतिबंध हैं (उदाहरण के लिए, कुछ उच्च-संसाधन उपयोग के मामलों में अनुमति की आवश्यकता हो सकती है, और लाइसेंस “प्रोप्राइटरी” है इस अर्थ में कि यह मेटा द्वारा बनाया गया है)। यह ओपन सोर्स इनिशिएटिव (ओएसआई) द्वारा अनुमोदित ओपन सोर्स की परिभाषा नहीं है, जिसने कुछ आलोचकों को यह तर्क देने के लिए प्रेरित किया है कि कंपनियां शब्द का दुरुपयोग कर रही हैं।

अभ्यास में, मेटा का दृष्टिकोण अक्सर “ओपन-वेट” या “सोर्स-अवेलेबल” एआई के रूप में वर्णित किया जाता है: कोड और वजन खुले में हैं, लेकिन मेटा अभी भी कुछ नियंत्रण बनाए रखता है और सब कुछ प्रकट नहीं करता है (प्रशिक्षण डेटा, उदाहरण के लिए)। यह उपयोगकर्ताओं के लिए उपयोगिता को कम नहीं करता है, लेकिन यह दिखाता है कि मेटा रणनीतिक रूप से खुला है – बस इतना खुला है कि यह अपनी रक्षा कर सके (और शायद अपने प्रतिस्पर्धी लाभ को भी)। कई फर्म “ओपन सोर्स” लेबल को एआई मॉडल पर चिपका रही हैं जबकि महत्वपूर्ण विवरण छुपा रही हैं, खुलापन की सच्ची भावना को विकृत कर रही हैं।

मेटा क्यों खुला है? प्रतिस्पर्धी परिदृश्य सुराग प्रदान करता है। शक्तिशाली मॉडलों को मुफ्त में जारी करने से विकासकर्ताओं और उद्यमों का एक व्यापक आधार तेजी से बन सकता है। मेटा के ल्लामा को बाजार में बोने से यह सुनिश्चित होता है कि इसकी प्रौद्योगिकी एआई पारिस्थितिकी तंत्र में आधार बन जाती है, जो दीर्घकालिक लाभ प्रदान कर सकती है। यह एक क्लासिक एम्ब्रेस-एंड-एक्सटेंड रणनीति है: यदि हर कोई आपके “ओपन” मॉडल का उपयोग करता है, तो आप अप्रत्यक्ष रूप से मानक निर्धारित करते हैं और शायद अपने प्लेटफार्मों (उदाहरण के लिए, मेटा के एआई सहायक उत्पाद ल्लामा का लाभ उठाते हैं) की ओर लोगों को निर्देशित करते हैं। इसके अलावा पीआर और स्थिति का एक तत्व है। मेटा को एक दयालु नवप्रवर्तनक की भूमिका मिली है, विशेष रूप से ओपनएआई की तुलना में, जिसे अपने बंद दृष्टिकोण के लिए आलोचना का सामना करना पड़ा है। वास्तव में, ओपनएआई का ओपन मॉडल पर अपने दृष्टिकोण में बदलाव मेटा के कदम की प्रभावशीलता को रेखांकित करता है।

मेटा की खुलापन का दृष्टिकोण दोनों प्रामाणिक और रणनीतिक है: यह वास्तव में एआई तक पहुंच को बढ़ाता है, लेकिन यह प्रतिद्वंद्वियों को बाहर करने और बाजार के भविष्य को मेटा के शब्दों पर आकार देने के लिए एक चतुर चाल है। डीपसीक-आर 1 नामक एक चीनी ओपन मॉडल के जनवरी में उभरने और पिछले मॉडलों को पार करने के बाद, एल्टमैन ने संकेत दिया कि ओपनएआई “इतिहास के गलत पक्ष” पर नहीं रहना चाहता था। अब ओपनएआई एक ओपन मॉडल का वादा कर रहा है जिसमें मजबूत तर्क क्षमता होगी, दृष्टिकोण में बदलाव का संकेत देते हुए। मेटा के प्रभाव को इस बदलाव में देखना मुश्किल नहीं है। मेटा की ओपन-सोर्स पोजीशनिंग दोनों प्रामाणिक और रणनीतिक है: यह वास्तव में एआई तक पहुंच को बढ़ाता है, लेकिन यह प्रतिद्वंद्वियों को बाहर करने और बाजार के भविष्य को मेटा के शब्दों पर आकार देने के लिए एक चतुर चाल है।

डेवलपर्स, उद्यमों और एआई के भविष्य के लिए निहितार्थ

डेवलपर्स के लिए, ओपन मॉडल जैसे ल्लामा 4 का पुनरुत्थान एक ताजगी की सांस है। इसके बजाय एकल प्रदाता के पारिस्थितिकी तंत्र और शुल्क में बंद, वे अब अपने बुनियादी ढांचे या स्वतंत्र रूप से शक्तिशाली एआई चलाने का विकल्प रखते हैं।

यह संवेदनशील उद्योगों में उद्यमों के लिए एक बड़ा लाभ है – वित्त, स्वास्थ्य सेवा, या सरकार जैसे – जो गोपनीय डेटा को किसी और के ब्लैक बॉक्स में डालने से सावधान हैं। ल्लामा 4 के साथ, एक बैंक या अस्पताल एक राज्य-ऑफ-द-आर्ट भाषा मॉडल को अपनी फायरवॉल के पीछे तैनात कर सकता है, इसे निजी डेटा पर ट्यून कर सकता है, बिना किसी बाहरी इकाई के साथ एक टोकन साझा किए। इसके अलावा एक लागत लाभ है। जबकि शीर्ष मॉडलों के लिए उपयोग-आधारित एपीआई शुल्क आसमान छू सकते हैं, एक ओपन मॉडल में कोई उपयोग शुल्क नहीं है – आप केवल इसके लिए कंप्यूटिंग शक्ति का भुगतान करते हैं। जो व्यवसाय भारी एआई कार्यभार को बढ़ाते हैं, वे एक ओपन समाधान का चयन करके जो वे स्वयं घर में स्केल कर सकते हैं, काफी बचत कर सकते हैं।

इसलिए यह कोई आश्चर्य नहीं है कि हम ओपन मॉडलों में उद्यमों से अधिक रुचि देख रहे हैं; कई ने महसूस किया है कि ओपन-सोर्स एआई का नियंत्रण और सुरक्षा उनकी जरूरतों के अनुरूप बेहतर है जो एक-आकार-फिट-सभी बंद सेवाओं के साथ है।

डेवलपर्स को भी नवाचार में लाभ होता है। मॉडल के आंतरिक भागों तक पहुंच के साथ, वे निष्क्रिय डोमेन (कानून, जैव प्रौद्योगिकी, क्षेत्रीय भाषाएं – आप नाम दें) के लिए एआई को अनुकूलित और बेहतर बना सकते हैं जिसे एक बंद एपीआई कभी भी संबोधित नहीं कर सकता है। पिछले ल्लामा मॉडलों के आसपास सामुदायिक-निर्देशित परियोजनाओं का विस्फोट – चिकित्सा ज्ञान पर महारत हासिल करने वाले चैटबॉट से लेकर शौकिया स्मार्टफोन ऐप्स तक जो मिनी संस्करण चला रहे हैं – यह दिखाता है कि ओपन मॉडल प्रयोग को कैसे लोकतांत्रिक बना सकते हैं।

हालांकि, ओपन मॉडल पुनर्जागरण भी कठिन प्रश्न उठाता है। क्या “लोकतंत्रीकरण” वास्तव में तब होता है जब केवल महत्वपूर्ण कंप्यूटिंग संसाधनों वाले लोग 400बी पैरामीटर मॉडल चला सकते हैं? जबकि ल्लामा 4 स्काउट और मावेरिक मोनोलिथिक मॉडल की तुलना में हार्डवेयर बार को कम करते हैं, वे अभी भी भारी हैं – एक बिंदु जो कुछ डेवलपर्स को खो नहीं है जिनके पीसी बिना क्लाउड सहायता के उन्हें संभाल नहीं सकते हैं।

उम्मीद है कि मॉडल संकुचन, जिलेटिनेशन, या छोटे विशेषज्ञ वेरिएंट जैसी तकनीकें ल्लामा 4 की शक्ति को अधिक सुलभ आकार में ला सकती हैं। एक और चिंता दुरुपयोग है। ओपनएआई और अन्य लंबे समय से तर्क देते रहे हैं कि शक्तिशाली मॉडलों को खुले तौर पर जारी करने से दुर्भाग्यपूर्ण अभिनेताओं (भ्रामक जानकारी बनाने के लिए, मैलवेयर कोड, आदि) को सक्षम किया जा सकता है।

वे चिंताएं बनी हुई हैं: एक ओपन-सोर्स क्लॉड या जीपीटी का दुरुपयोग बिना किसी सुरक्षा फिल्टर के किया जा सकता है जो कंपनियां अपने एपीआई पर लागू करती हैं। दूसरी ओर, समर्थकों का तर्क है कि खुलापन समुदाय को भी समस्याओं की पहचान करने और उन्हें समय के साथ अधिक मजबूत और पारदर्शी मॉडल बनाने की अनुमति देता है, जो किसी भी गुप्त प्रणाली से बेहतर है। ओपन मॉडल समुदाय सुरक्षा को गंभीरता से लेते हैं और अपने सुरक्षा उपायों को साझा करते हैं – लेकिन यह एक जारी तनाव है।

जो तेजी से स्पष्ट हो रहा है वह यह है कि हम एक हाइब्रिड एआई परिदृश्य की ओर बढ़ रहे हैं जहां ओपन और बंद मॉडल सह-अस्तित्व में हैं, प्रत्येक दूसरे को प्रभावित करते हैं। बंद प्रदाता जैसे ओपनएआई, एंथ्रोपिक, और गूगल अभी भी प्रदर्शन में एक बढ़त रखते हैं – अभी के लिए। वास्तव में, 2024 के अंत में शोध से पता चला कि ओपन मॉडल लगभग एक वर्ष पीछे थे सबसे अच्छे बंद मॉडलों की क्षमता में। लेकिन यह अंतर तेजी से कम हो रहा है।

आज के बाजार में, “ओपन-सोर्स एआई” अब केवल शौकिया परियोजनाओं या पुराने मॉडलों का अर्थ नहीं है – यह अब तकनीकी दिग्गजों और स्टार्टअप्स दोनों के लिए एआई रणनीति के केंद्र में है। मेटा के ल्लामा 4 लॉन्च एक शक्तिशाली अनुस्मारक है खुलापन के मूल्य के विकास की। यह एक दार्शनिक खड़े हैं डेमोक्रेटाइज़िंग तकनीक के लिए और एक रणनीतिक चाल एक उच्च-दांव वाले उद्योग के युद्ध में। डेवलपर्स और उद्यमों के लिए, यह नवाचार और स्वायत्तता के लिए नए दरवाजे खोलता है, भले ही यह नए व्यापार-बंदी के साथ निर्णयों को जटिल बनाता है। और व्यापक पारिस्थितिकी तंत्र के लिए, यह आशा जगाता है कि एआई के लाभ कुछ निगमों के हाथों में बंद नहीं होंगे – यदि ओपन-सोर्स नैतिकता अपना आधार बनाए रख सकती है।