рд╕рд░реНрд╡рд╢реНрд░реЗрд╖реНрда
рел рд╕рд░реНрд╡рд╢реНрд░реЗрд╖реНрда рдУрдкрди-рд╕реЛрд░реНрд╕ рдПрд▓рдПрд▓рдПрдо (рдЬреВрди 2026)
ओपन-सोर्स एआई ने बंद-सोर्स सिस्टम के साथ पकड़ बना ली है। ये पाँच बड़े भाषा मॉडल (एलएलएम) उद्यम-ग्रेड प्रदर्शन प्रदान करते हैं बिना चलने वाले एपीआई लागत या विक्रेता लॉक-इन के। प्रत्येक विभिन्न उपयोग के मामलों को संभालता है, ऑन-डिवाइस तर्कसंगतता से लेकर बहुस्तरीय समर्थन तक।
यह गाइड जीपीटी-ओएसएस-१२०बी, डीपसीक-आर१, क्वेन३-२३५बी, एलएलएएमए ४, और मिक्सट्रल-८एक्स२२बी को विशिष्ट विवरण के साथ तोड़ती है क्षमताओं, लागत, और तैनाती आवश्यकताओं पर।
त्वरित तुलना
| टूल | सर्वश्रेष्ठ के लिए | प्रारंभिक मूल्य | मुख्य विशेषता |
|---|---|---|---|
| जीपीटी-ओएसएस-१२०बी | एकल-जीपीयू तैनाती | नि:शुल्क (एपाचे २.०) | ८०जीबी जीपीयू पर १२०बी पैरामीटर के साथ चलता है |
| डीपसीक-आर१ | जटिल तर्कसंगतता कार्य | नि:शुल्क (एमआईटी) | ६७१बी पैरामीटर के साथ पारदर्शी तर्क |
| क्वेन३-२३५बी | बहुस्तरीय अनुप्रयोग | नि:शुल्क (एपाचे २.०) | ११९+ भाषाओं के साथ हाइब्रिड तर्क |
| एलएलएएमए ४ | बहुस्तरीय प्रसंस्करण | नि:शुल्क (कस्टम लाइसेंस) | १०मी टोकन संदर्भ विंडो |
| मिक्सट्रल-८एक्स२२बी | लागत-कुशल उत्पादन | नि:शुल्क (एपाचे २.०) | घने मॉडलों की तुलना में ७५% कम्प्यूट सेविंग्स |
१. जीपीटी-ओएसएस-१२०बी
ओपनएआई ने अगस्त २०२५ में जीपीटी-२ के बाद अपने पहले ओपन-वेट मॉडल जारी किए। जीपीटी-ओएसएस-१२०बी एक मिश्रण-ऑफ-एक्सपर्ट्स आर्किटेक्चर का उपयोग करता है जिसमें ११७ अरब कुल पैरामीटर होते हैं लेकिन प्रति टोकन केवल ५.१ अरब सक्रिय होते हैं। यह दुर्लभ डिज़ाइन का मतलब है कि आप इसे एकल ८०जीबी जीपीयू पर चला सकते हैं बजाय बहु-जीपीयू क्लस्टर के।
मॉडल ओ४-मिनी के साथ कोर बेंचमार्क पर ९०% सटीकता तक पहुँचता है। यह एमएमएलयू परीक्षणों पर ८०% और जीपीक्यू तर्क कार्यों पर ६२% पास@१ हासिल करता है। कोड जेनरेशन १२८,०००-टोकन संदर्भ विंडो के साथ व्यापक दस्तावेज़ विश्लेषण को संभालता है।
ओपनएआई ने इन मॉडलों को ओ३ और अन्य फ्रंटियर सिस्टम से तकनीकों का उपयोग करके प्रशिक्षित किया। फोकस व्यावहारिक तैनाती पर था बजाय कच्चे पैमाने के। उन्होंने मॉडल के साथ ओ२००के हार्मोनी टोकनाइज़र भी ओपन-सोर्स किया, जो कि कैसे इनपुट्स को प्रोसेस किया जाता है उसे मानकीकृत करता है।
पेशेवर और विपक्ष
- एकल ८०जीबी जीपीयू तैनाती बहु-जीपीयू बुनियादी ढांचे की लागत को समाप्त करती है
- मूल १२८के संदर्भ विंडो पूरे कोडबेस या लंबे दस्तावेजों को संसाधित करती है
- एपाचे २.० लाइसेंस असीमित व्यावसायिक उपयोग और संशोधन की अनुमति देता है
- पाइथन, ट्रिटन, और मेटल में रेफरेंस इंप्लीमेंटेशन एकीकरण को सरल बनाते हैं
- ९०% एमएमएलयू सटीकता प्रोप्राइटरी मॉडल के साथ तर्क बेंचमार्क पर मेल खाती है
- अंग्रेजी पर केंद्रित प्रशिक्षण बहुस्तरीय क्षमताओं को सीमित करता है
- ५.१बी सक्रिय पैरामीटर विशेषज्ञता कार्यों पर घने मॉडलों की तुलना में कम प्रदर्शन कर सकते हैं
- ८०जीबी वीआरएएम न्यूनतम उपभोक्ता-ग्रेड जीपीयू तैनाती को बाहर करता है
- अब तक जारी नहीं किए गए संक्षिप्त संस्करण संसाधन-सीमित वातावरण के लिए
- विशिष्ट डोमेन विशेषज्ञता विशिष्ट मॉडल की तुलना में सीमित है
मूल्य निर्धारण: जीपीटी-ओएसएस-१२०बी एपाचे २.० लाइसेंस के तहत संचालित होता है जिसमें शून्य चलने वाली लागत होती है। आपको ८०जीबी मॉडल चलाने में सक्षम हार्डवेयर की आवश्यकता होती है (एनवीडिया ए१०० या एच१०० जीपीयू)। क्लाउड तैनाती पर उपयुक्त उदाहरण प्रकार के लिए एएमएजेड, अज़ूर, या जीसीपी पर प्रति घंटे लगभग ३-५ डॉलर की लागत आती है। स्व-होस्टेड तैनाती के लिए एक बार जीपीयू खरीद (~१०,०००-१५,००० डॉलर के लिए उपयोग किए गए ए१०० के लिए) की आवश्यकता होती है।
कोई सदस्यता शुल्क नहीं। कोई एपीआई सीमाएं नहीं। कोई विक्रेता लॉक-इन नहीं।
२. डीपसीक-आर१
डीपसीक-आर१ ने अपने मॉडल को पारदर्शी तर्क के लिए विशेष रूप से बनाया है। आर्किटेक्चर ६७१ अरब कुल पैरामीटर का उपयोग करता है जिसमें ३७ अरब प्रति फॉरवर्ड पास सक्रिय होते हैं। प्रशिक्षण पारंपरिक पर्यवेक्षित फाइन-ट्यूनिंग के बिना प्रशिक्षण के माध्यम से तर्क पैटर्न को प्राकृतिक रूप से उभरने देता है।
मॉडल ९७% सटीकता के साथ एमएथ-५०० मूल्यांकन पर पहुँचता है और जटिल तर्क कार्यों पर ओपनएआई के ओ१ के साथ मेल खाता है। डीपसीक-आर१ को अलग करता है कि आप इसकी सोच प्रक्रिया को देख सकते हैं। मॉडल चरण-दर-चरण तर्क दिखाता है, न कि केवल अंतिम उत्तर। यह पारदर्शिता तब मायने रखती है जब आपको तर्क की पुष्टि करने की आवश्यकता होती है, जैसे कि वित्तीय विश्लेषण या इंजीनियरिंग सत्यापन।
डीपसीक ने मुख्य मॉडल के साथ छह संक्षिप्त संस्करण जारी किए। वे १.५बी से ७०बी पैरामीटर तक होते हैं, उच्च-अंत उपभोक्ता जीपीयू से लेकर एज डिवाइस तक के हार्डवेयर पर चलते हैं। क्यूवेन-३२बी संक्षिप्त संस्करण बेंचमार्क पर ओ१-मिनी से बेहतर प्रदर्शन करता है और कम्प्यूट का एक अंश लेता है।
पेशेवर और विपक्ष
- ९७% एमएथ-५०० सटीकता खुले स्रोत मॉडल को गणितीय तर्क पर आगे बढ़ाती है
- पारदर्शी सोच प्रक्रिया सत्यापन और डिबगिंग की अनुमति देती है
- ६७१बी पैरामीटर गहरे विश्लेषणात्मक क्षमता प्रदान करते हैं
- छह संक्षिप्त संस्करण विभिन्न हार्डवेयर कॉन्फ़िगरेशन पर तैनाती को सक्षम बनाते हैं
- एमआईटी लाइसेंस असीमित व्यावसायिक उपयोग की अनुमति देता है
- ६७१बी पैरामीटर पूर्ण मॉडल तैनाती के लिए महत्वपूर्ण बुनियादी ढांचे की आवश्यकता होती है
- तर्क मोड सीधे उत्तर उत्पन्न करने की तुलना में विलंबता बढ़ाता है
- अंग्रेजी अनुकूलन प्रशिक्षण अन्य भाषाओं में प्रदर्शन को सीमित करता है
- प्रशिक्षण दृष्टिकोण से उत्पन्न व्याख्या उबाऊ हो सकती है
- सामुदायिक उपकरण अधिक स्थापित मॉडल की तुलना में अभी भी परिपक्व हो रहे हैं
मूल्य निर्धारण: डीपसीक-आर१ एमआईटी लाइसेंस के तहत जारी किया जाता है जिसमें कोई उपयोग शुल्क नहीं होता है। पूर्ण ६७१बी मॉडल के लिए ८एक्स ए१०० जीपीयू की आवश्यकता होती है (क्लाउड लागत: ~२५-३० डॉलर प्रति घंटे)। संक्षिप्त मॉडल काफी सस्ते हैं: ३२बी संस्करण एकल ए१०० (~३-५ डॉलर प्रति घंटे क्लाउड, ~१०,००० डॉलर हार्डवेयर खरीद) की आवश्यकता होती है। ७बी संस्करण उपभोक्ता आरटीएक्स ४०९० जीपीयू पर चलता है।
डीपसीक मुफ्त एपीआई एक्सेस प्रदान करता है जिसमें परीक्षण के लिए दर सीमाएं होती हैं। उत्पादन तैनाती के लिए स्व-होस्टिंग या क्लाउड बुनियादी ढांचे की आवश्यकता होती है।
३. क्वेन३-२३५बी
अलीबाबा का क्वेन३-२३५बी खुले स्रोत मॉडल में हाइब्रिड तर्क लाता है। उपयोगकर्ता कार्य जटिलता के आधार पर तर्क प्रयास स्तर (निम्न, मध्यम, उच्च) नियंत्रित करते हैं। त्वरित ग्राहक सेवा प्रतिक्रियाओं की आवश्यकता है? निम्न तर्क मोड तेजी से उत्तर देता है। जटिल डेटा विश्लेषण चला रहे हैं? उच्च तर्क मोड व्यवस्थित तर्क लागू करता है।
आर्किटेक्चर २३५ अरब कुल पैरामीटर का उपयोग करता है जिसमें २२ अरब प्रति टोकन सक्रिय होते हैं। प्रत्येक परत में ९४ परतें होती हैं जिनमें प्रत्येक में १२८ विशेषज्ञ होते हैं जिनमें से ८ प्रति टोकन सक्रिय होते हैं। यह विशेषज्ञ चयन क्षमता जबकि क्षमता बनाए रखने के लिए कुशल प्रसंस्करण को सक्षम बनाता है। मॉडल १ अरब+ टोकन पर प्रशिक्षित किया गया था जो ११९ भाषाओं में फैला हुआ है, जो पिछले क्वेन संस्करणों की तुलना में १० गुना अधिक बहुस्तरीय डेटा का प्रतिनिधित्व करता है।
प्रदर्शन ८७-८८% एमएमएलयू सटीकता के साथ मजबूत बहुस्तरीय बेंचमार्क के साथ बैठता है। मॉडल एशिया, यूरोप और अन्य बाजारों में सी-इवल और क्षेत्र-विशिष्ट मूल्यांकन पर उत्कृष्टता प्राप्त करता है। कोड जेनरेशन ३७% शून्य-शॉट पर बैठता है लेकिन जटिल प्रोग्रामिंग कार्यों के लिए सोच मोड को सक्रिय करने पर काफी सुधार होता है।
पेशेवर और विपक्ष
- ११९+ भाषा समर्थन वैश्विक तैनाती के लिए भाषा बाधाओं को समाप्त करता है
- हाइब्रिड तर्क नियंत्रण लागत-प्रदर्शन ट्रेडऑफ़ को अनुकूलित करता है
- १२८के टोकन संदर्भ विंडो व्यापक दस्तावेज़ विश्लेषण को संभालती है
- एपाचे २.० लाइसेंस व्यावसायिक संशोधन की अनुमति देता है
- ८७% एमएमएलयू प्रदर्शन प्रमुख प्रोप्राइटरी सिस्टम के साथ प्रतिस्पर्धा करता है
- २३५बी पैरामीटर उत्पादन तैनाती के लिए मल्टी-जीपीयू सेटअप की आवश्यकता होती है
- ३७% बेसलाइन कोड जेनरेशन विशेषज्ञ कोडिंग मॉडल से पीछे है
- सोच मोड चयन अनुप्रयोग तर्क में जटिलता जोड़ता है
- चीनी भाषा पूर्वाग्रह चीनी की तुलना में अन्य भाषाओं पर मजबूत प्रदर्शन दिखाता है
- एलएलएएमए इकोसिस्टम की तुलना में सीमित सामुदायिक उपकरण
मूल्य निर्धारण: क्वेन३-२३५बी एपाचे २.० लाइसेंस के तहत संचालित होता है जिसमें कोई शुल्क नहीं होता है। पूर्ण मॉडल के लिए ४-८ ए१०० जीपीयू (क्लाउड: ~१५-३० डॉलर प्रति घंटे) की आवश्यकता होती है। अलीबाबा क्लाउड प्रबंधित एंडपॉइंट्स प्रदान करता है जो सोच मोड के लिए १के टोकन प्रति ०.००२ डॉलर से शुरू होने वाली टोकन-आधारित मूल्य निर्धारण के साथ आते हैं, मानक मोड के लिए ०.०००३ डॉलर प्रति १के टोकन।
छोटे क्वेन३ संस्करण (७बी, १४बी, ७२बी) उपभोक्ता हार्डवेयर पर चलते हैं। ७बी मॉडल २४जीबी उपभोक्ता जीपीयू पर काम करता है।
४. एलएलएएमए ४
मेटा का एलएलएएमए ४ मूल बहुस्तरीय क्षमताएं पेश करता है जो पाठ, छवियों और छोटे वीडियो पर काम करता है। स्काउट संस्करण १०९ अरब कुल पैरामीटर के साथ आता है जिसमें १७ अरब सक्रिय होते हैं, जबकि मावेरिक विशेषज्ञता कार्यों के लिए एक बड़े विशेषज्ञ पूल का उपयोग करता है। दोनों मॉडल मॉडलिटी को एकीकृत प्रतिनिधित्व में एकत्रित करने के लिए प्रारंभिक फ्यूजन तकनीकों के माध्यम से कई सामग्री प्रकारों को संसाधित करते हैं।
संदर्भ हैंडलिंग ने नए स्तरों को पार किया। एलएलएएमए ४ स्काउट १० मिलियन टोकन तक के विस्तृत दस्तावेज़ विश्लेषण अनुप्रयोगों के लिए समर्थन प्रदान करता है। मानक संदर्भ विंडो १२८के टोकन पर बैठती है, जो अधिकांश उपयोग के मामलों के लिए पर्याप्त है। मॉडल ३०+ ट्रिलियन टोकन पर पूर्व-प्रशिक्षित किया गया था, एलएलएएमए ३ प्रशिक्षण मिश्रण का दोगुना।
प्रदर्शन बेंचमार्क एलएलएएमए ४ को जीपीटी-४ओ और जेमिनी २.० फ्लैश पर कोडिंग, तर्क और बहुस्तरीय परीक्षणों पर पार करते हुए दिखाते हैं। मेटा ने मेटापी, एक तकनीक विकसित की जो मॉडल स्केल पर सीखे गए पैरामीटर को स्थानांतरित करते समय सुसंगत प्रदर्शन सुनिश्चित करने के लिए हाइपरपैरामीटर सेट करने की अनुमति देती है।
पेशेवर और विपक्ष
- १०मी टोकन संदर्भ विंडो पूरे कोडबेस या डेटासेट को संसाधित करने में सक्षम बनाती है
- मूल बहुस्तरीय प्रसंस्करण पाठ, छवि और वीडियो इनपुट को संभालता है
- ३०टी टोकन प्रशिक्षण व्यापक ज्ञान कवरेज प्रदान करता है
- एज तैनाती से लेकर डेटासेंटर स्केल तक कई आकार के संस्करण
- कोडिंग और तर्क बेंचमार्क पर जीपीटी-४ओ को पार करता है
- कस्टम व्यावसायिक लाइसेंस बड़े पैमाने पर तैनाती के लिए समीक्षा की आवश्यकता होती है
- बहुस्तरीय फ्यूजन तैनाती पाइपलाइन में जटिलता जोड़ता है
- १०मी संदर्भ विंडो को महत्वपूर्ण मेमोरी की आवश्यकता होती है, यहां तक कि अनुकूलन के साथ भी
- मॉडल आकार के संस्करण जो उपयोगकर्ता को यह तय करने में भ्रमित करते हैं कि कौन सा संस्करण उपयोग करना है
- नवीनतम सुविधाओं के लिए अभी भी विकसित हो रहा दस्तावेज़ीकरण
मूल्य निर्धारण: एलएलएएमए ४ मेटा के कस्टम व्यावसायिक लाइसेंस (मुफ्त के लिए अधिकांश उपयोग, ७००मी+ उपयोगकर्ताओं वाली सेवाओं पर प्रतिबंध) के तहत संचालित होता है। स्काउट संस्करण को २-४ एच१०० जीपीयू (क्लाउड: ~१०-२० डॉलर प्रति घंटे) की आवश्यकता होती है। मावेरिक को ४-८ एच१०० (~२०-४० डॉलर प्रति घंटे) की आवश्यकता होती है। मेटा अपने प्लेटफ़ॉर्म के माध्यम से दर सीमाओं के साथ मुफ्त एपीआई एक्सेस प्रदान करता है।
एलएलएएमए के छोटे संस्करण उपभोक्ता हार्डवेयर पर चलते हैं। ८बी मॉडल १६जीबी जीपीयू पर काम करता है। उद्यम तैनाती मेटा के साथ सीधे लाइसेंसिंग की व्यवस्था कर सकती है।
५. मिक्सट्रल-८एक्स२२बी
मिस्ट्रल एआई का मिक्सट्रल-८एक्स२२बी घने मॉडल की तुलना में ७५% कम्प्यूटेशनल बचत हासिल करता है। मिश्रण-ऑफ-एक्सपर्ट्स डिज़ाइन में ८ २२-अरब पैरामीटर विशेषज्ञ होते हैं जो कुल १४१ अरब पैरामीटर होते हैं, लेकिन केवल ३९ अरब पैरामीटर इन्फेरेंस के दौरान सक्रिय होते हैं। यह दुर्लभ सक्रियण श्रेष्ठ प्रदर्शन को बनाए रखते हुए तेजी से चलता है।
मॉडल मूल फ़ंक्शन कॉलिंग का समर्थन करता है जो जटिल अनुप्रयोग विकास को सक्षम बनाता है। आप प्राकृतिक भाषा इंटरफ़ेस को सीधे एपीआई और सॉफ़्टवेयर सिस्टम से जोड़ सकते हैं बिना कस्टम एकीकरण परतों के। ६४,०००-टोकन संदर्भ विंडो विस्तृत बातचीत और व्यापक दस्तावेज़ विश्लेषण को संभालती है।
बहुस्तरीय प्रदर्शन अंग्रेजी, फ्रेंच, इतालवी, जर्मन और स्पेनिश में उत्कृष्टता प्राप्त करता है। मिस्ट्रल ने विशेष रूप से यूरोपीय भाषाओं पर प्रशिक्षित किया, जिसके परिणामस्वरूप अन्य भाषाओं की तुलना में मजबूत प्रदर्शन हुआ। गणितीय तर्क जीएसएम८के पर ९०.८% और ह्यूमनइवल और एमबीपीपी बेंचमार्क पर कोडिंग पर मजबूत परिणाम प्राप्त करता है।
पेशेवर और विपक्ष
- घने मॉडल की तुलना में ७५% कम्प्यूटेशनल बचत बुनियादी ढांचे की लागत को कम करती है
- मूल फ़ंक्शन कॉलिंग एपीआई एकीकरण को सरल बनाता है
- यूरोपीय भाषा समर्थन बहुस्तरीय अनुप्रयोगों के लिए खड़ा है
- ९०.८% जीएसएम८के सटीकता गहरे गणितीय तर्क प्रदान करती है
- एपाचे २.० लाइसेंस असीमित व्यावसायिक उपयोग की अनुमति देता है
- ६४के संदर्भ विंडो प्रतियोगियों की तुलना में छोटी है जो १२८के+ विंडो प्रदान करते हैं
- यूरोपीय भाषा फोकस एशियाई भाषाओं पर कमजोर प्रदर्शन का परिणाम है
- ३९बी सक्रिय पैरामीटर जटिल तर्क कार्यों पर सीमित क्षमता प्रदान कर सकते हैं
- विशेषज्ञ मार्गदर्शन तर्क तैनाती जटिलता जोड़ता है
- एलएलएएमए इकोसिस्टम की तुलना में छोटा सामुदायिक आधार
मूल्य निर्धारण: मिक्सट्रल-८एक्स२२बी एपाचे २.० लाइसेंस के तहत संचालित होता है जिसमें कोई शुल्क नहीं होता है। उत्पादन के लिए २-४ ए१०० जीपीयू (~१०-१५ डॉलर प्रति घंटे क्लाउड) की आवश्यकता होती है। मिस्ट्रल प्रबंधित एपीआई एक्सेस प्रदान करता है जो इनपुट के लिए २ मिलियन टोकन प्रति मिलियन और आउटपुट के लिए ६ मिलियन टोकन प्रति मिलियन से शुरू होता है। स्व-होस्टिंग के बाद प्रारंभिक हार्डवेयर निवेश के बाद प्रति-टोकन लागत समाप्त हो जाती है।
क्वांटाइज़ संस्करण एकल ए१०० पर स्वीकार्य प्रदर्शन गिरावट के साथ चलते हैं। मॉडल की कुशलता इसे उच्च-वॉल्यूम उत्पादन कार्यभार के लिए लागत-प्रभावी बनाती है।
कौन सा मॉडल चुनना चाहिए?
आपका हार्डवेयर तुरंत विकल्प निर्धारित करता है। जीपीटी-ओएसएस-१२०बी एकल ८०जीबी जीपीयू पर फिट होता है, इसे ए१०० बुनियादी ढांचे पर सुलभ बनाता है। डीपसीक-आर१ के संक्षिप्त संस्करण संसाधन प्रतिबंधों को संभालते हैं – ७बी मॉडल उपभोक्ता हार्डवेयर पर चलता है जबकि मजबूत तर्क बनाए रखता है।
बहुस्तरीय आवश्यकताएं क्वेन३-२३५बी की ओर इशारा करती हैं व्यापक भाषा कवरेज के लिए या विशेष रूप से यूरोपीय भाषाओं के लिए मिक्सट्रल-८एक्स२२बी। एलएलएएमए ४ तब समझ में आता है जब आपको बहुस्तरीय क्षमताओं या १२८के टोकन से परे विस्तारित संदर्भ विंडो की आवश्यकता होती है।
लागत-सचेत तैनाती मिक्सट्रल-८एक्स२२बी को उत्पादन कार्यभार के लिए पसंदीदा बनाती है। ७५% कम्प्यूटेशनल बचत तेजी से बढ़ती है। अनुसंधान और विकास डीपसीक-आर१ के पारदर्शी तर्क से लाभान्वित होते हैं, विशेष रूप से जब आपको निर्णय लॉजिक की पुष्टि करने की आवश्यकता होती है।
पांचों मॉडल अनुमति देने वाले लाइसेंस के तहत संचालित होते हैं। कोई चलने वाली एपीआई लागत नहीं। कोई विक्रेता निर्भरता नहीं। आप तैनाती, डेटा गोपनीयता और मॉडल संशोधनों पर नियंत्रण रखते हैं। खुले स्रोत एआई परिदृश्य बंद सिस्टम के साथ बराबरी पर पहुंच गया है। ये उपकरण उद्यम क्षमता प्रदान करते हैं बिना उद्यम प्रतिबंधों के।
एफएक्यू
इन खुले स्रोत एलएलएम चलाने के लिए मुझे कौन सा हार्डवेयर चाहिए?
न्यूनतम आवश्यकताएं मॉडल के अनुसार भिन्न होती हैं। जीपीटी-ओएसएस-१२०बी को एकल ८०जीबी जीपीयू (ए१०० या एच१००) की आवश्यकता होती है। डीपसीक-आर१ के पूर्ण संस्करण के लिए ८एक्स ए१०० जीपीयू की आवश्यकता होती है, लेकिन संक्षिप्त संस्करण उपभोक्ता आरटीएक्स ४०९० जीपीयू पर चलते हैं। क्वेन३-२३५बी और एलएलएएमए ४ को २-८ जीपीयू की आवश्यकता होती है जो क्वांटाइजेशन पर निर्भर करता है। मिक्सट्रल-८एक्स२२बी २-४ ए१०० जीपीयू पर कुशलता से चलता है। क्लाउड तैनाती की लागत मॉडल के आकार के आधार पर प्रति घंटे ३-४० डॉलर है।
क्या ये मॉडल जीपीटी-४ या क्लाउड प्रदर्शन को मैच कर सकते हैं?
हाँ, विशिष्ट बेंचमार्क पर। डीपसीक-आर१ ९७% माथ-५०० सटीकता के साथ जटिल तर्क कार्यों पर ओपनएआई के ओ१ के साथ मेल खाता है। एलएलएएमए ४ कोडिंग बेंचमार्क पर जीपीटी-४ओ को पार करता है। जीपीटी-ओएसएस-१२०बी ९०% एमएमएलयू सटीकता प्राप्त करता है, जो प्रोप्राइटरी मॉडल के साथ तर्क बेंचमार्क पर तुलना करता है। हालांकि, बंद स्रोत मॉडल रचनात्मक लेखन या सूक्ष्म बातचीत जैसे विशेषज्ञता क्षेत्रों में उत्कृष्टता प्राप्त कर सकते हैं।
कौन सा मॉडल बहुस्तरीय समर्थन में सर्वश्रेष्ठ है?
क्वेन३-२३५बी ११९+ भाषाओं का समर्थन करता है जो प्रतियोगिता की तुलना में १० गुना अधिक बहुस्तरीय प्रशिक्षण डेटा प्रदान करता है। यह एशियाई भाषा बेंचमार्क और सांस्कृतिक ज्ञान परीक्षणों पर उत्कृष्टता प्राप्त करता है। मिक्सट्रल-८एक्स२२बी यूरोपीय भाषाओं (फ्रेंच, जर्मन, स्पेनिश, इतालवी) के लिए अग्रणी है जो विशेष प्रशिक्षण पर ध्यान केंद्रित करता है। अन्य मॉडल विभिन्न बहुस्तरीय समर्थन प्रदान करते हैं लेकिन मुख्य रूप से अंग्रेजी के लिए अनुकूलित हैं।
क्या हार्डवेयर के अलावा उपयोग लागतें हैं?
नहीं, स्व-होस्टेड तैनाती के लिए एपाचे २.० या एमआईटी लाइसेंस के तहत कोई चलने वाली फीस नहीं। एलएलएएमए ४ एक कस्टम व्यावसायिक लाइसेंस का उपयोग करता है जो अधिकांश उपयोगों के लिए नि:शुल्क है (७००मी+ उपयोगकर्ताओं वाली सेवाओं पर प्रतिबंध लागू होते हैं)। क्लाउड होस्टिंग की लागत प्रदाता और उदाहरण प्रकार के आधार पर भिन्न होती है। मिस्ट्रल जैसे प्रदाताओं से प्रबंधित एपीआई एक्सेस २ मिलियन इनपुट टोकन प्रति मिलियन से शुरू होती है।
मिश्रण-ऑफ-एक्सपर्ट्स और घने मॉडल के बीच क्या अंतर है?
मिश्रण-ऑफ-एक्सपर्ट्स आर्किटेक्चर प्रति इनपुट केवल एक पैरामीटर के उपसेट को सक्रिय करते हैं, क्षमता को त्यागने के बिना कुशलता प्राप्त करते हैं। जीपीटी-ओएसएस-१२०बी प्रति टोकन ११७बी पैरामीटर में से ५.१बी का उपयोग करता है। घने मॉडल प्रत्येक इनपुट के लिए सभी पैरामीटर को सक्रिय करते हैं। मिश्रण-ऑफ-एक्सपर्ट्स मॉडल समान स्केल पर घने मॉडल के प्रदर्शन को मिलाते या पार करते हुए ७०-७५% कम्प्यूटेशनल बचत प्रदान करते हैं।
