ज़ेफर-7बी: हगिंगफेस का हाइपर-ऑप्टिमाइज्ड एलएलएम जो मिस्ट्रल 7बी पर बनाया गया है

परिचय

खुले बड़े भाषा मॉडल (एलएलएम) के विकास ने एआई अनुसंधान समुदाय को काफी प्रभावित किया है, विशेष रूप से चैटबॉट और इसी तरह के अनुप्रयोगों के विकास में। एलएलएमए जैसे मॉडलों की रिलीज़ के बाद, कुशल फाइन-ट्यूनिंग, विस्तारित प्रॉम्प्ट हैंडलिंग, रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी), और क्वांटाइजेशन पर शोध में तेजी आई है।

उदाहरण के लिए, एलएलएमए मॉडल ने फाइन-ट्यूनिंग और प्रॉम्प्ट संदर्भीकरण में एक नए युग की शुरुआत की, जिससे बाद के मॉडलों जैसे मोज़ेकएमएल के एमपीटी, टुगेदर एआई के रेडपाजामा-इनसाइट, टीआईआई के फाल्कन, और मेटा के एलएलएमए 2 के लिए मार्ग प्रशस्त हुआ। प्रत्येक मॉडल अद्वितीय क्षमताएं प्रदान करता है, जो एलएलएम की कुल कार्यक्षमता और दायरे को बढ़ाता है।

मिस्ट्रल एआई, पेरिस से एक स्टार्टअप, जो पूर्व गूगल डीपमाइंड और मेटा कर्मचारियों द्वारा स्थापित किया गया है, ने अपने पहले प्रस्ताव के साथ एक नाम बनाया है: मिस्ट्रल 7बी।

मिस्ट्रल 7बी का लाभ इसकी दक्षता में है, जो एलएलएमए 2 जैसे अपने समकक्षों की तुलना में समान या बेहतर क्षमताएं प्रदान करता है, लेकिन कम गणनात्मक मांग के साथ।

विशेष रूप से निर्देशात्मक कार्यों के लिए ट्यून किया गया, मिस्ट्रल 7बी निर्देश हगिंग फेस जैसे प्लेटफ़ॉर्म पर उत्कृष्टता प्राप्त करता है, जहां यह समान आकार के अन्य मॉडलों से बेहतर प्रदर्शन करता है और लगभग दोगुने पैरामीटर वाले मॉडलों के साथ प्रतिस्पर्धा करता है।

इस पर आधारित, हगिंग फेस ने ज़ेफर 7बी अल्फा पेश किया, जो दिखाता है कि मिस्ट्रल 7बी को फाइन-ट्यून करने से वास्तव में बड़े चैट मॉडलों की क्षमताओं को पार किया जा सकता है और कुछ कार्यों में जीपीटी-4 के साथ प्रतिस्पर्धा कर सकता है। “अल्फा” केवल शुरुआत थी, क्योंकि ज़ेफर 7बी बीटा जल्द ही इसका अनुसरण किया।

इस लेख में हम ज़ेफर 7बी के बारे में जानेंगे कि यह बड़े मॉडलों की शक्ति का लाभ कैसे उठाकर मानव निर्देशों के साथ अपनी प्रतिक्रिया और संरेखण क्षमता को परिष्कृत करता है, जो ज्ञान संक्षेपण तकनीक के माध्यम से संभव है। यह विधि बड़े मॉडलों द्वारा सीखे जाने वाले जटिल पैटर्न पर छोटे मॉडलों को प्रशिक्षित करने में शामिल है, जो प्रशिक्षण की मांग को कम करते हुए भाषा मॉडलिंग क्षमताओं को बनाए रखते हैं। हम हगिंग फेस के ज्ञान संक्षेपण दृष्टिकोण के विशिष्ट विवरण में गहराई से जाएंगे।

ज्ञान संक्षेपण

ज़ेफर-7बी जैसे मॉडलों के विकास में एक प्रमुख नवाचार जिलेटेड पर्यवेक्षित फाइन-ट्यूनिंग (डीएसएफटी) है। यह विधि एक बड़े, अधिक कुशल “शिक्षक” मॉडल के आउटपुट का उपयोग करके एक छोटे “छात्र” मॉडल को प्रशिक्षित करने में शामिल है, जो इसकी सटीकता में सुधार करता है। जबकि संक्षेपण विभिन्न कार्यों पर खुले मॉडल में सुधार करता है, शिक्षक मॉडल की तुलना में प्रदर्शन में एक अंतर अभी भी मौजूद है।

ज्ञान संक्षेपण एक मशीन लर्निंग विधि है जिसमें एक कॉम्पैक्ट मॉडल, जिसे “छात्र” कहा जाता है, को एक बड़े, अधिक जटिल “शिक्षक” मॉडल के प्रदर्शन की नकल करने के लिए सिखाया जाता है। यह तकनीक छात्र को उन कार्यों को करने में सक्षम बनाती है जो पहले उसकी क्षमता से परे थे, शिक्षक द्वारा सीखे गए जटिल पैटर्न को स्थानांतरित करके।

ज्ञान संक्षेपण | शिक्षक-छात्र मॉडल

छात्र मॉडल शिक्षक मॉडल द्वारा उत्पन्न आउटपुट संभावनाओं या विशेषताओं पर प्रशिक्षित होता है, जो इन आउटपुट को मेल खाने पर ध्यान केंद्रित करता है, न कि केवल अंतिम भविष्यवाणियों पर। यह छात्र को शिक्षक की सूक्ष्म निर्णय लेने की प्रक्रियाओं को सीखने में सक्षम बनाता है, जो अक्सर केवल ग्राउंड ट्रुथ डेटा के साथ प्रशिक्षण की तुलना में बेहतर प्रदर्शन का परिणाम देता है।

ऐतिहासिक रूप से, ज्ञान संक्षेपण का उपयोग हिंटन के मूल संक्षेपण नेटवर्क में किया गया है, और हाल ही में एनएलपी में मॉडल जैसे डिस्टिलबर्ट में भी, जो बर्ट मॉडल को एक छोटे, तेज मॉडल में संक्षेपित करता है जो अधिकांश मूल भाषा समझने की क्षमता को बनाए रखता है। एक अन्य उदाहरण टिनीबर्ट है, जो मोबाइल या एज डिवाइस के लिए आकार और गति को अनुकूलित करने में आगे बढ़ता है।

ज़ेफर-7बी के मामले में, ज्ञान संक्षेपण का उपयोग एक छोटे 7बी पैरामीटर मॉडल को इसके बड़े समकक्षों की क्षमताओं से भरने के लिए किया जाता है। ऐसा करके, ज़ेफर-7बी प्रदर्शन और दक्षता के बीच एक संतुलन प्राप्त करता है, जो इसे सीमित गणनात्मक संसाधनों वाले वातावरण के लिए उपयुक्त बनाता है, बिना बातचीत और समझ की गुणवत्ता को त्यागे।

ज़ेफर-7बी विकसित करते समय, शोधकर्ताओं ने एक छोटे खुले एलएलएम को पूरी तरह से संक्षेपण के माध्यम से संरेखण की चुनौती का सामना किया। उन्होंने संक्षेपित सीधे वरीयता अनुकूलन (डीडीपीओ) नामक एक दृष्टिकोण पेश किया, जो शिक्षक मॉडल के समूह से एआई प्रतिक्रिया का उपयोग वरीयता डेटा के रूप में करता है। यह विधि मानव एनोटेशन की आवश्यकता को समाप्त करती है, जो मॉडल प्रशिक्षण के लिए समय और संसाधनों की आवश्यकता को काफी कम कर देती है।

ज़ेफर-7बी का निर्माण

डीडीपीओ को मान्य करने के लिए, शोधकर्ताओं ने ज़ेफर-7बी का निर्माण किया, जो मिस्ट्रल-7बी मॉडल का एक संरेखित संस्करण है। प्रक्रिया में तीन चरण शामिल थे:

1. अल्ट्राचैट डेटासेट का उपयोग करके डीएसएफटी: संक्षेपित पर्यवेक्षित फाइन-ट्यूनिंग (डीएसएफटी) एक उन्नत विधि है जो बड़े भाषा मॉडलों को प्रशिक्षित करने के लिए बड़े, अधिक कुशल “शिक्षक” मॉडलों के आउटपुट का लाभ उठाती है। यह एक कच्चे एलएलएम से शुरू होता है जिसे उपयोगकर्ता प्रॉम्प्ट का जवाब देने के लिए प्रशिक्षित किया जाता है। पारंपरिक पर्यवेक्षित फाइन-ट्यूनिंग (एसएफटी) के विपरीत, जो एक निश्चित डेटासेट का उपयोग करता है, डीएसएफटी एक गतिशील दृष्टिकोण का उपयोग करता है जहां मॉडल स्वयं निर्देश और प्रतिक्रियाएं उत्पन्न करता है। यह विधि स्व-निर्देश के रूप में जानी जाती है, जिसमें शिक्षक मॉडल का उपयोग निर्देशों को संशोधित करने और प्रतिक्रियाओं के आधार पर उन्हें परिष्कृत करने के लिए किया जाता है। प्रक्रिया विविध विषयों का प्रतिनिधित्व करने वाले बीज प्रॉम्प्ट (x₀₁, x₀₂, …, x₀_J) के एक सेट के साथ शुरू होती है। प्रत्येक प्रॉम्प्ट को पुनरावृत्ति से परिष्कृत किया जाता है: एक दिए गए प्रॉम्प्ट x₀ के लिए, शिक्षक मॉडल एक प्रतिक्रिया y₀ उत्पन्न करता है, और फिर एक नया निर्देश x₁ को x₀ और y₀ के आधार पर नमूना किया जाता है। अंतिम डेटासेट सी = {(x₁, y₁), …, (x_J, y_J)} का उपयोग मॉडल को फाइन-ट्यून करने के लिए किया जाता है।
2. अल्ट्राफीडबैक डेटा को शामिल करना: यह डेटा मॉडल की प्रतिक्रियाओं को परिष्कृत करने के लिए महत्वपूर्ण था। इस चरण में, मॉडल विभिन्न प्रॉम्प्ट (जैसे कि चॉकलेट ब्राउनी बनाने का तरीका बताना) के लिए प्रतिक्रियाएं उत्पन्न करता है, जो फिर जीपीटी-4 जैसे एक अधिक उन्नत मॉडल द्वारा रैंक की जाती हैं। उच्चतम स्कोर वाली प्रतिक्रिया (yw) और एक यादृच्छिक रूप से चुनी गई कम स्कोर वाली प्रतिक्रिया (yl) एक प्रतिक्रिया डेटासेट डी बनाती हैं।
3. डीडीपीओ लागू करना: अंतिम चरण, संक्षेपित सीधे वरीयता अनुकूलन (डीडीपीओ), डीएसएफटी मॉडल को वरीयता डेटा का उपयोग करके परिष्कृत करने में शामिल है। यह एक पुरस्कार कार्य rθ(x, y) का उपयोग करता है जो वरीयता मॉडल में प्रयोग किया जाता है, जो आदर्श एलएलएम नीति π* और मूल नीति πdSFT पर आधारित है। अनुकूलन उद्देश्य को πθ = max π E (x, yw, yl) ∼ D log σ (β log π(yw|x)/πdSFT(yw|x) − β log π(yl|x)/πdSFT(yl|x)) के रूप में सूत्रित किया जाता है, जो प्रशिक्षण प्रक्रिया को सरल बनाता है और डीएसएफटी संस्करण के साथ शुरू होता है और प्रत्येक एआई ट्रिपल के माध्यम से पुनरावृति करता है।

ज्ञान संक्षेपण

अद्भुत रूप से, ज़ेफर-7बी 70बी पैरामीटर मॉडलों के साथ तुलना करने योग्य प्रदर्शन प्राप्त करता है, जो मानव प्रतिक्रिया के साथ संरेखित हैं। यह अकादमिक बेंचमार्क और बातचीत क्षमताओं दोनों में उत्कृष्टता प्राप्त करता है, जो वरीयता सीखने में डीडीपीओ की प्रभावशीलता को दर्शाता है। आगे के अन्वेषण के लिए, मॉडल, कोड, और निर्देश हगिंग फेस के गिटहब रिपॉजिटरी पर उपलब्ध हैं।

इरादा संरेखण की चुनौती का सामना करना

एलएलएम के साथ एक उल्लेखनीय चिंता मानव इरादे के साथ उनका संरेखण रहा है। पिछले मॉडल अक्सर उपयोगकर्ता वरीयताओं से मेल खाने वाली प्रतिक्रियाएं उत्पन्न करने में विफल रहे, जिससे असटीक या अप्रासंगिक उत्तर मिले। हालांकि, हाल के बेंचमार्क जैसे एमटी-बेंच और अल्पाकाएवल ने इस पहलू में सुधार और मूल्यांकन के लिए उपकरण प्रदान किए हैं, जो मानव प्रतिक्रिया के साथ प्रशिक्षित प्रोप्राइटरी मॉडल के श्रेष्ठ प्रदर्शन को उजागर करते हैं।

मूल्यांकन विधियाँ

ज़ेफर 7बी का मूल्यांकन विभिन्न बेंचमार्क पर किया गया था जो मॉडल की बातचीत क्षमताओं का मूल्यांकन करते हैं, दोनों एकल और बहु-मोड़ संदर्भों में:

• एमटी-बेंच: यह बहु-मोड़ बेंचमार्क मॉडल को आठ डोमेन में 160 प्रश्नों का उत्तर देने की आवश्यकता है। प्रत्येक प्रतिक्रिया जीपीटी-4 द्वारा रेट की जाती है, और मॉडल का अंतिम स्कोर दो राउंड के प्रश्नों पर औसत को दर्शाता है।
• अल्पाकाएवल: इस एकल-मोड़ बेंचमार्क में, मॉडल को विभिन्न विषयों पर 805 प्रश्नों का सामना करना पड़ता है। यहां ध्यान मॉडल की उपयोगिता पर है, जिसमें जीपीटी-4 प्रतिक्रियाओं को स्कोर करता है ताकि एक तुलनात्मक जीत दर निर्धारित की जा सके।

इसके अलावा, ज़ेफर 7बी को ओपन एलएलएम लीडरबोर्ड पर परीक्षण किया गया था, जो सीधे तौर पर बातचीत कौशल का मूल्यांकन नहीं करता है, लेकिन फाइन-ट्यूनिंग के बाद मॉडल के तर्क और सत्यता में अंतर्दृष्टि प्रदान करता है।

ज़ेफर 7बी की तुलना विभिन्न खुले और प्रोप्राइटरी मॉडलों से की गई थी, जिनमें विभिन्न आकार और संरेखण विधियां शामिल थीं। इसने एमटी-बेंच और अल्पाकाएवल पर 7बी मॉडल के लिए नए बेंचमार्क स्थापित किए और बड़े मॉडलों के साथ प्रतिस्पर्धी प्रदर्शन दिखाया, जो डीडीपीओ की प्रभावशीलता को प्रशिक्षण में प्रदर्शित करता है।

एसएफटी और डीपीओ प्रशिक्षण चरणों को मeticulously कॉन्फ़िगर किया गया था, जिसमें कई युगों और फाइन-ट्यूनिंग लर्निंग दरों और बैच आकार को अनुकूलित किया गया था। अंतिम ज़ेफर मॉडल न केवल ओवरफिटिंग के प्रति प्रतिरोधी था, बल्कि व्यावहारिक कार्यों और अकादमिक बेंचमार्क के साथ भी बेहतर हो गया था।

डेटासेट और परिणाम

उपयोग किए गए डेटासेट

ज़ेफर-7बी के विकास में, दो प्रमुख डेटासेट का उपयोग मॉडल को प्रशिक्षित और परिष्कृत करने के लिए किया गया था, प्रत्येक डायलॉग जेनरेशन के विभिन्न पहलुओं को संबोधित करता है:

अल्ट्राचैट डेटासेट

• स्रोत: जीपीटी-3.5-टर्बो द्वारा उत्पन्न संवाद से।
• सामग्री: 30 विषयों और 20 प्रकार की पाठ सामग्री में 1.47 मिलियन मल्टी-टर्न संवाद शामिल हैं।
• परिष्करण: डेटासेट में व्याकरणिक मुद्दों को ठीक करने के लिए एक सच्चे केसिंग ह्यूरिस्टिक का उपयोग किया गया था, और फिल्टर लागू किए गए थे ताकि प्रतिक्रियाओं की उपयोगिता में वृद्धि हो और अप्रासंगिक प्रीफेसिंग वाक्यांशों को समाप्त किया जा सके।

अल्ट्राफीडबैक डेटासेट

• स्रोत: जीपीटी-4 द्वारा मूल्यांकित प्रॉम्प्ट्स से मिलकर बनता है, जो निर्देशों का पालन, ईमानदारी और उपयोगिता के आधार पर प्रतिक्रियाओं का मूल्यांकन करता है।
• सामग्री: इसमें 64,000 प्रॉम्प्ट्स शामिल हैं, प्रत्येक में चार प्रतिक्रियाएं हैं जो जीपीटी-4 द्वारा रेट की गई हैं।
• बाइनरी वरीयता: उच्चतम माध्य स्कोर वाली प्रतिक्रिया को “चुना” और शेष में से एक यादृच्छिक को “अस्वीकृत” के रूप में चुनकर उत्पन्न किया गया, जो विविधता को बढ़ाता है और डीपीओ प्रक्रिया को चुनौती देता है।

दोनों डेटासेट ज़ेफर-7बी को निर्देशों का पालन करने, ईमानदार और उपयोगी मानव जैसी बातचीत उत्पन्न करने के लिए प्रशिक्षित करने के लिए महत्वपूर्ण हैं। ये डेटासेट हगिंग फेस हब पर उपलब्ध हैं, जिसे आप यहां एक्सेस कर सकते हैं।

प्रदर्शन और परिणाम

नीचे दिए गए चार्ट से ज़ेफर 7बी के प्रदर्शन का अनुमान लगाया जा सकता है कि यह विभिन्न कार्य श्रेणियों में अन्य मॉडलों जैसे जीपीटी-3.5-टर्बो, क्लॉड 1, जीपीटी-4, और एलएलएमए-2-70बी-चैट के साथ कैसे तुलना करता है। श्रेणियां लेखन, मानविकी, भूमिका-निभाने, तर्क, स्टेम, निकासी, कोडिंग, और गणित में शामिल हो सकती हैं।

चार्ट से, हम यह अनुमान लगा सकते हैं कि ज़ेफर 7बी किन डोमेन में उत्कृष्टता प्राप्त करता है और किन क्षेत्रों में सुधार की आवश्यकता हो सकती है। उदाहरण के लिए, यदि ज़ेफर की रेखा लेखन अक्ष पर अन्य मॉडलों की तुलना में आगे तक फैली हुई है, तो यह दर्शाता है कि ज़ेफर लिखित सामग्री के उत्पादन में विशेष रूप से मजबूत है। इसके विपरीत, यदि रेखा गणित अक्ष पर केंद्र के करीब है, तो यह एक सापेक्ष कमजोरी को इंगित कर सकता है।

रडार चार्ट ज़ेफर 7बी की ताकत और कमजोरियों की पहचान करने में मदद करता है, जो जीपीटी-4 और एलएलएमए-2-70बी-चैट जैसे बड़े मॉडलों के साथ इसकी तुलना करते हुए एक दृश्य प्रतिनिधित्व प्रदान करता है।

 

मॉडल प्रदर्शन रडार चार्ट

विभिन्न भाषा मॉडलों की तुलना दो बेंचमार्क पर: एमटी-बेंच और अल्पाकाएवल। मॉडलों का मूल्यांकन उनके आकार, संरेखण विधि (जैसे डीएसएफटी या डीडीपीओ), और प्रदर्शन स्कोर के आधार पर किया जाता है। ज़ेफर 7बी दोनों बेंचमार्क पर उच्च स्कोर के साथ उत्कृष्टता प्राप्त करता है, जो इसकी संरेखित प्रतिक्रियाएं उत्पन्न करने की प्रभावशीलता को प्रदर्शित करता है।

एमटी-बेंच और अल्पाकाएवल

निष्कर्ष

निष्कर्ष में, ज़ेफर-7बी का विकास यह प्रदर्शित करता है कि बड़े भाषा मॉडल (एलएलएम) से बातचीत क्षमताओं को एक छोटे मॉडल में संक्षेपण के माध्यम से स्थानांतरित किया जा सकता है, जो नमूना-आधारित विधियों पर निर्भरता को समाप्त करता है। ज़ेफर-7बी मिस्ट्रल-7बी की मजबूत नींव पर निर्मित है, जो 7बी पैरामीटर चैट मॉडल के लिए एक नए बेंचमार्क को स्थापित करता है, जो छोटे, खुले स्रोत मॉडलों की क्षमता को प्रदर्शित करता है कि वे मानव इरादे को प्रभावी ढंग से समझें और प्रतिक्रिया दें।

हालांकि, यह अध्ययन अपनी सीमाओं के बिना नहीं है। जीपीटी-4 को बेंचमार्क के लिए मूल्यांकक के रूप में उपयोग करने से उन मॉडलों के प्रति पूर्वाग्रह हो सकता है जो इसके संक्षेपण से उत्पन्न होते हैं, जो सटीक प्रतिक्रियाओं की ओर झुकाव पैदा कर सकता है। इसके अलावा, इस विधि को बड़े मॉडलों पर लागू करने और प्रदर्शन लाभ पर इसके प्रभाव को आगे के शोध के लिए छोड़ दिया जाता है। ये सीमाएं एआई समुदाय में निरंतर नवाचार और पूर्वाग्रह-मुक्त मूल्यांकन विधियों के विकास की आवश्यकता को रेखांकित करती हैं।

अध्ययन से परे, यह स्पष्ट है कि छोटे मॉडलों को बड़े समकक्षों के स्तर पर प्रदर्शन करने की क्षमता एआई को अधिक सुलभ और कुशल बना सकती है, जिससे विभिन्न अनुप्रयोगों में इसका उपयोग बढ़ सकता है। ज़ेफर-7बी की सफलता खुले स्रोत मॉडलों में आगे के अन्वेषण को प्रोत्साहित करती है, जो एआई में प्रगति को तेज करने के लिए सहयोगी अनुसंधान और विकास को बढ़ावा दे सकती है।