लोरा, क्यूएलओआरए और क्यूए-लोआरए: निम्न-रैंक मैट्रिक्स फैक्टराइजेशन के माध्यम से बड़े भाषा मॉडल में कुशल अनुकूलनशीलता

बड़े भाषा मॉडल (एलएलएम) ने एक अद्वितीय स्थान बना लिया है, जो मानव-जैसे पाठ को समझने और उत्पन्न करने में अद्वितीय क्षमताएं प्रदान करता है। एलएलएम की शक्ति का पता उनके विशाल आकार से लगाया जा सकता है, जिनमें अक्सर अरबों पैरामीटर होते हैं। जबकि यह विशाल पैमाना उनके प्रदर्शन को बढ़ावा देता है, साथ ही यह चुनौतियों को भी जन्म देता है, खासकर जब विशिष्ट कार्यों या डोमेन के लिए मॉडल अनुकूलन की बात आती है। एलएलएम के प्रबंधन के पारंपरिक रास्ते, जैसे कि सभी मापदंडों को ठीक करना, एक भारी कम्प्यूटेशनल और वित्तीय टोल पेश करते हैं, इस प्रकार वास्तविक दुनिया के अनुप्रयोगों में उनके व्यापक रूप से अपनाने में एक महत्वपूर्ण बाधा उत्पन्न होती है।

में पिछले लेख, हमने बड़े भाषा मॉडल (एलएलएम) को विशिष्ट आवश्यकताओं के अनुरूप बनाने के लिए उन्हें बेहतर बनाने पर काम किया। हमने निर्देश-आधारित फाइन-ट्यूनिंग, सिंगल-टास्क फाइन-ट्यूनिंग और पैरामीटर एफिशिएंट फाइन-ट्यूनिंग (पीईएफटी) जैसी विभिन्न फाइन-ट्यूनिंग पद्धतियों की खोज की, जिनमें से प्रत्येक अलग-अलग कार्यों के लिए एलएलएम को अनुकूलित करने के अपने अद्वितीय दृष्टिकोण के साथ है। चर्चा के केंद्र में ट्रांसफॉर्मर आर्किटेक्चर, एलएलएम की रीढ़ और फाइन-ट्यूनिंग के दौरान बड़ी संख्या में मापदंडों को संभालने की कम्प्यूटेशनल और मेमोरी मांगों से उत्पन्न चुनौतियां थीं।

https://huggingface.co/blog/hf-bitsandbytes-integration

उपरोक्त छवि विभिन्न बड़े भाषा मॉडलों के पैमाने का प्रतिनिधित्व करती है, जो उनके मापदंडों की संख्या के आधार पर क्रमबद्ध हैं। उल्लेखनीय रूप से: हथेली, खिलना, इत्यादि

इस वर्ष तक, प्रगति हुई है जिससे और भी बड़े मॉडल सामने आए हैं। हालाँकि, मानक प्रणालियों पर ऐसे विशाल, ओपन-सोर्स मॉडल को ट्यून करना विशेष अनुकूलन तकनीकों के बिना संभव नहीं है।

इसमें माइक्रोसॉफ्ट द्वारा एंटर लो-रैंक एडेप्टेशन (LoRA) पेश किया गया था काग़ज़, जिसका लक्ष्य इन चुनौतियों को कम करना और एलएलएम को अधिक सुलभ और अनुकूलनीय बनाना है।

LoRA का सार पूरे मॉडल को फिर से प्रशिक्षित करने की जटिलताओं में पड़े बिना मॉडल अनुकूलन के प्रति इसके दृष्टिकोण में निहित है। पारंपरिक फाइन-ट्यूनिंग के विपरीत, जहां हर पैरामीटर परिवर्तन के अधीन है, लोरा एक स्मार्ट मार्ग अपनाता है। यह पूर्व-प्रशिक्षित मॉडल वज़न को फ़्रीज़ करता है और ट्रांसफ़ॉर्मर आर्किटेक्चर की प्रत्येक परत में प्रशिक्षण योग्य रैंक अपघटन मैट्रिक्स पेश करता है। यह दृष्टिकोण अधिक कुशल अनुकूलन प्रक्रिया सुनिश्चित करते हुए, प्रशिक्षण योग्य मापदंडों की संख्या को काफी कम कर देता है।

एलएलएम ट्यूनिंग रणनीतियों का विकास

एलएलएम ट्यूनिंग की यात्रा पर विचार करते हुए, कोई भी वर्षों से अभ्यासकर्ताओं द्वारा अपनाई गई कई रणनीतियों की पहचान कर सकता है। प्रारंभ में, स्पॉटलाइट पूर्व-प्रशिक्षित मॉडलों को ठीक करने पर था, एक रणनीति जिसमें हाथ में विशिष्ट कार्य के अनुरूप मॉडल मापदंडों में व्यापक परिवर्तन शामिल है। हालाँकि, जैसे-जैसे मॉडल आकार और जटिलता में बढ़ते गए, वैसे-वैसे इस दृष्टिकोण की कम्प्यूटेशनल मांगें भी बढ़ती गईं।

अगली रणनीति जिसने कर्षण प्राप्त किया वह सब-सेट फाइन-ट्यूनिंग थी, जो अपने पूर्ववर्ती का अधिक संयमित संस्करण था। यहां, मॉडल के मापदंडों का केवल एक सबसेट ठीक-ठीक किया गया है, जिससे कम्प्यूटेशनल बोझ कुछ हद तक कम हो गया है। अपनी खूबियों के बावजूद, उप-समुच्चय फाइन-ट्यूनिंग अभी भी एलएलएम के आकार में वृद्धि दर को बनाए रखने में सक्षम नहीं है।

जैसे-जैसे अभ्यासकर्ताओं ने अधिक कुशल रास्ते तलाशने का साहस किया, पूर्ण फाइन-ट्यूनिंग एक कठोर लेकिन फायदेमंद दृष्टिकोण के रूप में उभरा।

लोरा का परिचय

मैट्रिक्स की रैंक हमें उसके स्तंभों द्वारा बनाए गए आयामों की एक झलक देती है, जो इसमें मौजूद अद्वितीय पंक्तियों या स्तंभों की संख्या से निर्धारित होती है।

• पूर्ण-रैंक मैट्रिक्स: इसकी रैंक इसकी पंक्तियों या स्तंभों के बीच की कम संख्या से मेल खाती है।
• निम्न-रैंक मैट्रिक्स: इसकी पंक्ति और स्तंभ गणना दोनों की तुलना में काफी छोटी रैंक के साथ, यह कम सुविधाओं को कैप्चर करता है।

अब, बड़े मॉडल अपने डोमेन की व्यापक समझ को समझते हैं, जैसे भाषा मॉडल में भाषा। लेकिन, विशिष्ट कार्यों के लिए उन्हें ठीक करने के लिए अक्सर इन समझ के एक छोटे से हिस्से को उजागर करने की आवश्यकता होती है। यहीं पर लोरा चमकता है। यह सुझाव देता है कि इन वजन समायोजनों को प्रदर्शित करने वाला मैट्रिक्स निम्न-रैंक वाला हो सकता है, इस प्रकार कम सुविधाओं को कैप्चर कर सकता है।

LoRA ने चतुराई से इस अद्यतन मैट्रिक्स की रैंक को दो छोटे रैंक मैट्रिक्स में विभाजित करके सीमित कर दिया है। इसलिए पूरे वजन मैट्रिक्स को बदलने के बजाय, यह इसका केवल एक हिस्सा बदलता है, जिससे फाइन-ट्यूनिंग कार्य अधिक कुशल हो जाता है।

ट्रांसफार्मर पर LoRA लागू करना

LoRA विशिष्ट भार मैट्रिक्स पर ध्यान केंद्रित करके तंत्रिका नेटवर्क में प्रशिक्षण भार को कम करने में मदद करता है। ट्रांसफॉर्मर आर्किटेक्चर के तहत, मल्टी-लेयर परसेप्ट्रॉन (एमएलपी) मॉड्यूल में दो और के अलावा, कुछ वेट मैट्रिसेस स्व-ध्यान तंत्र से जुड़े होते हैं, जैसे कि Wq, Wk, Wv और Wo।

ट्रांसफार्मर वास्तुकला

 

ट्रांसफार्मर ध्यान प्रमुख

लोरा के संबंध में गणितीय स्पष्टीकरण

आइए लोरा के पीछे के गणित को तोड़ें:

1. पूर्व-प्रशिक्षित वजन मैट्रिक्स W0Στρατός Assault - Παίξτε Funny Games:
   • यह पूर्व-प्रशिक्षित वजन मैट्रिक्स से शुरू होता है W0Στρατός Assault - Παίξτε Funny Games आयामों का $d\times k$. इसका मतलब है मैट्रिक्स है $d$ पंक्तियाँ और $k$ कॉलम।
2. निम्न-श्रेणी का अपघटन:
   • संपूर्ण मैट्रिक्स को सीधे अपडेट करने के बजाय W0Στρατός Assault - Παίξτε Funny Games, जो कम्प्यूटेशनल रूप से महंगा हो सकता है, विधि निम्न-रैंक अपघटन दृष्टिकोण का प्रस्ताव करती है।
   • नया $\Delta W$ सेवा मेरे W0Στρατός Assault - Παίξτε Funny Games दो मैट्रिक्स के उत्पाद के रूप में दर्शाया जा सकता है: $B$ और $A$.
     • $B$ आयाम हैं $d\times r$
     • $A$ आयाम हैं $r\times k$
   • यहां मुख्य बात यह है कि रैंक $r$ दोनों से बहुत छोटा है $d$ और $k$, जो अधिक कम्प्यूटेशनल रूप से कुशल प्रतिनिधित्व की अनुमति देता है।
3. प्रशिक्षण:
   • प्रशिक्षण प्रक्रिया के दौरान, W0Στρατός Assault - Παίξτε Funny Games अपरिवर्तित। इसे वज़न को "ठंड" करना कहा जाता है।
   • दूसरी ओर, $A$ और $B$ प्रशिक्षण योग्य पैरामीटर हैं। इसका मतलब यह है कि, प्रशिक्षण के दौरान, मैट्रिक्स में समायोजन किया जाता है $A$ और $B$ मॉडल के प्रदर्शन को बेहतर बनाने के लिए.
4. गुणन और जोड़:
   • दोनों W0Στρατός Assault - Παίξτε Funny Games और अद्यतन $\Delta W$ (जो का उत्पाद है $B$ और $A$) को उसी इनपुट से गुणा किया जाता है (जैसा दर्शाया गया है $x$).
   • फिर इन गुणनफलों के आउटपुट को एक साथ जोड़ दिया जाता है।
   • इस प्रक्रिया को समीकरण में संक्षेपित किया गया है: h=W0Στρατός Assault - Παίξτε Funny Gamesx+ΔWx=W0Στρατός Assault - Παίξτε Funny Gamesx+BAx. यहाँ, $h$ इनपुट में अपडेट लागू करने के बाद अंतिम आउटपुट का प्रतिनिधित्व करता है $x$.

संक्षेप में, यह विधि कम-रैंक अपघटन का उपयोग करके अपडेट का प्रतिनिधित्व करके बड़े वजन मैट्रिक्स को अपडेट करने के लिए अधिक कुशल तरीके की अनुमति देती है, जो कम्प्यूटेशनल दक्षता और मेमोरी उपयोग के संदर्भ में फायदेमंद हो सकती है।

समय

आरंभीकरण और स्केलिंग:

मॉडलों को प्रशिक्षित करते समय, हम मापदंडों को कैसे आरंभ करते हैं, यह सीखने की प्रक्रिया की दक्षता और प्रभावशीलता को महत्वपूर्ण रूप से प्रभावित कर सकता है। हमारे वज़न मैट्रिक्स अद्यतन के संदर्भ में $A$ और $B$:

1. मैट्रिसेस का आरंभीकरण $A$ और $B$:
   • मैट्रिक्स $A$: इस मैट्रिक्स को यादृच्छिक गॉसियन मानों के साथ प्रारंभ किया गया है, जिसे सामान्य वितरण के रूप में भी जाना जाता है। गॉसियन आरंभीकरण का उपयोग करने के पीछे तर्क समरूपता को तोड़ना है: एक ही परत में विभिन्न न्यूरॉन्स अलग-अलग विशेषताएं सीखेंगे जब उनके पास अलग-अलग प्रारंभिक वजन होंगे।
   • मैट्रिक्स $B$: यह मैट्रिक्स शून्य से प्रारंभ किया गया है। ऐसा करने से अपडेट $\Delta W=BA$ प्रशिक्षण की शुरुआत में शून्य के रूप में शुरू होता है। यह सुनिश्चित करता है कि शुरुआत में मॉडल के व्यवहार में कोई अचानक परिवर्तन नहीं होता है, जिससे मॉडल को धीरे-धीरे अनुकूलित होने की अनुमति मिलती है $B$ प्रशिक्षण के दौरान उचित मूल्य सीखता है।
2. से आउटपुट स्केलिंग $\Delta W$:
   • अद्यतन की गणना करने के बाद $\Delta W$, इसका आउटपुट एक कारक द्वारा बढ़ाया जाता है rαΣτρατός Assault - Παίξτε Funny Games जहां $\alpha$ एक स्थिरांक है. स्केलिंग द्वारा, अद्यतनों की भयावहता को नियंत्रित किया जाता है।
   • रैंक के समय स्केलिंग विशेष रूप से महत्वपूर्ण है $r$ परिवर्तन। उदाहरण के लिए, यदि आप अधिक सटीकता (गणना की कीमत पर) के लिए रैंक बढ़ाने का निर्णय लेते हैं, तो स्केलिंग यह सुनिश्चित करती है कि आपको प्रक्रिया में कई अन्य हाइपरपैरामीटर को समायोजित करने की आवश्यकता नहीं है। यह मॉडल को एक स्तर की स्थिरता प्रदान करता है।

लोरा का व्यावहारिक प्रभाव

लोरा ने एआई समुदाय के लोगों द्वारा एलएलएम को विशिष्ट कलात्मक शैलियों में कुशलतापूर्वक ट्यून करने की अपनी क्षमता का प्रदर्शन किया है। इसे कलात्मक शैली की नकल करने के लिए एक मॉडल के अनुकूलन में विशेष रूप से प्रदर्शित किया गया था ग्रेग रुटकोव्स्की.

जैसा कि उदाहरण के तौर पर GPT-3 175B के साथ पेपर में हाइलाइट किया गया है। प्रत्येक 175B पैरामीटर वाले फाइन-ट्यून मॉडल के अलग-अलग उदाहरण रखना काफी महंगा है। लेकिन, LoRA के साथ, प्रशिक्षण योग्य पैरामीटर 10,000 गुना कम हो जाते हैं, और GPU मेमोरी का उपयोग एक तिहाई तक कम हो जाता है।

GPT-3 फ़ाइन ट्यूनिंग पर LoRa का प्रभाव

एलओआरए पद्धति न केवल एलएलएम को अधिक सुलभ बनाने की दिशा में एक महत्वपूर्ण प्रगति का प्रतीक है, बल्कि एआई डोमेन में सैद्धांतिक प्रगति और व्यावहारिक अनुप्रयोगों के बीच अंतर को पाटने की क्षमता को भी रेखांकित करती है। कम्प्यूटेशनल बाधाओं को कम करके और अधिक कुशल मॉडल अनुकूलन प्रक्रिया को बढ़ावा देकर, LoRA वास्तविक दुनिया के परिदृश्यों में एलएलएम को व्यापक रूप से अपनाने और तैनात करने में महत्वपूर्ण भूमिका निभाने के लिए तैयार है।

QLoRA (मात्राबद्ध)

जबकि LoRA भंडारण आवश्यकताओं को कम करने में एक गेम-चेंजर है, यह अभी भी प्रशिक्षण के लिए मॉडल को लोड करने के लिए एक भारी GPU की मांग करता है। यहीं पर QLoRA, या क्वांटाइज़्ड LoRA, एक बेहतर दृष्टिकोण के लिए क्वांटाइज़ेशन के साथ LoRA को मिश्रित करते हुए कदम रखता है।

परिमाणीकरण

आम तौर पर, वज़न पैरामीटर 32-बिट प्रारूप (FP32) में संग्रहीत होते हैं, जिसका अर्थ है कि मैट्रिक्स में प्रत्येक तत्व 32 बिट स्थान लेता है। कल्पना करें कि क्या हम उसी जानकारी को केवल 8 या 4 बिट्स में निचोड़ सकते हैं। QLoRA के पीछे यही मूल विचार है। क्वांटाइज़ेशन निरंतर अनंत मानों को असतत परिमित मानों के एक छोटे सेट में मैप करने की प्रक्रिया को संदर्भित करता है। एलएलएम के संदर्भ में, यह मॉडल के वजन को उच्च परिशुद्धता डेटा प्रकारों से कम परिशुद्धता वाले में परिवर्तित करने की प्रक्रिया को संदर्भित करता है।

एलएलएम में परिमाणीकरण

यहां QLoRA का सरल विवरण दिया गया है:

1. प्रारंभिक परिमाणीकरण: सबसे पहले, लार्ज लैंग्वेज मॉडल (एलएलएम) को 4 बिट्स तक परिमाणित किया गया है, जिससे मेमोरी फ़ुटप्रिंट काफी कम हो गया है।
2. लोरा प्रशिक्षण: फिर, LoRA प्रशिक्षण किया जाता है, लेकिन मानक 32-बिट परिशुद्धता (FP32) में।

अब, आप आश्चर्यचकित हो सकते हैं कि 32 बिट तक सिकुड़ने के बाद प्रशिक्षण के लिए 4 बिट पर वापस क्यों जाएं? खैर, FP32 में LoRA एडेप्टर को प्रभावी ढंग से प्रशिक्षित करने के लिए, मॉडल वज़न को भी FP32 पर वापस लाने की आवश्यकता है। GPU मेमोरी को अत्यधिक प्रभावित होने से बचाने के लिए यह स्विच आगे और पीछे स्मार्ट, चरण-दर-चरण तरीके से किया जाता है।

लोरा को हगिंग फेस में अपना व्यावहारिक अनुप्रयोग मिलता है पैरामीटर कुशल फाइन-ट्यूनिंग (पीईएफटी) पुस्तकालय, इसके उपयोग को सरल बनाना। जो लोग QLoRA का उपयोग करना चाहते हैं, उनके लिए यह इनके संयोजन के माध्यम से पहुंच योग्य है बिटसैंडबाइट्स और PEFT लाइब्रेरीज़। इसके अतिरिक्त, हगिंगफेस ट्रांसफार्मर सुदृढीकरण सीखना (टीआरएल) पुस्तकालय LoRA के लिए एकीकृत समर्थन के साथ पर्यवेक्षित फ़ाइन-ट्यूनिंग की सुविधा प्रदान करता है। साथ में, ये तीन पुस्तकालय एक चयनित पूर्व-प्रशिक्षित मॉडल को ठीक करने के लिए आवश्यक टूलकिट प्रस्तुत करते हैं, जो विशिष्ट विशेषता निर्देशों के साथ संकेत दिए जाने पर प्रेरक और सुसंगत उत्पाद विवरण उत्पन्न करने में सक्षम बनाता है।

QLoRA से फाइन-ट्यूनिंग के बाद, वज़न को उच्च-परिशुद्धता प्रारूप में वापस लौटना पड़ता है, जिससे सटीकता में कमी हो सकती है और प्रक्रिया को तेज करने के लिए अनुकूलन की कमी हो सकती है।

एक प्रस्तावित समाधान वजन मैट्रिक्स को छोटे खंडों में समूहित करना और प्रत्येक समूह में व्यक्तिगत रूप से परिमाणीकरण और निम्न-रैंक अनुकूलन लागू करना है। एक नई विधि, जिसका नाम है क्यूए-लोरा, वांछित कार्यों के लिए प्रक्रिया को कुशल और मॉडल को प्रभावी बनाए रखते हुए परिमाणीकरण और निम्न-रैंक अनुकूलन के लाभों को मिश्रित करने का प्रयास करता है।

निष्कर्ष

इस लेख में हमने उनके विशाल पैरामीटर आकार से उत्पन्न चुनौतियों पर चर्चा की। हमने पारंपरिक फाइन-ट्यूनिंग प्रथाओं और उनसे जुड़ी कम्प्यूटेशनल और वित्तीय मांगों का गहराई से अध्ययन किया। LoRA का सार पूर्व-प्रशिक्षित मॉडलों को पूरी तरह से पुनः प्रशिक्षित किए बिना संशोधित करने की क्षमता में निहित है, जिससे प्रशिक्षण योग्य मापदंडों को कम किया जा सकता है और अनुकूलन प्रक्रिया को अधिक लागत प्रभावी बनाया जा सकता है।

हमने संक्षेप में क्वांटाइज्ड लोआरए (क्यूएलओआरए) पर भी चर्चा की, जो लोआरए और क्वांटाइजेशन का मिश्रण है जो प्रशिक्षण के लिए आवश्यक सटीकता को बनाए रखते हुए मॉडल की मेमोरी फ़ुटप्रिंट को कम करता है। इन उन्नत तकनीकों के साथ, व्यवसायी अब एक मजबूत पुस्तकालयों से सुसज्जित हैं, जो वास्तविक दुनिया के परिदृश्यों के स्पेक्ट्रम में एलएलएम को आसानी से अपनाने और तैनात करने की सुविधा प्रदान करते हैं।

मैट्रिक्स

इन रणनीतियों को एलएलएम को विशिष्ट कार्यों के लिए अनुकूल बनाने और यह सुनिश्चित करने के बीच संतुलन बनाने के लिए तैयार किया गया है कि गणना और भंडारण संसाधनों के मामले में फाइन-ट्यूनिंग और तैनाती प्रक्रियाएं अत्यधिक मांग वाली न हों।