बड़े भाषा मॉडल पैरामीटर और मेमोरी आवश्यकताओं को समझना: एक गहरा गोता

पैरामीटर की संख्या की गणना

प्रीट्रेन्ड मॉडल के लिए कुशल ट्रांसफॉर्मर प्रशिक्षण

ट्रांसफॉर्मर-आधारित एलएलएम में पैरामीटर की गणना

आइए ट्रांसफॉर्मर-आधारित एलएलएम के प्रत्येक घटक के लिए पैरामीटर गणना को तोड़ दें।

1. एम्बेडिंग लेयर:
   • पैरामीटर = वोकैबुलरी_आकार * d_model
2. मल्टी-हेड एटेंशन:
   • हेड की संख्या के लिए h, जहां d_k = d_v = d_model / h:
   • पैरामीटर = 4 * d_model^2 (क्यू, के, वी, और आउटपुट प्रोजेक्शन के लिए)
3. फीड-फॉरवर्ड नेटवर्क:
   • पैरामीटर = 2 * d_model * d_ff + d_model + d_ff
   • जहां d_ff आमतौर पर 4 * d_model होता है
4. लेयर नॉर्मलाइजेशन:
   • पैरामीटर = 2 * d_model (स्केल और पूर्वाग्रह के लिए)

एक ट्रांसफॉर्मर लेयर के लिए कुल पैरामीटर:

• Parameters_layer = Parameters_attention + Parameters_ffn + 2 * Parameters_layernorm

N लेयर वाले मॉडल के लिए:

• कुल पैरामीटर = N * Parameters_layer + Parameters_embedding + Parameters_output

उदाहरण गणना

आइए एक मॉडल की विशिष्टताओं पर विचार करें:

• d_model = 768
• h (ध्यान के सिर की संख्या) = 12
• N (परतों की संख्या) = 12
• vocab_size = 50,000

1. एम्बेडिंग लेयर:
   • 50,000 * 768 = 38,400,000
2. मल्टी-हेड एटेंशन:
   • 4 * 768^2 = 2,359,296
3. फीड-फॉरवर्ड नेटवर्क:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. लेयर नॉर्मलाइजेशन:
   • 2 * 768 = 1,536

प्रति लेयर पैरामीटर की कुल संख्या:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

12 लेयर के लिए कुल पैरामीटर:

• 12 * 7,081,984 = 84,983,808

मॉडल के कुल पैरामीटर:

• 84,983,808 + 38,400,000 = 123,383,808

इस मॉडल में लगभग 123 मिलियन पैरामीटर होंगे।

मेमोरी उपयोग के प्रकार

बड़े भाषा मॉडल के साथ काम करते समय, हमें दो मुख्य प्रकार के मेमोरी उपयोग पर विचार करने की आवश्यकता होती है:

1. मॉडल मेमोरी: मॉडल पैरामीटर को संग्रहीत करने के लिए आवश्यक मेमोरी।
2. कार्य मेमोरी: मध्यवर्ती सक्रियण, ग्रेडिएंट और ऑप्टिमाइज़र राज्यों को संग्रहीत करने के लिए आवश्यक मेमोरी अनुमान या प्रशिक्षण के दौरान।

मॉडल मेमोरी की गणना

मॉडल मेमोरी सीधे पैरामीटर की संख्या से संबंधित है। प्रत्येक पैरामीटर आमतौर पर 32-बिट फ्लोटिंग-पॉइंट संख्या के रूप में संग्रहीत किया जाता है, हालांकि कुछ मॉडल मिश्रित सटीकता प्रशिक्षण के साथ 16-बिट फ्लोट का उपयोग करते हैं।

मॉडल मेमोरी (बाइट) = पैरामीटर की संख्या * प्रति पैरामीटर बाइट

हमारे उदाहरण मॉडल के लिए जिसमें 123 मिलियन पैरामीटर हैं:

• मॉडल मेमोरी (32-बिट) = 123,383,808 * 4 बाइट = 493,535,232 बाइट ≈ 494 एमबी
• मॉडल मेमोरी (16-बिट) = 123,383,808 * 2 बाइट = 246,767,616 बाइट ≈ 247 एमबी

कार्य मेमोरी का अनुमान

कार्य मेमोरी आवश्यकताएं कार्य, बैच आकार और अनुक्रम लंबाई पर आधारित हो सकती हैं। अनुमान के दौरान एक खुराक अनुमान है:

कार्य मेमोरी ≈ 2 * मॉडल मेमोरी

यह मॉडल पैरामीटर और मध्यवर्ती सक्रियण दोनों को संग्रहीत करने के लिए खाता है। प्रशिक्षण के दौरान, मेमोरी आवश्यकताएं ग्रेडिएंट और ऑप्टिमाइज़र राज्यों को संग्रहीत करने की आवश्यकता के कारण भी अधिक हो सकती हैं:

प्रशिक्षण मेमोरी ≈ 4 * मॉडल मेमोरी
हमारे उदाहरण मॉडल के लिए:

• अनुमान कार्य मेमोरी ≈ 2 * 494 एमबी = 988 एमबी ≈ 1 जीबी
• प्रशिक्षण मेमोरी ≈ 4 * 494 एमबी = 1,976 एमबी ≈ 2 जीबी

स्थिर-राज्य मेमोरी उपयोग और शिखर मेमोरी उपयोग

बड़े भाषा मॉडलों को ट्रांसफॉर्मर आर्किटेक्चर पर आधारित प्रशिक्षित करते समय, मेमोरी उपयोग को समझना संसाधन आवंटन के लिए कुशल होने के लिए महत्वपूर्ण है। आइए मेमोरी आवश्यकताओं को दो मुख्य श्रेणियों में विभाजित करें: स्थिर-राज्य मेमोरी उपयोग और शिखर मेमोरी उपयोग।

स्थिर-राज्य मेमोरी उपयोग

स्थिर-राज्य मेमोरी उपयोग में निम्नलिखित घटक शामिल हैं:

1. मॉडल वजन: मॉडल पैरामीटर की एफपी32 प्रतियां, जो 4एन बाइट्स की आवश्यकता होती है, जहां एन पैरामीटर की संख्या है।
2. ऑप्टिमाइज़र राज्य: एडम ऑप्टिमाइज़र के लिए, यह प्रति पैरामीटर 2 राज्यों की आवश्यकता होती है, जो 8एन बाइट्स होती है।
3. ग्रेडिएंट: ग्रेडिएंट की एफपी32 प्रतियां, जो 4एन बाइट्स की आवश्यकता होती है।
4. इनपुट डेटा: मान लें कि इंट64 इनपुट हैं, यह 8बीडी बाइट्स की आवश्यकता होती है, जहां बी बैच आकार है और डी इनपुट आयाम है।

कुल स्थिर-राज्य मेमोरी उपयोग को इस प्रकार अनुमानित किया जा सकता है:

• एम_स्टेडी = 16एन + 8बीडी बाइट

शिखर मेमोरी उपयोग

शिखर मेमोरी उपयोग पिछड़े पास के दौरान होता है जब सक्रियण को ग्रेडिएंट गणना के लिए संग्रहीत किया जाता है। मुख्य योगदानकर्ता:

1. लेयर नॉर्मलाइजेशन: प्रति लेयर नॉर्म 4ई बाइट्स की आवश्यकता होती है, जहां ई = बीएसएच (बी: बैच आकार, एस: अनुक्रम लंबाई, एच: छुपा आकार)
2. ध्यान ब्लॉक:
   • क्यूवीकेवी गणना: 2ई बाइट्स
   • ध्यान मैट्रिक्स: 4बीएसएस बाइट्स (एस: अनुक्रम लंबाई)
   • ध्यान आउटपुट: 2ई बाइट्स
3. फीड-फॉरवर्ड ब्लॉक:
   • पहली रेखीय परत: 2ई बाइट्स
   • जीईएलयू सक्रियण: 8ई बाइट्स
   • दूसरी रेखीय परत: 2ई बाइट्स
4. क्रॉस-एंट्रोपी हानि:
   • लॉगिट: 6बीएसवी बाइट्स (वी: शब्दावली आकार)

कुल सक्रियण मेमोरी को इस प्रकार अनुमानित किया जा सकता है:

• एम_एक्ट = एल * (14ई + 4बीएसएस) + 6बीएसवी बाइट

जहां एल ट्रांसफॉर्मर परतों की संख्या है।

कुल शिखर मेमोरी उपयोग

प्रशिक्षण के दौरान शिखर मेमोरी उपयोग को इस प्रकार अनुमानित किया जा सकता है:

• एम_पीक = एम_स्टेडी + एम_एक्ट + 4बीएसवी बाइट

अतिरिक्त 4बीएसवी शब्द पिछड़े पास की शुरुआत में एक अतिरिक्त आवंटन के लिए खाता है।

इन घटकों को समझकर, हम प्रशिक्षण और अनुमान के दौरान मेमोरी उपयोग को अनुकूलित कर सकते हैं, संसाधन आवंटन को कुशल बना सकते हैं और बड़े भाषा मॉडलों के प्रदर्शन में सुधार कर सकते हैं।