فهم معلمات نماذج اللغة الكبيرة ومتطلبات الذاكرة: نظرة عميقة

حساب عدد المعلمات

نماذج مُدربة مسبقًا لتدريب المحولات بكفاءة

حساب المعلمات في LLMs القائمة على المحولات

دعونا نحلل حساب المعاملات لكل مكون من مكونات برنامج ماجستير إدارة الأعمال المعتمد على المحول. سنستخدم الصيغة الواردة في الورقة الأصلية، حيث d_model يمثل أبعاد الحالات المخفية للنموذج.

1. طبقة التضمين:
   • المعلمات = vocab_size * d_model
2. اهتمام متعدد الرؤوس:
   • في عمل h رؤساء، مع d_k = d_v = d_model / h:
   • المعلمات = 4 * d_model^2 (لإسقاطات Q وK وV والمخرجات)
3. شبكة التغذية إلى الأمام:
   • المعلمات = 2 * d_model * d_ff + d_model + d_ff
   • في d_ff عادة 4 * d_model
4. تطبيع الطبقة:
   • المعلمات = 2 * d_model (للحجم والتحيز)

إجمالي المعلمات لطبقة محول واحدة:

• Parameters_layer = Parameters_attention + Parameters_ffn +2 * Parameters_layernorm

لنموذج مع N طبقات:

• إجمالي المعلمات = N * Parameters_layer + Parameters_embedding + Parameters_output

مثال على الحساب

دعونا نفكر في نموذج بالمواصفات التالية:

• d_model = 768
• h (عدد رؤوس الانتباه) = 12
• N (عدد الطبقات) = 12
• vocab_size = 50,000

1. طبقة التضمين:
   • 50,000 * 768 = 38,400,000
2. اهتمام متعدد الرؤوس:
   • 4 * 768 ^ 2 = 2,359,296
3. شبكة التغذية إلى الأمام:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. تطبيع الطبقة:
   • 2 * 768 = 1,536

إجمالي المعلمات لكل طبقة:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

إجمالي المعلمات لـ 12 طبقة:

• 12 * 7,081,984 = 84,983,808

إجمالي معلمات النموذج:

• 84,983,808 + = 38,400,000 123,383,808

سيكون لهذا النموذج ما يقرب من 123 مليون معلمة.

أنواع استخدام الذاكرة

عند العمل مع LLMs، نحتاج إلى النظر في نوعين رئيسيين من استخدام الذاكرة:

1. نموذج الذاكرة: الذاكرة المطلوبة لتخزين معلمات النموذج.
2. الذاكرة العاملة: الذاكرة اللازمة أثناء الاستدلال أو التدريب لتخزين عمليات التنشيط المتوسطة والتدرجات وحالات المُحسِّن.

حساب الذاكرة النموذجية

ترتبط ذاكرة النموذج مباشرة بعدد المعلمات. عادةً ما يتم تخزين كل معلمة كرقم فاصلة عائمة 32 بت، على الرغم من أن بعض النماذج تستخدم تدريبًا مختلط الدقة مع عوامات 16 بت.

ذاكرة النموذج (البايت) = عدد المعلمات * البايت لكل معلمة

بالنسبة لنموذجنا الذي يحتوي على 123 مليون معلمة:

• ذاكرة الطراز (32 بت) = 123,383,808 * 4 بايت = 493,535,232 بايت ≈ 494 ميجابايت
• ذاكرة الطراز (16 بت) = 123,383,808 * 2 بايت = 246,767,616 بايت ≈ 247 ميجابايت

تقدير الذاكرة العاملة

يمكن أن تختلف متطلبات الذاكرة العاملة بشكل كبير بناءً على المهمة المحددة وحجم الدفعة وطول التسلسل. التقدير التقريبي للذاكرة العاملة أثناء الاستدلال هو:

الذاكرة العاملة ≈ 2 * ذاكرة النموذج

وهذا يفسر تخزين كل من معلمات النموذج والتنشيطات المتوسطة. أثناء التدريب، يمكن أن تكون متطلبات الذاكرة أعلى بسبب الحاجة إلى تخزين التدرجات وحالات المحسن:

ذاكرة التدريب ≈ 4 * ذاكرة النموذج

بالنسبة لنموذجنا المثالى:

• الذاكرة العاملة الاستدلالية ≈ 2 * 494 ميجابايت = 988 ميجابايت ≈ 1 جيجابايت
• ذاكرة التدريب ≈ 4 * 494 ميجابايت = 1,976 ميجابايت ≈ 2 جيجابايت

استخدام ذاكرة الحالة المستقرة واستخدام ذاكرة الذروة

عند تدريب نماذج لغات كبيرة استنادًا إلى بنية المحول، يُعد فهم استخدام الذاكرة أمرًا بالغ الأهمية لتخصيص الموارد بكفاءة. دعونا نقسم متطلبات الذاكرة إلى فئتين رئيسيتين: استخدام الذاكرة في الحالة المستقرة واستخدام الذاكرة في أوقات الذروة.

استخدام ذاكرة الحالة المستقرة

يشتمل استخدام ذاكرة الحالة الثابتة على المكونات التالية:

1. الأوزان النموذجية: نسخ FP32 من معلمات النموذج، تتطلب 4N بايت، حيث N هو عدد المعلمات.
2. الدول محسن: بالنسبة لمحسن Adam، يتطلب هذا 8N بايت (حالتان لكل معلمة).
3. التدرجات: نسخ FP32 من التدرجات، والتي تتطلب 4N بايت.
4. ادخال البيانات: بافتراض مدخلات int64، فإن هذا يتطلب 8 بايت بايت، حيث B هو حجم الدُفعة وD هو بُعد الإدخال.

يمكن تقريب إجمالي استخدام ذاكرة الحالة المستقرة من خلال:

• M_steady = 16N + 8BD بايت

ذروة استخدام الذاكرة

يحدث استخدام الذاكرة الذروة أثناء التمرير للخلف عندما يتم تخزين عمليات التنشيط لحساب التدرج. المساهمين الرئيسيين في ذروة الذاكرة هم:

1. تطبيع الطبقة: يتطلب 4E بايت لكل معيار طبقة، حيث E = BSH (B: حجم الدفعة، S: طول التسلسل، H: الحجم المخفي).
2. كتلة الاهتمام:
   • حساب QKV: 2E بايت
   • مصفوفة الانتباه: 4 بايت BSS (S: طول التسلسل)
   • إخراج الاهتمام: 2E بايت
3. كتلة التغذية إلى الأمام:
   • الطبقة الخطية الأولى: 2E بايت
   • تفعيل جيلو: 8E بايت
   • الطبقة الخطية الثانية: 2E بايت
4. خسارة عبر الانتروبيا:
   • السجلات: 6BSV بايت (V: حجم المفردات)

يمكن تقدير إجمالي ذاكرة التنشيط على النحو التالي:

• M_act = L * (14E + 4BSS) + 6BSV بايت

حيث L هو عدد طبقات المحولات.

إجمالي استخدام الذاكرة الذروة

يمكن تقريب ذروة استخدام الذاكرة أثناء التدريب من خلال الجمع بين ذاكرة الحالة المستقرة وذاكرة التنشيط:

• M_peak = M_steady + M_act + 4BSV بايت

يمثل مصطلح 4BSV الإضافي تخصيصًا إضافيًا في بداية التمريرة الخلفية.

ومن خلال فهم هذه المكونات، يمكننا تحسين استخدام الذاكرة أثناء التدريب والاستدلال، مما يضمن تخصيص الموارد بكفاءة وتحسين أداء نماذج اللغات الكبيرة.