فهم معلمات ومتطلبات الذاكرة للنماذج اللغوية الكبيرة: غوص عميق

حساب عدد المعلمات

نماذج مسبقة التدريب للترانسفورمر الفعال

حساب المعلمات في النماذج اللغوية الكبيرة القائمة على الترانسفورمر

دعونا ننقسم حساب المعلمات لكل مكون من مكونات نموذج لغوي كبير قائم على الترانسفورمر. سنستخدم التدوين من الورقة الأصلية، حيث ي представ ديمينشن نموذج الحالة المخفية.

1. طبقة التضمين:
   • المعلمات = حجم القاموس * د_نموذج
2. انتباه متعدد الرؤوس:
   • لرؤوس ه، مع د_ك = د_ف = د_نموذج / ه:
   • المعلمات = 4 * د_نموذج^2 (لمشاريع Q و K و V والإخراج)
3. شبكة عصبونية تغذية إلى الأمام:
   • المعلمات = 2 * د_نموذج * د_ف + د_نموذج + د_ف
   • حيث د_ف عادة 4 * د_نموذج
4. تطبيع الطبقة:
   • المعلمات = 2 * د_نموذج (لمقياس وتحيز)

المعلمات الإجمالية لطبقة ترانسفورمر واحدة:

• معلمات_طبقة = معلمات_انتباه + معلمات_شبكة_عصبونية + 2 * معلمات_تطبيق_الطبقة

لنموذج مع ن طبقات:

• المعلمات الإجمالية = ن * معلمات_طبقة + معلمات_تضمين + معلمات_إخراج

حساب مثال

دعونا نعتبر نموذجًا مع المواصفات التالية:

• د_نموذج = 768
• ه (عدد رؤوس الانتباه) = 12
• ن (عدد الطبقات) = 12
• حجم_القاموس = 50,000

1. طبقة التضمين:
   • 50,000 * 768 = 38,400,000
2. انتباه متعدد الرؤوس:
   • 4 * 768^2 = 2,359,296
3. شبكة عصبونية تغذية إلى الأمام:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. تطبيق الطبقة:
   • 2 * 768 = 1,536

المعلمات الإجمالية لكل طبقة:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

المعلمات الإجمالية ل 12 طبقة:

• 12 * 7,081,984 = 84,983,808

المعلمات الإجمالية للنموذج:

• 84,983,808 + 38,400,000 = 123,383,808

هذا النموذج سيكون له حوالي 123 مليون معلمة.

أنواع استخدام الذاكرة

عند العمل مع النماذج اللغوية الكبيرة، يجب أن نأخذ في الاعتبار نوعين رئيسيين من استخدام الذاكرة:

1. ذاكرة النموذج: الذاكرة المطلوبة لتخزين معلمات النموذج.
2. ذاكرة العمل: الذاكرة المطلوبة أثناء الاستدلال أو التدريب لتخزين التنشيطات الوسيطة والانحدارات وحالات المُحسِّن.

حساب ذاكرة النموذج

ذاكرة النموذج تتعلق مباشرة بعدد المعلمات. كل معلمة يتم تخزينها عادة كعدد صحيح عائم 32 بت، على الرغم من أن بعض النماذج تستخدم تدريب دقيق مختلط مع أعداد صحيحة عائمة 16 بت.

ذاكرة النموذج (بايت) = عدد المعلمات * بايت لكل معلمة

لنموذجنا مع 123 مليون معلمة:

• ذاكرة النموذج (32 بت) = 123,383,808 * 4 بايت = 493,535,232 بايت ≈ 494 ميغابايت
• ذاكرة النموذج (16 بت) = 123,383,808 * 2 بايت = 246,767,616 بايت ≈ 247 ميغابايت

تقدير ذاكرة العمل

متطلبات ذاكرة العمل يمكن أن تختلف بشكل كبير بناءً على المهمة المحددة وحجم الدفعة وطول التسلسل. تقدير تقريبي لذاكرة العمل أثناء الاستدلال هو:

ذاكرة العمل ≈ 2 * ذاكرة النموذج

هذا يأخذ في الاعتبار تخزين معلمات النموذج والتنشيطات الوسيطة. أثناء التدريب، يمكن أن تكون متطلبات الذاكرة أعلى بسبب الحاجة إلى تخزين الانحدارات وحالات المُحسِّن:

ذاكرة التدريب ≈ 4 * ذاكرة النموذج

لنموذجنا:

• ذاكرة العمل أثناء الاستدلال ≈ 2 * 494 ميغابايت = 988 ميغابايت ≈ 1 جيجابايت
• ذاكرة التدريب ≈ 4 * 494 ميغابايت = 1,976 ميغابايت ≈ 2 جيجابايت

استخدام الذاكرة المستقر وذروة استخدام الذاكرة

عند تدريب نماذج لغوية كبيرة بناءً على هيكل الترانسفورمر، فهم استخدام الذاكرة هو أمر بالغ الأهمية لتحديد الموارد بكفاءة. دعونا ننقسم متطلبات الذاكرة إلى فئتين رئيسيتين: استخدام الذاكرة المستقر وذروة استخدام الذاكرة.

استخدام الذاكرة المستقر

استخدام الذاكرة المستقر يتكون من المكونات التالية:

1. أوزان النموذج: نسخ FP32 من معلمات النموذج، مما يتطلب 4N بايت، حيث N هو عدد المعلمات.
2. حالات المُحسِّن:对于 محسن Adam، هذا يتطلب 8N بايت (حالتان لكل معلمة).
3. الانحدارات: نسخ FP32 من الانحدارات، مما يتطلب 4N بايت.
4. بيانات الإدخال: افتراض إدخالات int64، هذا يتطلب 8BD بايت، حيث B هو حجم الدفعة وD هو بعد الإدخال.

يمكن تقدير استخدام الذاكرة المستقر بواسطة:

• M_steady = 16N + 8BD بايت

ذروة استخدام الذاكرة

ذروة استخدام الذاكرة تحدث أثناء المرحلة العكسية عند تخزين التنشيطات لحساب الانحدارات. المساهمون الرئيسيون في ذروة الذاكرة هم:

1. تطبيق الطبقة: يتطلب 4E بايت لكل تطبيق طبقة، حيث E = BSH (B: حجم الدفعة، S: طول التسلسل، H: حجم المخفي).
2. بلوك الانتباه:
   • حساب QKV: 2E بايت
   • مصفوفة الانتباه: 4BSS بايت (S: طول التسلسل)
   • إخراج الانتباه: 2E بايت
3. بلوك الشبكة العصبونية التغذية إلى الأمام:
   • الطبقة الخطية الأولى: 2E بايت
   • تنشيط GELU: 8E بايت
   • الطبقة الخطية الثانية: 2E بايت
4. خسارة التبادل:
   • اللوجيت: 6BSV بايت (V: حجم القاموس)

يمكن تقدير الذاكرة التنشيطية بواسطة:

• M_act = L * (14E + 4BSS) + 6BSV بايت

حيث L هو عدد طبقات الترانسفورمر.

إجمالي ذروة استخدام الذاكرة

يمكن تقدير ذروة استخدام الذاكرة أثناء التدريب بواسطة:

• M_peak = M_steady + M_act + 4BSV بايت

المصطلح الإضافي 4BSV يعتبر لتخصيص إضافي في بداية المرحلة العكسية.

من خلال فهم هذه المكونات، يمكننا تحسين استخدام الذاكرة أثناء التدريب والاستدلال، مما يضمن تخصيص موارد فعال ويعزز أداء النماذج اللغوية الكبيرة.