LoRa و QLoRA و QA-LoRA: تعديل كفء للنماذج اللغة الكبيرة من خلال تحليل الرتبة المنخفضة

ترتيب رتبة المصفوفة يعطينا نظرة على الأبعاد التي تم إنشاؤها بواسطة أعمدتها، ويتم تحديدها بواسطة عدد الصفوف أو الأعمدة الفريدة.

• مصفوفة رتبة كاملة: ترتيبها يطابق العدد الأقل بين صفوفها وأعمدتها.
• مصفوفة رتبة منخفضة: ترتيبها أقل بكثير من كل من عدد صفوفها وأعمدتها، مما يؤدي إلى 捕获 أقل.

الآن، النماذج الكبيرة تملك فهمًا واسعًا لمجالها، مثل اللغة في نماذج اللغة. ومع ذلك، فإن تعديلها لمهام محددة غالبًا ما يتطلب فقط تسليط الضوء على جزء صغير من هذه الفهم. هنا يأتي LoRA. يُقترح أن مصفوفة تعديل الأوزان يمكن أن تكون مصفوفة رتبة منخفضة، مما يؤدي إلى 捕获 أقل.

LoRA يحدد بشكل ذكي رتبة مصفوفة التحديث عن طريق تقسيمها إلى مصفوفتين أصغر رتبة. وهكذا، بدلاً من تغيير المصفوفة الكاملة، يتم تغيير جزء منها فقط، مما يجعل مهمة التعديل أكثر كفاءة.

تطبيق LoRA على Transformer

LoRA يساعد في تقليل الحمل التدريبي في الشبكات العصبية عن طريق التركيز على مصفوفات الأوزان المحددة. في هيكل Transformer، هناك مصفوفات أوزان مرتبطة بآلية الانتباه الذاتي، وهي Wq و Wk و Wv و Wo، بالإضافة إلى مصفوفتين أخريين في وحدة MLP.

هيكل Transformer

 

رؤوس الانتباه في Transformer

الشرح الرياضي ل LoRA

دعونا نناقش الرياضيات وراء LoRA:

1. مصفوفة الأوزان المسبقة W0​ $d\times k$.
2. التحليل الرتبة المنخفضة: بدلاً من تعديل المصفوفة الكاملة، يتم اقتراح نهج التحليل الرتبة المنخفضة.
3. التدريب: خلال عملية التدريب، تظل W0​ بدون تغيير.
4. الضرب والجمع: يتم ضرب كلا W0​ والتحديث $\Delta W$ (الذي هو منتج $B$ و $A$) بواسطة نفس المدخل (المعروف باسم $x$).

باختصار، هذا النهج يسمح بتعديل المصفوفة الكبيرة للأوزان بطريقة أكثر كفاءة، مما يؤدي إلى تحسين كفاءة الحوسبة والتخزين.

LoRA

التحضير والتحجيم:

عندما يتم تدريب النماذج، يمكن أن يؤثر كيفية تحضير المعلمات بشكل كبير على كفاءة وفعالية عملية التعلم. في سياق تحديث مصفوفة الأوزان باستخدام $A$ و $B$:

LoRA يجد تطبيقه العملي في مكتبة Hugging Face Parameter Efficient Fine-Tuning (PEFT)، مما يسهل استخدامه. لمستخدمي QLoRA، يمكن الوصول إليها من خلال مزيج من مكتبات bitsandbytes و PEFT. بالإضافة إلى ذلك، توفر مكتبة HuggingFace Transformer Reinforcement Learning (TRL) دعمًا متكاملًا ل LoRA.

QLoRA (مكمّلة)

في حين أن LoRA تقلل من احتياجات التخزين، لا تزال تتطلب كمبيوترًا قويًا لتحميل النموذج للتدريب. هنا يأتي QLoRA، أو Quantized LoRA، الذي يجمع بين LoRA والكمية لنهج أكثر ذكاء.

الكمية

الوزن المعاملات عادةً ما يتم تخزينها في تنسيق 32 بت (FP32)، مما يعني أن كل عنصر في المصفوفة يأخذ 32 بت من المساحة. تخيل لو كنت قادرًا على ضغط نفس المعلومات في 8 بت أو حتى 4 بت. هذا هو الفكرة الأساسية وراء QLoRA.

الكمية في LLM

هنا يأتي QLoRA:

1. الكمية الأولية: يتم كمية النموذج اللغة الكبير إلى 4 بت، مما يقلل بشكل كبير من بصمة التخزين.
2. تدريب LoRA: ثم يتم تدريب LoRA، ولكن في دقة 32 بت (FP32).

الآن، قد تتساءل لماذا العودة إلى 32 بت للتدريب بعد تقليلها إلى 4 بت؟ حسنًا، لتدريب محولات LoRA بشكل فعال في FP32، تحتاج معلمات النموذج إلى العودة إلى FP32 أيضًا. يتم هذا التبديل بشكل متعمد لتفادي إرهاق ذاكرة GPU.

الختام

في هذه المقالة، تناولنا التحديات التي تطرحها النماذج اللغة الكبيرة بسبب حجمها الهائل. وقد استكشفنا ممارسات التعديل التقليدية ومتطلباتها الحسابية والمالية. جوهر LoRA يكمن في قدرته على تعديل النماذج المسبقة دون الحاجة إلى إعادة تدريبها، مما يقلل من المعلمات القابلة للتعديل ويجعل عملية التعديل أكثر كفاءة.

كما تناولنا QLoRA، وهو مزيج من LoRA والكمية، الذي يقلل من بصمة التخزين للنموذج مع الحفاظ على الدقة الأساسية للتدريب. بهذه التقنيات المتقدمة، أصبح المتخصصون الآن مجهزين بمكتبات قوية، مما يسهل تبني وتنفيذ النماذج اللغة الكبيرة في مجموعة واسعة من السيناريوهات الواقعية.

المصفوفة

تتمثل هذه الاستراتيجيات في تحقيق التوازن بين جعل النماذج اللغة الكبيرة قابلة للتكيف لمهام محددة وضمان أن عمليات التعديل والتنفيذ ليست متطلبة بشكل مفرط من حيث الحوسبة وموارد التخزين.