نماذج ومنصات الذكاء الاصطناعي

إطار GLM-130B: نموذج لغة مفتوح ثنائي اللغة مدرب مسبقًا

Kunal Kejriwal
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيستخدم GLM-130B انتباه GLM ثنائي الاتجاه ليتفوق على GPT-3 في اختبار LAMBADA بدون تدريب…
عرض المزيد
  • يستخدم GLM-130B انتباه GLM ثنائي الاتجاه ليتفوق على GPT-3 في اختبار LAMBADA بدون تدريب مسبق بدقة 80.2.
  • يتيح حجم النموذج البالغ 130B إجراء الاستدلال على خادم A100 واحد بخلاف نظيراته الأكبر حجمًا البالغة 175B.
  • تسبق الارتفاعات الحادة في تدرجات طبقة التضمين انهيارات التدريب ولا يمكن إصلاحها بتجميد الإسقاطات.

GLM-130B نموذج لغوي كبير ثنائي اللغة ومدرَّب مسبقًا، يضم أكثر من 130 مليار معامل، ويستطيع توليد النصوص بالإنجليزية والصينية. يحاول المشروع إتاحة نموذج يتجاوز 100 مليار معامل بمصدر مفتوح، وشرح كيفية التدريب المسبق بهذا الحجم، الذي كثيرًا ما تعترضه مشكلات مثل تباعد التدريب والقفزات المفاجئة في قيمة دالة الخسارة.

نتناول هنا محاولة GLM-130B تطوير طريقة فعالة للتدريب المسبق لنماذج تضم مئات المليارات من المعاملات. نستعرض آلية العمل والبنية وعملية التدريب وخيارات التصميم التي تحسن الكفاءة والاستقرار. وأظهرت التجارب الأولية على مجموعة واسعة من الاختبارات الإنجليزية تفوق النموذج بفارق ملحوظ على GPT-3. فلنستكشف العوامل التي تقف وراء هذه النتائج المتسقة والدقيقة والمستقرة.

مقدمة إلى GLM-130B

تُظهر النماذج اللغوية الكبيرة القادرة على تنفيذ المهام بأمثلة قليلة أو دون أمثلة، ولا سيما التي تتجاوز 100 مليار معامل، قوانين توسع مثيرة للاهتمام. ويبرز المقال GPT-3 بوصفه نموذجًا حقق تحسينات كبيرة مقارنة بنماذج سابقة مثل BERT. لكن رغم شعبية GPT-3 واتساع استخداماته، لم تكن عملية تدريبه وبعض تفاصيله شفافة للجمهور. كما أن اختبار جميع التصاميم الممكنة لتدريب نماذج تتجاوز 100 مليار معامل غير ميسور حسابيًا، ما يزيد أهمية تطوير طريقة مناسبة للتدريب المسبق.

لذلك فإن مشاركة آليات عمل النماذج الكبيرة عالية الجودة وطرق تدريبها ذات قيمة كبيرة. ومع مراعاة المخاوف الأخلاقية، يسعى GLM-130B إلى تدريب نموذج دقيق ومفتوح المصدر يتجاوز 100 مليار معامل. وقد واجه فريق التطوير تحديات هندسية وتقنية متعددة تتعلق باستقرار التدريب وكفاءته وتقاربه.

وبالتحديد، GLM-130B نموذج كثيف ثنائي الاتجاه وثنائي اللغة، يضم أكثر من 130 مليار معامل. دُرِّب مسبقًا على أكثر من 400 مليار رمز خلال نحو شهرين على عنقود من 96 عقدة NVIDIA DGX-A100. وبدلًا من البنية المعتادة على نمط GPT، يستخدم خوارزمية GLM، أي النموذج اللغوي العام، للاستفادة من ملء الفراغات بطريقة انحدارية ذاتية والانتباه ثنائي الاتجاه. يقارنه الجدول بنماذج أخرى تتجاوز 100 مليار معامل، منها GPT وBLOOM-176B وOPT-175B.

يصف المقال كيف تتيح خيارات الهندسة والتطوير أداءً يتفوق في حالات واختبارات كثيرة على نماذج كبيرة أخرى، بما فيها GPT-3 وPaLM 540B الذي يتجاوز 500 مليار معامل. ويُظهر الشكل أيضًا انخفاض السمية والتحيز في النصوص المولَّدة مقارنة بالنماذج الأخرى.

صُمم النموذج كذلك لإتاحة دراسة النماذج الضخمة لعدد أكبر من المطورين، وذلك بطريقتين. أولًا، يستخدم 130 مليار معامل بدلًا من أكثر من 175 مليارًا كما في BLOOM وOPT، ما يسمح بإجراء الاستدلال على خادم A100 واحد. ثانيًا، يقلل متطلبات وحدات معالجة الرسوميات بتكميم النموذج إلى دقة INT4، لتحسين كفاءة التشغيل مع تراجع ضئيل للغاية في جودة النتائج.

GLM-130B: البنية

تعبّر بنية نموذج التعلم الآلي عن انحيازه الاستقرائي. ونظرًا إلى تكلفة الحساب والقيود العملية، لا يستطيع المطورون بسهولة استكشاف تصاميم كثيرة لـالنماذج اللغوية الكبيرة. وفيما يلي بنية GLM-130B.

تستخدم نماذج مثل PaLM وGPT، التي تتجاوز 100 مليار معامل، بنية GPT التقليدية القائمة على مفكك ترميز فقط للنمذجة اللغوية الانحدارية الذاتية. أما GLM-130B فيستكشف نموذجًا لغويًا عامًا ثنائي الاتجاه قائمًا على بنية Transformer، يجعل ملء الفراغات انحداريًا ذاتيًا هدفًا للتدريب. يُختار عدد من المقاطع من تسلسل نصي ثم يُستبدل كل منها برمز إخفاء واحد.

ما يميز GLM عن نهج GPT أحادي الاتجاه هو الانتباه ثنائي الاتجاه إلى السياق غير المُخفى. ولدعم توليد النص وفهمه، يجمع استراتيجيتين لإخفاء أجزاء من النص، ولكل منهما رمز خاص:

  • [MASK]: إخفاء مقاطع قصيرة من الجمل، بحيث يبلغ مجموع أطوالها نسبة محددة من المدخلات.
  • [gMASK]: إخفاء مقاطع ذات أطوال عشوائية قرب نهاية النص، مع استخدام الجزء السابق سياقًا.

يتيح هذا النهج تحقيق دقة تتجاوز 80% في اختبار LAMBADA دون أمثلة، والتفوق على PaLM 540B وGPT-3.

تطبيع الطبقات

عدم استقرار التدريب من أهم تحديات النماذج اللغوية الكبيرة، ويمكن لاختيار تطبيع طبقات مناسب أن يساعد. يصف المقال استخدام GLM-130B لنهج Post-LN استنادًا إلى أدائه في المهام اللاحقة.

شبكات التغذية الأمامية والترميز الموضعي

شبكات التغذية الأمامية (FFN) والترميز الموضعي عنصران يستخدمهما GLM-130B لتحسين الأداء في المهام اللاحقة واستقرار التدريب.

إعداد التدريب المسبق

تشمل الأهداف التعلم متعدد المهام على نسبة صغيرة من الرموز، إلى جانب التعلم ذاتي الإشراف في GLM لملء الفراغات انحداريًا ذاتيًا، بهدف دعم الأداء في المهام اللاحقة. وتفاصيل الإعداد كما يلي.

ملء الفراغات بالتعلم ذاتي الإشراف

تُطبق إحدى استراتيجيتي [MASK] و[gMASK] بصورة مستقلة على كل تسلسل تدريبي. في 30% من التسلسلات، تخفي [MASK] مقاطع متجاورة يبلغ مجموع أطوالها نحو 15% من المدخلات، وتتبع أطوالها توزيع بواسون. وفي الـ70% المتبقية، تُحفظ بداية التسلسل سياقًا وتُخفي [gMASK] ما تبقى، ويُختار طول الجزء المخفي وفق توزيع منتظم.

التدريب المسبق بتعليمات متعددة المهام

قد يحقق التعلم متعدد المهام أثناء التدريب المسبق نتائج أفضل من الضبط الدقيق في نقل القدرات إلى مهام جديدة دون أمثلة. لذلك يقترح GLM-130B استخدام مجموعات بيانات تتضمن تعليمات لمهام توليد اللغة وفهمها واستخراج المعلومات أثناء التدريب المسبق.

وبالمقارنة مع النهج الذي يعتمد على الضبط الدقيق متعدد المهام باستخدام المطالبات، لا يشكل هذا التدريب بالتعليمات سوى 5% من إجمالي الرموز. ويُدمج في مرحلة التدريب المسبق لتجنب إضعاف قدرات النموذج الأخرى، ومنها التوليد الحر غير المشروط.

استراتيجية التوازي ثلاثي الأبعاد

توازي النموذج على مستوى الموترات وتوازي البيانات طريقتان شائعتان لتدريب نماذج بمليارات المعاملات. وللتعامل مع احتياجات وحدات الرسوميات الكبيرة والحد من متطلبات الموارد، يجمع GLM-130B بينهما وبين توازي خط الأنابيب في استراتيجية ثلاثية الأبعاد.

GLM-130B: استقرار التدريب

استقرار التدريب عامل مهم في تحديد جودة النموذج، ويتأثر بشدة بعدد الرموز التي يعالجها. وتفرض القيود الحسابية الموازنة بين الاستقرار والكفاءة عند اختيار صيغ الأعداد ذات الفاصلة العائمة. فالدقة المنخفضة تحسن كفاءة الحساب، لكنها قد تؤدي إلى انهيار التدريب بسبب تجاوز القيم للنطاق العددي أو انخفاضها عن الحد القابل للتمثيل.

الدقة المختلطة

لتحسين دقة التدريب وتقليل استهلاك الذاكرة، يستخدم GLM-130B الدقة المختلطة: FP16 للحسابات في المرورين الأمامي والخلفي، وFP32 للأوزان الأساسية وحالات المُحسِّن. وكما في BLOOM-176B وOPT-175B، تتخلل التدريب قفزات متكررة في الخسارة، ويزداد تكرارها مع استمرار التدريب. كما يواجه توسيع نماذج Transformer مشكلات أخرى مهمة.

أولًا، قد يصبح نطاق القيم في الفرع الرئيسي للمحول كبيرًا جدًا في الطبقات العميقة عند استخدام Pre-LN. ويصف المقال معالجة تعتمد على DeepNorm وPre-LN لإبقاء القيم ضمن حدود. ثانيًا، ترتفع درجات الانتباه مع توسيع النموذج حتى قد تتجاوز النطاق الذي تمثله FP16.

تقليص تدرجات طبقة التضمين (EGS)

وجد المطورون أن معيار التدرج يمكن أن ينذر بانهيار التدريب، إذ يحدث الانهيار عادة بعد قفزة في هذا المعيار. وتعود القفزات إلى تدرجات غير طبيعية في طبقة التضمين، حيث يكون معيارها أكبر من الطبقات الأخرى بعدة رتب من حيث الحجم، ويتذبذب بشدة في بداية التدريب. وتواجه نماذج الرؤية المشكلة أيضًا، ويمكن معالجتها بتجميد طبقة إسقاط رقع الصورة. لكن المقال يشير إلى أن النهج نفسه لا يمكن نقله مباشرة إلى طبقات الإسقاط في النماذج اللغوية.

GLM-130B: النتائج والأداء

لتقييم المهام الإنجليزية، تُستخدم إعدادات مماثلة لتلك المستخدمة مع PaLM وGPT-3. وبما أن النموذج ثنائي اللغة، يُقيَّم أيضًا على اختبارات صينية. وتشمل الاختبارات نمذجة اللغة، وMMLU لفهم اللغة متعدد المهام، وBIG-Bench، وCLUE لتقييم فهم اللغة الصينية.

نمذجة اللغة

يُجرى الاختبار على مجموعتي البيانات LAMBADA وPile.

تقيس LAMBADA قدرة النماذج على توقع الكلمة الأخيرة. ويحقق GLM-130B دقة 80.2% دون أمثلة في الإعداد ثنائي اللغة، مسجلًا وفق التجارب المذكورة رقمًا قياسيًا جديدًا في هذا الاختبار.

تضم Pile سلسلة اختبارات للنماذج اللغوية. وبالمقارنة مع GPT-3 وJurassic-1، يحقق GLM-130B أفضل متوسط أداء على 18 مجموعة اختبار مشتركة وفق مقياس BPB الموزون. وتظهر النتائج قدراته اللغوية القوية، كما يوضح الجدول.

MMLU: فهم اللغة متعدد المهام واسع النطاق

MMLU اختبار متنوع يضم أكثر من 50 مهمة بأسئلة متعددة الخيارات حول المعرفة والقدرات البشرية، من مستوى المدرسة الثانوية إلى مستوى الخبراء. وقد نُشر بعد جمع بيانات اختبار Pile، لذا يصفه المقال بأنه مناسب لتقييم التعلم بأمثلة قليلة.

عند تقديم خمسة أمثلة، يقترب أداء GLM-130B من GPT-3 بعد معالجة نحو 300 مليار رمز. ويتحسن مع استمرار التدريب حتى يصل إلى دقة 44.8% عند انتهاء التدريب بعد 400 مليار رمز إجمالًا.

BIG-Bench: اختبار ما وراء لعبة التقليد

تختبر المهام الصعبة في BIG-Bench المعرفة والاستدلال والحس السليم. وكما تظهر الأشكال، يتفوق GLM-130B دون أمثلة على PaLM 540B وGPT-3 175B. وقد يعود ذلك إلى التدريب المسبق بتعليمات متعددة المهام (MIP) والانتباه ثنائي الاتجاه للسياق، بما يساعد على المهام غير المرئية سابقًا. ومع زيادة الأمثلة يتحسن الأداء أيضًا، ويظل النموذج متفوقًا على GPT-3.

CLUE: تقييم فهم اللغة الصينية

يُقيَّم الأداء الصيني دون أمثلة على مهام معالجة اللغة الطبيعية، ومنها CLUE وFewCLUE، ويُقارن بنموذج ERNIE Titan 3.0 ذي 260 مليار معامل. يتفوق GLM-130B عليه في 12 مهمة مختلفة، ويحقق وفق المقال أداء أفضل بنحو 260% على مجموعتي بيانات للفهم القرائي الآلي مع توليد الإجابات (MRC).

الخلاصة

استعرضنا GLM-130B، وهو نموذج لغوي كبير ثنائي اللغة ومدرَّب مسبقًا يهدف إلى توسيع المشاركة في أبحاث النماذج اللغوية. وتمنح بنيته وخياراته الهندسية والتقنية مجتمع الذكاء الاصطناعي فهمًا أفضل لبنية هذه النماذج وكفاءة التدريب واستقراره وأهداف التدريب المسبق وإجراء الاستدلال بتكلفة ميسورة.

كونال كيجريوال مهندس برمجيات للأنظمة الخلفية، متخصص في Python وPostgreSQL وRedis والبنية التحتية السحابية على GCP وAWS. لديه ثلاث سنوات من الخبرة في بناء الأنظمة البرمجية المستخدمة فعليًا وتوسيع نطاقها، ويكتب عن البنية التحتية للذكاء الاصطناعي والأنظمة الموزعة والبنية المعمارية لنشر أعباء عمل التعلم الآلي.