نماذج ومنصات الذكاء الاصطناعي

هل يمكن بناء نماذج اللغة الكبيرة مثل ChatGPT بنصف التكلفة؟

Haziqa Sajid
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةليجو يخفض تكلفة تدريب نماذج اللغة الكبيرة إلى النصف من خلال تنمية نماذج أكبر من نماذج…
عرض المزيد
  • ليجو يخفض تكلفة تدريب نماذج اللغة الكبيرة إلى النصف من خلال تنمية نماذج أكبر من نماذج مدربة مسبقًا أصغر.
  • تكلف تدريب GPT-3 5 ملايين دولار وتطلبت 10,000 وحدة معالجة رسومية لمدة 14.8 يومًا.
  • تنفق OpenAI 700,000 دولار يوميًا لتشغيل استعلامات ChatGPT بالإضافة إلى تكاليف التدريب.

نماذج اللغة الكبيرة (LLMs) مثل GPT-3 و ChatGPT أحدثت ثورة في الذكاء الاصطناعي من خلال تقديم فهم اللغة الطبيعية وقدرات إنشاء المحتوى. ولكن تطويرها يأتي بتكلفة باهظة، مما يحد من الوصول إليها ويحد من إجراء مزيد من البحث. وتشير التقديرات أن تدريب GPT-3 قد كلف OpenAI حوالي $5 مليون. ومع ذلك، أدرك Microsoft (MSFT ) الإمكانات واستثمر $1 مليار في عام 2019 و $10 مليار في عام 2023 في مشروع GPT-3 و ChatGPT التابع لشركة OpenAI.

نماذج اللغة الكبيرة هي نماذج تعلم الآلة مدربة على بيانات نصية واسعة النطاق لتطبيقات معالجة اللغة الطبيعية. وهي تستند إلى معمارية المحولات وتستخدم آليات الانتباه لمهام معالجة اللغة مثل الإجابة على الأسئلة والترجمة الآلية وتحليل المشاعر، وغيرها.

يتساءل الناس: هل يمكن زيادة كفاءة هذه النماذج الكبيرة مع تقليل التكلفة الحسابية ووقت التدريب؟

تم تطوير عدة طرق، مثل الشبكات العصبية التدريجية و تحوير بنية الشبكة و التوازي داخل الطبقات و وراثة المعرفة، لتقليل التكلفة الحسابية لتدريب الشبكات العصبية. وتقنية LiGO (مشغل النمو الخطي) الجديدة التي سنناقشها هي عبارة عن معيار جديد. وهي تقنية تقلل التكلفة الحسابية لتدريب نماذج اللغة الكبيرة بنسبة 50%.

قبل مناقشة هذه التقنية، من المهم التحقق من العوامل التي تساهم في ارتفاع تكلفة بناء نماذج اللغة الكبيرة.

تكلفة بناء نماذج اللغة الكبيرة

هناك ثلاث نفقات رئيسية لتطوير نماذج اللغة الكبيرة:

1. الموارد الحسابية

بناء نماذج اللغة الكبيرة يتطلب موارد حسابية ضخمة لتدريبها على مجموعات بيانات كبيرة. يجب أن تتم معالجة مليارات المعلمات وتعلم الأنماط المعقدة من البيانات النصية الكبيرة.

يتطلب الاستثمار في الأجهزة المتخصصة مثل وحدات معالجة الرسومات (GPU) ووحدات معالجة الموترات (TPU) لبناء نماذج اللغة الكبيرة وتدريبها لتحقيق أحدث مستويات الأداء.

على سبيل المثال، تم تدريب GPT-3 على حاسوب فائق مزود بـ10000 وحدة معالجة رسومات من فئة المؤسسات (H100 وA100) و285000 نواة لوحدة المعالجة المركزية.

2. استهلاك الطاقة

الموارد الحسابية الكثيفة المطلوبة لبناء نماذج اللغة الكبيرة تؤدي إلى استهلاك كبير للطاقة. على سبيل المثال، استغرق تدريب 175 مليار معلمة GPT-3 14.8 يومًا باستخدام 10000 وحدة معالجة رسومات V100، ما يعادل 3.55 مليون ساعة وحدة معالجة رسومات. هذا المستوى العالي من استهلاك الطاقة له آثار بيئية كبيرة أيضًا.

3. تخزين البيانات وإدارتها

نماذج اللغة الكبيرة مدربة على مجموعات بيانات كبيرة. على سبيل المثال، تم تدريب GPT-3 على مجموعة كبيرة من البيانات النصية، بما في ذلك Common Crawl و WebText2 و Books1 و Books2 و ويكيبيديا، وغيرها. يتطلب ذلك استثمارًا كبيرًا في البنية التحتية لجمع البيانات وتنقيحها وتخزينها.

كما يتطلب تخزين البيانات السحابي لخزن البيانات والخبرة البشرية للمعالجة المسبقة للبيانات والتحكم في الإصدارات. بالإضافة إلى ذلك، يضيف التأكد من أن استراتيجية البيانات تتوافق مع اللوائح مثل GDPR إلى التكلفة.

تقنية LiGO: تقليل تكلفة بناء نماذج اللغة الكبيرة إلى النصف

LiGO (مشغل النمو الخطي) هي تقنية جديدة طورها الباحثون في معهد ماساتشوستس للتكنولوجيا لتقليل التكلفة الحسابية لتدريب نماذج اللغة الكبيرة بنسبة 50%. تتضمن هذه الطريقة تهيئة أوزان النماذج الأكبر انطلاقًا من أوزان نماذج أصغر مدربة مسبقًا، مما يسمح بتوسيع الشبكات العصبية بفعالية.

يون كيم، المؤلف الأقدم للورقة، يقول:

“تم تقدير أن تدريب النماذج بمقياس ما يُعتقد أن ChatGPT يعمل عليه قد يكلف ملايين الدولارات فقط لتدريب واحد. هل يمكننا تحسين كفاءة طرق التدريب هذه حتى نتمكن من الحصول على نماذج جيدة في وقت أقصر وبمبلغ أقل؟ نقترح القيام بذلك بالاستفادة من نماذج اللغة الصغيرة التي تم تدريبها مسبقًا.”

تحافظ هذه الطريقة على فوائد الأداء لنماذج أكبر مع تقليل التكلفة الحسابية ووقت التدريب مقارنة بتدريب نموذج كبير من البداية. تستخدم LiGO مشغل نمو خطي مدفوع بالبيانات يجمع بين مشغلي العمق والعرض لتحقيق الأداء الأمثل.

استخدمت الورقة مجموعات بيانات مختلفة لإجراء تجارب قائمة على النص، بما في ذلك مجموعة ويكيبيديا الإنجليزية لتدريب نماذج BERT و RoBERTa، ومجموعة C4 لتدريب نموذج GPT2.

شملت تجربة تقنية LiGO توسيع BERT-Small إلى BERT-Base، و BERT-Base إلى BERT-Large، و RoBERTa-Small إلى RoBERTa-Base، و GPT2-Base إلى GPT2-Medium، و CaiT-XS إلى CaiT-S.

قارن الباحثون نهجهم بأسس أخرى عديدة، بما في ذلك التدريب من البداية، والتدريب التدريجي، و bert2BERT، و KI.

قدمت تقنية LiGO توفيرات بنسبة 44.7% في عمليات النقطة العائمة في الثانية (FLOPs) و 40.7% في الوقت الفعلي المنقضي مقارنة بتدريب BERT-Base من البداية باستخدام نموذج BERT-Small. يتفوق مشغل نمو LiGO على StackBERT و MSLT و bert2BERT و KI في التدريب الفعال.

فوائد استخدام تقنية تحسين التدريب مثل LiGO

LiGO هي طريقة تدريب شبكات عصبية فعالة لها فوائد عديدة، وهي:

1. التدريب الأسرع

كما ذكرنا سابقًا، التدريب الأسرع هو الميزة الرئيسية لتقنية LiGO. تُدرَّب نماذج اللغة الكبيرة في نصف الوقت، مما يزيد من الإنتاجية ويقلل التكاليف.

2. كفاءة الموارد

تتميز LiGO بالكفاءة في استخدام الموارد لأنها تقلل من الوقت الفعلي المنقضي و FLOPs، مما يؤدي إلى نهج أكثر كفاءة في التكلفة وصداقة البيئة لتدريب نماذج الترانسفورمر الكبيرة.

3. التعميم

حسّنت تقنية LiGO أداء محولات اللغة والرؤية، مما يشير إلى أنها تقنية قابلة للتعميم يمكن تطبيقها على مهام مختلفة.

بناء المنتجات التجارية هو جانب واحد فقط من التكاليف الإجمالية المرتبطة بأنظمة الذكاء الاصطناعي. ومكون آخر مهم من التكاليف يأتي من العمليات اليومية. على سبيل المثال، يكلف OpenAI حوالي $700,000 كل يوم للاستجابة للاستفسارات باستخدام ChatGPT. ومن المتوقع أن يواصل الباحثون استكشاف مناهج لجعل نماذج اللغة الكبيرة فعالة من حيث التكلفة أثناء التدريب وأكثر سهولة الوصول إليها في وقت التشغيل.

لمزيد من المحتوى المتعلق بالذكاء الاصطناعي، زوروا unite.ai.

Haziqa هي عالمة بيانات ذات خبرة واسعة في كتابة المحتوى الفني لشركات الذكاء الاصطناعي والبرمجيات كخدمة.