كل ما تريد معرفته عن اللاما 3 | أقوى نموذج مفتوح المصدر حتى الآن | مفاهيم للاستخدام

تم إصدار Meta مؤخرًا اللاما 3، الجيل التالي من نموذج اللغة الكبير مفتوح المصدر (LLM) المتطور. بناءً على الأسس التي وضعها الإصدار السابق، يهدف Llama 3 إلى تعزيز القدرات التي جعلت Llama 2 منافسًا كبيرًا مفتوح المصدر لـ ChatGPT، كما هو موضح في المراجعة الشاملة في المقالة. Llama 2: الغوص العميق في برنامج تشالنجر مفتوح المصدر لـ ChatGPT.

سنناقش في هذه المقالة المفاهيم الأساسية وراء Llama 3، ونستكشف بنيتها المبتكرة وعملية التدريب، ونقدم إرشادات عملية حول كيفية الوصول إلى هذا النموذج الرائد واستخدامه ونشره بطريقة مسؤولة. سواء كنت باحثًا أو مطورًا أو متحمسًا للذكاء الاصطناعي، فإن هذا المنشور سيزودك بالمعرفة والموارد اللازمة لتسخير قوة Llama 3 لمشاريعك وتطبيقاتك.

تطور اللاما: من اللاما 2 إلى اللاما 3

الرئيس التنفيذي لشركة Meta، مارك زوكربيرج، أعلن الظهور الأول لـ Llama 3، أحدث نموذج للذكاء الاصطناعي تم تطويره بواسطة Meta AI. تم إعداد هذا النموذج المتطور، وهو الآن مفتوح المصدر، لتعزيز منتجات Meta المتنوعة، بما في ذلك Messenger وInstagram. أبرز زوكربيرج أن Llama 3 تضع Meta AI على أنها الأكثر تقدمًا مساعد الذكاء الاصطناعي متاح مجانًا.

قبل أن نتحدث عن تفاصيل Llama 3، دعونا نعيد النظر بإيجاز في سابقتها، Llama 2. لقد كانت Llama 2022، التي تم تقديمها في عام 2، علامة بارزة في مشهد LLM مفتوح المصدر، حيث تقدم نموذجًا قويًا وفعالًا يمكن تشغيله على الأجهزة الاستهلاكية .

ومع ذلك، في حين أن Llama 2 كان إنجازًا ملحوظًا، إلا أنه كان له حدوده. أبلغ المستخدمون عن مشكلات تتعلق بالرفض الكاذب (النموذج الذي يرفض الإجابة على المطالبات الحميدة)، والمساعدة المحدودة، ومساحة للتحسين في مجالات مثل التفكير وتوليد التعليمات البرمجية.

أدخل Llama 3: استجابة Meta لهذه التحديات وتعليقات المجتمع. مع Llama 3، شرعت Meta في بناء أفضل النماذج مفتوحة المصدر على قدم المساواة مع أفضل النماذج المسجلة الملكية المتاحة اليوم، مع إعطاء الأولوية أيضًا لممارسات التطوير والنشر المسؤولة.

اللاما 3: العمارة والتدريب

أحد الابتكارات الرئيسية في Llama 3 هو أداة الرمز المميز، والتي تتميز بمفردات موسعة بشكل كبير من الرموز 128,256 (ارتفاعًا من 32,000 في اللاما 2). تتيح هذه المفردات الأكبر تشفيرًا أكثر كفاءة للنص، سواء بالنسبة للإدخال أو الإخراج، مما قد يؤدي إلى تعدد لغات أقوى وتحسينات في الأداء بشكل عام.

يشتمل Llama 3 أيضًا على تنبيه الاستعلام المجمع (GQA)، وهي تقنية تمثيل فعالة تعمل على تحسين قابلية التوسع وتساعد النموذج على التعامل مع السياقات الأطول بشكل أكثر فعالية. ال 8B إصدار Llama 3 يستخدم GQA، في حين أن كلاً من 8B 70B يمكن للنماذج معالجة تسلسلات تصل إلى الرموز 8,192.

بيانات التدريب والقياس

تعد بيانات التدريب المستخدمة في Llama 3 عاملاً حاسمًا في تحسين أدائها. قامت Meta برعاية مجموعة بيانات ضخمة تزيد عن 15 تريليون الرموز المميزة من المصادر المتاحة للجمهور عبر الإنترنت، وهي أكبر سبع مرات من مجموعة البيانات المستخدمة في Llama 2. تتضمن مجموعة البيانات هذه أيضًا جزءًا كبيرًا (أكثر من 5%) من البيانات غير الإنجليزية عالية الجودة، والتي تغطي أكثر من ۱٦ لغةاستعدادًا للتطبيقات متعددة اللغات في المستقبل.

لضمان جودة البيانات، استخدمت Meta تقنيات تصفية متقدمة، بما في ذلك المرشحات الإرشادية، ومرشحات NSFW، وإلغاء البيانات المكررة الدلالية، ومصنفات النص المدربة على Llama 2 للتنبؤ بجودة البيانات. أجرى الفريق أيضًا تجارب مكثفة لتحديد المزيج الأمثل من مصادر البيانات للتدريب المسبق، مما يضمن أداء Llama 3 جيدًا عبر مجموعة واسعة من حالات الاستخدام، بما في ذلك الأمور التافهة والعلوم والتكنولوجيا والهندسة والرياضيات والترميز والمعرفة التاريخية.

كان توسيع نطاق التدريب المسبق جانبًا مهمًا آخر في تطوير Llama 3. قامت شركة Meta بتطوير قوانين القياس التي مكنتها من التنبؤ بأداء أكبر نماذجها في المهام الرئيسية، مثل إنشاء التعليمات البرمجية، قبل تدريبها فعليًا. أدى هذا إلى اتخاذ القرارات المتعلقة بمزيج البيانات وتخصيص الحوسبة، مما يؤدي في النهاية إلى تدريب أكثر كفاءة وفعالية.

تم تدريب أكبر نماذج Llama 3 على مجموعتين مصممتين خصيصًا لـ 24,000 وحدة معالجة رسوميات، مع الاستفادة من مزيج من توازي البيانات، وتوازي النماذج، وتقنيات توازي خطوط الأنابيب. يقوم برنامج Meta التدريبي المتقدم بالكشف الآلي عن الأخطاء والتعامل معها وصيانتها، مما يزيد من وقت تشغيل وحدة معالجة الرسومات إلى الحد الأقصى ويزيد من كفاءة التدريب بما يقرب من ثلاث مرات مقارنة بـ Llama 2.

تعليمات الضبط والأداء

لإطلاق العنان لإمكانات Llama 3 الكاملة لتطبيقات الدردشة والحوار، ابتكرت Meta أسلوبها في ضبط التعليمات. يجمع طريقته صقل تحت الإشراف (SFT)، أخذ عينات الرفض، تحسين السياسة القريبة (بي بي أو)، و تحسين التفضيل المباشر (دبو).

لعبت جودة المطالبات المستخدمة في SFT وتصنيفات التفضيلات المستخدمة في PPO وDPO دورًا حاسمًا في أداء النماذج المتوافقة. قام فريق Meta برعاية هذه البيانات بعناية وأجرى جولات متعددة من ضمان الجودة على التعليقات التوضيحية المقدمة من قبل المفسرين البشريين.

أدى التدريب على تصنيفات التفضيلات عبر PPO وDPO أيضًا إلى تحسين أداء Llama 3 بشكل ملحوظ في مهام التفكير والترميز. وجدت ميتا أنه حتى عندما يكافح النموذج للإجابة على سؤال منطقي بشكل مباشر، فإنه قد يستمر في إنتاج أثر الاستدلال الصحيح. وقد مكّن التدريب على تصنيفات التفضيلات النموذج من معرفة كيفية اختيار الإجابة الصحيحة من هذه الآثار.

النتائج تتحدث عن نفسها: يتفوق Llama 3 في الأداء على العديد من نماذج الدردشة مفتوحة المصدر المتاحة وفقًا لمعايير الصناعة الشائعة، مما يؤدي إلى إنشاء أداء جديد متطور لحاملي LLM في مقاييس المعلمات 8B و70B.

التنمية المسؤولة واعتبارات السلامة

أثناء متابعة الأداء المتطور، أعطت Meta أيضًا الأولوية لممارسات التطوير والنشر المسؤولة لـ Llama 3. تبنت الشركة نهجًا على مستوى النظام، حيث تصورت نماذج Llama 3 كجزء من نظام بيئي أوسع يضع المطورين في مقعد السائق، مما يسمح لهم بتصميم وتخصيص النماذج لحالات الاستخدام المحددة ومتطلبات السلامة الخاصة بها.

أجرت Meta تمارين مكثفة للفريق الأحمر، وأجرت تقييمات عدائية، ونفذت تقنيات تخفيف السلامة لتقليل المخاطر المتبقية في نماذجها المضبوطة للتعليمات. ومع ذلك، تعترف الشركة بأن المخاطر المتبقية ستظل على الأرجح قائمة وتوصي المطورين بتقييم هذه المخاطر في سياق حالات الاستخدام المحددة الخاصة بهم.

لدعم النشر المسؤول، قامت Meta بتحديث دليل الاستخدام المسؤول الخاص بها، مما يوفر موردًا شاملاً للمطورين لتنفيذ أفضل الممارسات النموذجية والسلامة على مستوى النظام لتطبيقاتهم. يغطي الدليل موضوعات مثل الإشراف على المحتوى وتقييم المخاطر واستخدام أدوات الأمان مثل Llama Guard 2 وCode Shield.

تم تصميم Llama Guard 2، المبني على تصنيف MLCommons، لتصنيف مدخلات LLM (المطالبات) والاستجابات، واكتشاف المحتوى الذي قد يعتبر غير آمن أو ضار. يتوسع CyberSecEval 2 عن سابقه من خلال إضافة تدابير لمنع إساءة استخدام مترجم الكود الخاص بالنموذج، وقدرات الأمن السيبراني الهجومية، وقابلية التعرض لهجمات الحقن السريعة.

تضيف Code Shield، وهي مقدمة جديدة مع Llama 3، تصفية وقت الاستدلال للتعليمات البرمجية غير الآمنة التي تنتجها LLMs، وتخفيف المخاطر المرتبطة باقتراحات التعليمات البرمجية غير الآمنة، وإساءة استخدام مترجم التعليمات البرمجية، والتنفيذ الآمن للأوامر.

الوصول إلى اللاما واستخدامها 3

بعد إطلاق Llama 3 من Meta AI، تم توفير العديد من الأدوات مفتوحة المصدر للنشر المحلي على أنظمة تشغيل مختلفة، بما في ذلك Mac وWindows وLinux. يعرض هذا القسم تفاصيل ثلاث أدوات بارزة: Ollama، وOpen WebUI، وLM Studio، حيث تقدم كل منها ميزات فريدة للاستفادة من إمكانيات Llama 3 على الأجهزة الشخصية.

أولاما: متوفر لأنظمة التشغيل Mac، وLinux، وWindows، أولاما يبسط تشغيل Llama 3 ونماذج اللغات الكبيرة الأخرى على أجهزة الكمبيوتر الشخصية، حتى تلك التي تحتوي على أجهزة أقل قوة. وهو يشتمل على مدير حزم لإدارة النماذج بسهولة ويدعم الأوامر عبر الأنظمة الأساسية لتنزيل النماذج وتشغيلها.

افتح WebUI باستخدام Docker: توفر هذه الأداة سهلة الاستخدام، عامل في حوض السفن-واجهة متوافقة مع أنظمة التشغيل Mac وLinux وWindows. فهو يتكامل بسلاسة مع النماذج من سجل Ollama، مما يسمح للمستخدمين بنشر نماذج مثل Llama 3 والتفاعل معها ضمن واجهة ويب محلية.

ستوديو إل إم: استهداف المستخدمين على أنظمة التشغيل Mac، وLinux، وWindows، ستوديو إل إم يدعم مجموعة من النماذج وهو مبني على مشروع llama.cpp. فهو يوفر واجهة دردشة ويسهل التفاعل المباشر مع نماذج مختلفة، بما في ذلك نموذج Llama 3 8B Instruct.

وتضمن هذه الأدوات قدرة المستخدمين على استخدام Llama 3 بكفاءة على أجهزتهم الشخصية، واستيعاب مجموعة من المهارات والمتطلبات التقنية. تقدم كل منصة عمليات خطوة بخطوة للإعداد والتفاعل مع النماذج، مما يجعل الذكاء الاصطناعي المتقدم في متناول المطورين والمتحمسين.