الذكاء الاصطناعي
كل ما تريد معرفته عن اللاما 3 | أقوى نموذج مفتوح المصدر حتى الآن | مفاهيم للاستخدام
تم إصدار Meta مؤخرًا اللاما 3، الجيل التالي من نموذج اللغة الكبير مفتوح المصدر (LLM) المتطور. بناءً على الأسس التي وضعها الإصدار السابق، يهدف Llama 3 إلى تعزيز القدرات التي جعلت Llama 2 منافسًا كبيرًا مفتوح المصدر لـ ChatGPT، كما هو موضح في المراجعة الشاملة في المقالة. Llama 2: الغوص العميق في برنامج تشالنجر مفتوح المصدر لـ ChatGPT.
سنناقش في هذه المقالة المفاهيم الأساسية وراء Llama 3، ونستكشف بنيتها المبتكرة وعملية التدريب، ونقدم إرشادات عملية حول كيفية الوصول إلى هذا النموذج الرائد واستخدامه ونشره بطريقة مسؤولة. سواء كنت باحثًا أو مطورًا أو متحمسًا للذكاء الاصطناعي، فإن هذا المنشور سيزودك بالمعرفة والموارد اللازمة لتسخير قوة Llama 3 لمشاريعك وتطبيقاتك.
تطور اللاما: من اللاما 2 إلى اللاما 3
الرئيس التنفيذي لشركة Meta، مارك زوكربيرج، أعلن الظهور الأول لـ Llama 3، أحدث نموذج للذكاء الاصطناعي تم تطويره بواسطة Meta AI. تم إعداد هذا النموذج المتطور، وهو الآن مفتوح المصدر، لتعزيز منتجات Meta المتنوعة، بما في ذلك Messenger وInstagram. أبرز زوكربيرج أن Llama 3 تضع Meta AI على أنها الأكثر تقدمًا مساعد الذكاء الاصطناعي متاح مجانًا.
قبل أن نتحدث عن تفاصيل Llama 3، دعونا نعيد النظر بإيجاز في سابقتها، Llama 2. لقد كانت Llama 2022، التي تم تقديمها في عام 2، علامة بارزة في مشهد LLM مفتوح المصدر، حيث تقدم نموذجًا قويًا وفعالًا يمكن تشغيله على الأجهزة الاستهلاكية .
ومع ذلك، في حين أن Llama 2 كان إنجازًا ملحوظًا، إلا أنه كان له حدوده. أبلغ المستخدمون عن مشكلات تتعلق بالرفض الكاذب (النموذج الذي يرفض الإجابة على المطالبات الحميدة)، والمساعدة المحدودة، ومساحة للتحسين في مجالات مثل التفكير وتوليد التعليمات البرمجية.
أدخل Llama 3: استجابة Meta لهذه التحديات وتعليقات المجتمع. مع Llama 3، شرعت Meta في بناء أفضل النماذج مفتوحة المصدر على قدم المساواة مع أفضل النماذج المسجلة الملكية المتاحة اليوم، مع إعطاء الأولوية أيضًا لممارسات التطوير والنشر المسؤولة.
اللاما 3: العمارة والتدريب
أحد الابتكارات الرئيسية في Llama 3 هو أداة الرمز المميز، والتي تتميز بمفردات موسعة بشكل كبير من الرموز 128,256 (ارتفاعًا من 32,000 في اللاما 2). تتيح هذه المفردات الأكبر تشفيرًا أكثر كفاءة للنص، سواء بالنسبة للإدخال أو الإخراج، مما قد يؤدي إلى تعدد لغات أقوى وتحسينات في الأداء بشكل عام.
يشتمل Llama 3 أيضًا على تنبيه الاستعلام المجمع (GQA)، وهي تقنية تمثيل فعالة تعمل على تحسين قابلية التوسع وتساعد النموذج على التعامل مع السياقات الأطول بشكل أكثر فعالية. ال 8B إصدار Llama 3 يستخدم GQA، في حين أن كلاً من 8B و 70B يمكن للنماذج معالجة تسلسلات تصل إلى الرموز 8,192.
بيانات التدريب والقياس
تعد بيانات التدريب المستخدمة في Llama 3 عاملاً حاسمًا في تحسين أدائها. قامت Meta برعاية مجموعة بيانات ضخمة تزيد عن 15 تريليون الرموز المميزة من المصادر المتاحة للجمهور عبر الإنترنت، وهي أكبر سبع مرات من مجموعة البيانات المستخدمة في Llama 2. تتضمن مجموعة البيانات هذه أيضًا جزءًا كبيرًا (أكثر من 5%) من البيانات غير الإنجليزية عالية الجودة، والتي تغطي أكثر من ۱٦ لغةاستعدادًا للتطبيقات متعددة اللغات في المستقبل.
لضمان جودة البيانات، استخدمت Meta تقنيات تصفية متقدمة، بما في ذلك المرشحات الإرشادية، ومرشحات NSFW، وإلغاء البيانات المكررة الدلالية، ومصنفات النص المدربة على Llama 2 للتنبؤ بجودة البيانات. أجرى الفريق أيضًا تجارب مكثفة لتحديد المزيج الأمثل من مصادر البيانات للتدريب المسبق، مما يضمن أداء Llama 3 جيدًا عبر مجموعة واسعة من حالات الاستخدام، بما في ذلك الأمور التافهة والعلوم والتكنولوجيا والهندسة والرياضيات والترميز والمعرفة التاريخية.
كان توسيع نطاق التدريب المسبق جانبًا مهمًا آخر في تطوير Llama 3. قامت شركة Meta بتطوير قوانين القياس التي مكنتها من التنبؤ بأداء أكبر نماذجها في المهام الرئيسية، مثل إنشاء التعليمات البرمجية، قبل تدريبها فعليًا. أدى هذا إلى اتخاذ القرارات المتعلقة بمزيج البيانات وتخصيص الحوسبة، مما يؤدي في النهاية إلى تدريب أكثر كفاءة وفعالية.
تم تدريب أكبر نماذج Llama 3 على مجموعتين مصممتين خصيصًا لـ 24,000 وحدة معالجة رسوميات، مع الاستفادة من مزيج من توازي البيانات، وتوازي النماذج، وتقنيات توازي خطوط الأنابيب. يقوم برنامج Meta التدريبي المتقدم بالكشف الآلي عن الأخطاء والتعامل معها وصيانتها، مما يزيد من وقت تشغيل وحدة معالجة الرسومات إلى الحد الأقصى ويزيد من كفاءة التدريب بما يقرب من ثلاث مرات مقارنة بـ Llama 2.
تعليمات الضبط والأداء
لإطلاق العنان لإمكانات Llama 3 الكاملة لتطبيقات الدردشة والحوار، ابتكرت Meta أسلوبها في ضبط التعليمات. يجمع طريقته صقل تحت الإشراف (SFT)، أخذ عينات الرفض، تحسين السياسة القريبة (بي بي أو)، و تحسين التفضيل المباشر (دبو).
لعبت جودة المطالبات المستخدمة في SFT وتصنيفات التفضيلات المستخدمة في PPO وDPO دورًا حاسمًا في أداء النماذج المتوافقة. قام فريق Meta برعاية هذه البيانات بعناية وأجرى جولات متعددة من ضمان الجودة على التعليقات التوضيحية المقدمة من قبل المفسرين البشريين.
أدى التدريب على تصنيفات التفضيلات عبر PPO وDPO أيضًا إلى تحسين أداء Llama 3 بشكل ملحوظ في مهام التفكير والترميز. وجدت ميتا أنه حتى عندما يكافح النموذج للإجابة على سؤال منطقي بشكل مباشر، فإنه قد يستمر في إنتاج أثر الاستدلال الصحيح. وقد مكّن التدريب على تصنيفات التفضيلات النموذج من معرفة كيفية اختيار الإجابة الصحيحة من هذه الآثار.
النتائج تتحدث عن نفسها: يتفوق Llama 3 في الأداء على العديد من نماذج الدردشة مفتوحة المصدر المتاحة وفقًا لمعايير الصناعة الشائعة، مما يؤدي إلى إنشاء أداء جديد متطور لحاملي LLM في مقاييس المعلمات 8B و70B.
التنمية المسؤولة واعتبارات السلامة
أثناء متابعة الأداء المتطور، أعطت Meta أيضًا الأولوية لممارسات التطوير والنشر المسؤولة لـ Llama 3. تبنت الشركة نهجًا على مستوى النظام، حيث تصورت نماذج Llama 3 كجزء من نظام بيئي أوسع يضع المطورين في مقعد السائق، مما يسمح لهم بتصميم وتخصيص النماذج لحالات الاستخدام المحددة ومتطلبات السلامة الخاصة بها.
أجرت Meta تمارين مكثفة للفريق الأحمر، وأجرت تقييمات عدائية، ونفذت تقنيات تخفيف السلامة لتقليل المخاطر المتبقية في نماذجها المضبوطة للتعليمات. ومع ذلك، تعترف الشركة بأن المخاطر المتبقية ستظل على الأرجح قائمة وتوصي المطورين بتقييم هذه المخاطر في سياق حالات الاستخدام المحددة الخاصة بهم.
لدعم النشر المسؤول، قامت Meta بتحديث دليل الاستخدام المسؤول الخاص بها، مما يوفر موردًا شاملاً للمطورين لتنفيذ أفضل الممارسات النموذجية والسلامة على مستوى النظام لتطبيقاتهم. يغطي الدليل موضوعات مثل الإشراف على المحتوى وتقييم المخاطر واستخدام أدوات الأمان مثل Llama Guard 2 وCode Shield.
تم تصميم Llama Guard 2، المبني على تصنيف MLCommons، لتصنيف مدخلات LLM (المطالبات) والاستجابات، واكتشاف المحتوى الذي قد يعتبر غير آمن أو ضار. يتوسع CyberSecEval 2 عن سابقه من خلال إضافة تدابير لمنع إساءة استخدام مترجم الكود الخاص بالنموذج، وقدرات الأمن السيبراني الهجومية، وقابلية التعرض لهجمات الحقن السريعة.
تضيف Code Shield، وهي مقدمة جديدة مع Llama 3، تصفية وقت الاستدلال للتعليمات البرمجية غير الآمنة التي تنتجها LLMs، وتخفيف المخاطر المرتبطة باقتراحات التعليمات البرمجية غير الآمنة، وإساءة استخدام مترجم التعليمات البرمجية، والتنفيذ الآمن للأوامر.
الوصول إلى اللاما واستخدامها 3
بعد إطلاق Llama 3 من Meta AI، تم توفير العديد من الأدوات مفتوحة المصدر للنشر المحلي على أنظمة تشغيل مختلفة، بما في ذلك Mac وWindows وLinux. يعرض هذا القسم تفاصيل ثلاث أدوات بارزة: Ollama، وOpen WebUI، وLM Studio، حيث تقدم كل منها ميزات فريدة للاستفادة من إمكانيات Llama 3 على الأجهزة الشخصية.
أولاما: متوفر لأنظمة التشغيل Mac، وLinux، وWindows، أولاما يبسط تشغيل Llama 3 ونماذج اللغات الكبيرة الأخرى على أجهزة الكمبيوتر الشخصية، حتى تلك التي تحتوي على أجهزة أقل قوة. وهو يشتمل على مدير حزم لإدارة النماذج بسهولة ويدعم الأوامر عبر الأنظمة الأساسية لتنزيل النماذج وتشغيلها.
افتح WebUI باستخدام Docker: توفر هذه الأداة سهلة الاستخدام، عامل في حوض السفن-واجهة متوافقة مع أنظمة التشغيل Mac وLinux وWindows. فهو يتكامل بسلاسة مع النماذج من سجل Ollama، مما يسمح للمستخدمين بنشر نماذج مثل Llama 3 والتفاعل معها ضمن واجهة ويب محلية.
ستوديو إل إم: استهداف المستخدمين على أنظمة التشغيل Mac، وLinux، وWindows، ستوديو إل إم يدعم مجموعة من النماذج وهو مبني على مشروع llama.cpp. فهو يوفر واجهة دردشة ويسهل التفاعل المباشر مع نماذج مختلفة، بما في ذلك نموذج Llama 3 8B Instruct.
وتضمن هذه الأدوات قدرة المستخدمين على استخدام Llama 3 بكفاءة على أجهزتهم الشخصية، واستيعاب مجموعة من المهارات والمتطلبات التقنية. تقدم كل منصة عمليات خطوة بخطوة للإعداد والتفاعل مع النماذج، مما يجعل الذكاء الاصطناعي المتقدم في متناول المطورين والمتحمسين.
نشر Llama 3 على نطاق واسع
بالإضافة إلى توفير الوصول المباشر إلى أوزان النماذج، عقدت Meta شراكة مع العديد من موفري الخدمات السحابية وخدمات واجهة برمجة التطبيقات النموذجية ومنصات الأجهزة لتمكين النشر السلس لـ Llama 3 على نطاق واسع.
إحدى المزايا الرئيسية لـ Llama 3 هي تحسين كفاءة الرمز المميز، وذلك بفضل رمز الرمز المميز الجديد. تظهر المعايير أن Llama 3 يتطلب ما يصل إلى رموز أقل بنسبة 15% مقارنةً بـ Llama 2، مما يؤدي إلى استنتاج أسرع وأكثر فعالية من حيث التكلفة.
يساهم دمج انتباه الاستعلام المجمع (GQA) في الإصدار 8B من Llama 3 في الحفاظ على كفاءة الاستدلال على قدم المساواة مع الإصدار 7B من Llama 2، على الرغم من الزيادة في عدد المعلمات.
ولتبسيط عملية النشر، قدمت Meta مستودع Llama Recipes، الذي يحتوي على تعليمات برمجية مفتوحة المصدر وأمثلة للضبط الدقيق والنشر وتقييم النموذج والمزيد. يعد هذا المستودع بمثابة مورد قيم للمطورين الذين يتطلعون إلى الاستفادة من إمكانيات Llama 3 في تطبيقاتهم.
بالنسبة لأولئك المهتمين باستكشاف أداء Llama 3، قامت Meta بدمج أحدث نماذجها في Meta AI، وهو مساعد الذكاء الاصطناعي الرائد المصمم بتقنية Llama 3. يمكن للمستخدمين التفاعل مع Meta AI من خلال العديد من تطبيقات Meta، مثل Facebook وInstagram وWhatsApp وMessenger والويب، لإنجاز الأمور والتعلم والإنشاء والتواصل مع الأشياء التي تهمهم.
ما هو التالي بالنسبة للاما 3؟
في حين أن الطرازين 8B و70B يمثلان بداية إصدار Llama 3، فإن Meta لديها خطط طموحة لمستقبل ماجستير إدارة الأعمال الرائد هذا.
في الأشهر المقبلة، يمكننا أن نتوقع رؤية إمكانات جديدة يتم تقديمها، بما في ذلك تعدد الوسائط (القدرة على معالجة وإنشاء طرق مختلفة للبيانات، مثل الصور ومقاطع الفيديو)، وتعدد اللغات (دعم لغات متعددة)، ونوافذ سياقية أطول بكثير لتحسين الأداء على المهام التي تتطلب سياقًا واسع النطاق.
بالإضافة إلى ذلك، تخطط Meta لإصدار أحجام أكبر للنماذج، بما في ذلك النماذج التي تحتوي على أكثر من 400 مليار معلمة، والتي هي حاليًا قيد التدريب وتظهر اتجاهات واعدة من حيث الأداء والقدرات.
ولتحقيق المزيد من التقدم في هذا المجال، ستقوم Meta أيضًا بنشر ورقة بحثية مفصلة حول Llama 3، ومشاركة نتائجها وأفكارها مع مجتمع الذكاء الاصطناعي الأوسع.
كمعاينة مسبقة لما سيأتي، شاركت Meta بعض اللقطات المبكرة لأداء أكبر نموذج LLM الخاص بها وفقًا لمعايير مختلفة. على الرغم من أن هذه النتائج تعتمد على نقطة تفتيش مبكرة وقابلة للتغيير، إلا أنها توفر لمحة مثيرة عن الإمكانات المستقبلية للعبة Llama 3.
وفي الختام
تمثل Llama 3 علامة بارزة في تطور نماذج اللغات الكبيرة مفتوحة المصدر، مما يدفع حدود الأداء والقدرات وممارسات التطوير المسؤولة. بفضل بنيته المبتكرة، ومجموعة بيانات التدريب الضخمة، وتقنيات الضبط المتطورة، يضع Llama 3 معايير جديدة على أحدث طراز لـ LLMs بمقاييس المعلمات 8B و70B.
ومع ذلك، Llama 3 هو أكثر من مجرد نموذج لغة قوي؛ إنها شهادة على التزام Meta بتعزيز نظام بيئي مفتوح ومسؤول للذكاء الاصطناعي. من خلال توفير موارد شاملة وأدوات أمان وأفضل الممارسات، تعمل Meta على تمكين المطورين من تسخير الإمكانات الكاملة للعبة Llama 3 مع ضمان النشر المسؤول المصمم خصيصًا لحالات الاستخدام والجماهير المحددة.
مع استمرار رحلة Llama 3، مع الإمكانات الجديدة وأحجام النماذج ونتائج الأبحاث التي تلوح في الأفق، ينتظر مجتمع الذكاء الاصطناعي بفارغ الصبر التطبيقات والاختراقات المبتكرة التي ستظهر بلا شك من هذا البرنامج الرائد في مجال LLM.
سواء كنت باحثًا يتخطى حدود معالجة اللغة الطبيعية، أو مطورًا يبني الجيل التالي من التطبيقات الذكية، أو متحمسًا للذكاء الاصطناعي مهتمًا بأحدث التطورات، فإن Llama 3 تعدك بأن تكون أداة قوية في ترسانتك، وتفتح أبوابًا جديدة و فتح عالم من الاحتمالات.
