الذكاء الاصطناعي
كل ما تريد معرفته عن اللاما 3 | أقوى نموذج مفتوح المصدر حتى الآن | مفاهيم للاستخدام
تم إصدار Meta مؤخرًا اللاما 3، الجيل التالي من نموذج اللغة الكبير مفتوح المصدر (LLM) المتطور. بناءً على الأسس التي وضعها الإصدار السابق، يهدف Llama 3 إلى تعزيز القدرات التي جعلت Llama 2 منافسًا كبيرًا مفتوح المصدر لـ ChatGPT، كما هو موضح في المراجعة الشاملة في المقالة. Llama 2: الغوص العميق في برنامج تشالنجر مفتوح المصدر لـ ChatGPT.
سنناقش في هذه المقالة المفاهيم الأساسية وراء Llama 3، ونستكشف بنيتها المبتكرة وعملية التدريب، ونقدم إرشادات عملية حول كيفية الوصول إلى هذا النموذج الرائد واستخدامه ونشره بطريقة مسؤولة. سواء كنت باحثًا أو مطورًا أو متحمسًا للذكاء الاصطناعي، فإن هذا المنشور سيزودك بالمعرفة والموارد اللازمة لتسخير قوة Llama 3 لمشاريعك وتطبيقاتك.
تطور اللاما: من اللاما 2 إلى اللاما 3
الرئيس التنفيذي لشركة Meta ، مارك زوكربيرج ، أعلن إطلاق لاما 3، أحدث نموذج ذكاء اصطناعي طورته ميتا للذكاء الاصطناعي. هذا النموذج المتطور، مفتوح المصدر الآن، مُعدّ لتعزيز منتجات ميتا المتنوعة، بما في ذلك ماسنجر وإنستغرام. أكد زوكربيرج أن لاما 3 يجعل ميتا للذكاء الاصطناعي الأكثر تقدمًا. مساعد الذكاء الاصطناعي متاح مجانًا.
قبل أن نتحدث عن تفاصيل Llama 3، دعونا نلقي نظرة سريعة على سابقتها، Llama 2. تم طرح Llama 2022 في عام 2، وكان إنجازًا مهمًا في مجال LLM مفتوح المصدر، حيث قدم نموذجًا قويًا وفعالًا يمكن تشغيله على أجهزة المستهلك.
ومع ذلك، في حين أن Llama 2 كان إنجازًا ملحوظًا، إلا أنه كان له حدوده. أبلغ المستخدمون عن مشكلات تتعلق بالرفض الكاذب (النموذج الذي يرفض الإجابة على المطالبات الحميدة)، والمساعدة المحدودة، ومساحة للتحسين في مجالات مثل التفكير وتوليد التعليمات البرمجية.
دخول لاما 3: استجابة ميتا لهذه التحديات وتعليقات المجتمع. مع لاما 3، سعت ميتا إلى بناء أفضل نماذج مفتوحة المصدر تُضاهي أفضل النماذج الاحتكارية المتاحة اليوم، مع إعطاء الأولوية لممارسات التطوير والنشر المسؤولة.
اللاما 3: العمارة والتدريب
أحد الابتكارات الرئيسية في Llama 3 هو أداة الرمز المميز، والتي تتميز بمفردات موسعة بشكل كبير من الرموز 128,256 (ارتفاعًا من 32,000 في اللاما 2). تتيح هذه المفردات الأكبر تشفيرًا أكثر كفاءة للنص، سواء بالنسبة للإدخال أو الإخراج، مما قد يؤدي إلى تعدد لغات أقوى وتحسينات في الأداء بشكل عام.
يشتمل Llama 3 أيضًا على تنبيه الاستعلام المجمع (GQA)، وهي تقنية تمثيل فعالة تعمل على تحسين قابلية التوسع وتساعد النموذج على التعامل مع السياقات الأطول بشكل أكثر فعالية. ال 8B إصدار Llama 3 يستخدم GQA، في حين أن كلاً من 8B و 70B يمكن للنماذج معالجة تسلسلات تصل إلى الرموز 8,192.
بيانات التدريب والقياس
تعد بيانات التدريب المستخدمة في Llama 3 عاملاً حاسمًا في تحسين أدائها. قامت Meta برعاية مجموعة بيانات ضخمة تزيد عن 15 تريليون الرموز المميزة من المصادر المتاحة للجمهور عبر الإنترنت، وهي أكبر سبع مرات من مجموعة البيانات المستخدمة في Llama 2. تتضمن مجموعة البيانات هذه أيضًا جزءًا كبيرًا (أكثر من 5%) من البيانات غير الإنجليزية عالية الجودة، والتي تغطي أكثر من ۱٦ لغةاستعدادًا للتطبيقات متعددة اللغات في المستقبل.
لضمان جودة البيانات، استخدمت Meta تقنيات تصفية متقدمة، بما في ذلك المرشحات الإرشادية، ومرشحات NSFW، وإلغاء البيانات المكررة الدلالية، ومصنفات النص المدربة على Llama 2 للتنبؤ بجودة البيانات. أجرى الفريق أيضًا تجارب مكثفة لتحديد المزيج الأمثل من مصادر البيانات للتدريب المسبق، مما يضمن أداء Llama 3 جيدًا عبر مجموعة واسعة من حالات الاستخدام، بما في ذلك الأمور التافهة والعلوم والتكنولوجيا والهندسة والرياضيات والترميز والمعرفة التاريخية.
كان توسيع نطاق التدريب المسبق جانبًا بالغ الأهمية في تطوير لاما 3. طوّرت ميتا قوانين توسيع نطاق مكّنتها من التنبؤ بأداء أكبر نماذجها في مهام رئيسية، مثل توليد الشيفرة البرمجية، قبل تدريبها فعليًا. وقد أثّر ذلك في قرارات مزج البيانات وتخصيص الحوسبة، مما أدى في النهاية إلى تدريب أكثر كفاءة وفعالية.
تم تدريب أكبر نماذج لاما 3 على مجموعتين مخصصتين من وحدات معالجة الرسومات (GPU) تحتوي كل منهما على 24,000 وحدة، مستفيدةً من مزيج من تقنيات موازاة البيانات، وموازاة النماذج، وموازاة خطوط الأنابيب. أتمت حزمة التدريب المتقدمة في ميتا اكتشاف الأخطاء ومعالجتها وصيانتها، مما عزز وقت تشغيل وحدة معالجة الرسومات إلى أقصى حد، وزاد كفاءة التدريب بنحو ثلاثة أضعاف مقارنةً بلاما 2.
تعليمات الضبط والأداء
لإطلاق العنان لإمكانات لاما 3 الكاملة لتطبيقات الدردشة والحوار، ابتكرت ميتا نهجها في ضبط التعليمات بدقة. تجمع طريقتها بين صقل تحت الإشراف (SFT)، أخذ عينات الرفض، تحسين السياسة القريبة (بي بي أو)، و تحسين التفضيل المباشر (دبو).
لعبت جودة المطالبات المستخدمة في SFT وتصنيفات التفضيلات المستخدمة في PPO وDPO دورًا حاسمًا في أداء النماذج المتوافقة. قام فريق ميتا بمراجعة هذه البيانات بعناية، وأجرى عدة جولات من ضمان الجودة على التعليقات التوضيحية التي قدمها المفسرون البشريون.
كما أدى التدريب على تصنيفات التفضيلات عبر PPO وDPO إلى تحسين أداء Llama 3 بشكل ملحوظ في مهام الاستدلال والترميز. ووجدت Meta أنه حتى عندما يواجه النموذج صعوبة في الإجابة على سؤال استدلالي مباشرةً، فإنه قد يُنتج مسار الاستدلال الصحيح. وقد مكّن التدريب على تصنيفات التفضيلات النموذج من تعلم كيفية اختيار الإجابة الصحيحة من هذه المسارات.
النتائج تتحدث عن نفسها: يتفوق Llama 3 في الأداء على العديد من نماذج الدردشة مفتوحة المصدر المتاحة وفقًا لمعايير الصناعة الشائعة، مما يؤدي إلى إنشاء أداء جديد متطور لحاملي LLM في مقاييس المعلمات 8B و70B.
التنمية المسؤولة واعتبارات السلامة
أثناء السعي لتحقيق الأداء المتطور، أعطت Meta أيضًا الأولوية لممارسات التطوير والنشر المسؤولة لـ Llama 3. اعتمدت الشركة نهجًا على مستوى النظام، حيث تصورت نماذج Llama 3 كجزء من نظام بيئي أوسع يضع المطورين في مقعد القيادة، مما يسمح لهم بتصميم النماذج وتخصيصها لحالات الاستخدام الخاصة بهم ومتطلبات السلامة.
أجرت Meta تمارين مكثفة للفريق الأحمر، وأجرت تقييمات عدائية، ونفذت تقنيات تخفيف السلامة لتقليل المخاطر المتبقية في نماذجها المضبوطة للتعليمات. ومع ذلك، تعترف الشركة بأن المخاطر المتبقية ستظل على الأرجح قائمة وتوصي المطورين بتقييم هذه المخاطر في سياق حالات الاستخدام المحددة الخاصة بهم.
لدعم النشر المسؤول، قامت Meta بتحديث دليل الاستخدام المسؤول الخاص بها، مما يوفر موردًا شاملاً للمطورين لتنفيذ أفضل الممارسات النموذجية والسلامة على مستوى النظام لتطبيقاتهم. يغطي الدليل موضوعات مثل الإشراف على المحتوى وتقييم المخاطر واستخدام أدوات الأمان مثل Llama Guard 2 وCode Shield.
صُمم Llama Guard 2، المبني على تصنيف MLCommons، لتصنيف مدخلات واستجابات LLM (المطالبات)، وكشف المحتوى الذي قد يُعتبر غير آمن أو ضار. يُوسّع CyberSecEval 2 نطاق سابقه بإضافة تدابير لمنع إساءة استخدام مُفسّر الكود الخاص بالنموذج، وقدرات أمن سيبراني هجومية، وقابلية التعرض لهجمات حقن المطالبات.
تضيف Code Shield، وهي مقدمة جديدة مع Llama 3، تصفية وقت الاستدلال للتعليمات البرمجية غير الآمنة التي تنتجها LLMs، وتخفيف المخاطر المرتبطة باقتراحات التعليمات البرمجية غير الآمنة، وإساءة استخدام مترجم التعليمات البرمجية، والتنفيذ الآمن للأوامر.
الوصول إلى اللاما واستخدامها 3
بعد إطلاق ميتا أيه آي لاما 3، أُتيحت العديد من الأدوات مفتوحة المصدر للنشر المحلي على أنظمة تشغيل متنوعة، بما في ذلك ماك وويندوز ولينكس. يُفصّل هذا القسم ثلاث أدوات بارزة: أولما، وأوبن ويب يو آي، وإل إم ستوديو، حيث تُقدّم كلٌّ منها ميزات فريدة للاستفادة من إمكانيات لاما 3 على الأجهزة الشخصية.
أولاما: متوفر لأنظمة التشغيل Mac، وLinux، وWindows، أولاما يبسط تشغيل Llama 3 ونماذج اللغات الكبيرة الأخرى على أجهزة الكمبيوتر الشخصية، حتى تلك التي تحتوي على أجهزة أقل قوة. وهو يشتمل على مدير حزم لإدارة النماذج بسهولة ويدعم الأوامر عبر الأنظمة الأساسية لتنزيل النماذج وتشغيلها.
افتح WebUI باستخدام Docker: توفر هذه الأداة سهلة الاستخدام، عامل في حوض السفن-واجهة متوافقة مع أنظمة التشغيل Mac وLinux وWindows. فهو يتكامل بسلاسة مع النماذج من سجل Ollama، مما يسمح للمستخدمين بنشر نماذج مثل Llama 3 والتفاعل معها ضمن واجهة ويب محلية.
ستوديو إل إم: استهداف المستخدمين على أنظمة التشغيل Mac، وLinux، وWindows، ستوديو إل إم يدعم مجموعة من النماذج وهو مبني على مشروع llama.cpp. فهو يوفر واجهة دردشة ويسهل التفاعل المباشر مع نماذج مختلفة، بما في ذلك نموذج Llama 3 8B Instruct.
وتضمن هذه الأدوات قدرة المستخدمين على استخدام Llama 3 بكفاءة على أجهزتهم الشخصية، واستيعاب مجموعة من المهارات والمتطلبات التقنية. تقدم كل منصة عمليات خطوة بخطوة للإعداد والتفاعل مع النماذج، مما يجعل الذكاء الاصطناعي المتقدم في متناول المطورين والمتحمسين.
نشر Llama 3 على نطاق واسع
بالإضافة إلى توفير الوصول المباشر إلى أوزان النماذج، عقدت Meta شراكة مع العديد من موفري الخدمات السحابية وخدمات واجهة برمجة التطبيقات النموذجية ومنصات الأجهزة لتمكين النشر السلس لـ Llama 3 على نطاق واسع.
إحدى المزايا الرئيسية لـ Llama 3 هي تحسين كفاءة الرمز المميز، وذلك بفضل رمز الرمز المميز الجديد. تظهر المعايير أن Llama 3 يتطلب ما يصل إلى رموز أقل بنسبة 15% مقارنةً بـ Llama 2، مما يؤدي إلى استنتاج أسرع وأكثر فعالية من حيث التكلفة.
يساهم دمج انتباه الاستعلام المجمع (GQA) في الإصدار 8B من Llama 3 في الحفاظ على كفاءة الاستدلال على قدم المساواة مع الإصدار 7B من Llama 2، على الرغم من الزيادة في عدد المعلمات.
لتبسيط عملية النشر، وفرت ميتا مستودع وصفات لاما، الذي يحتوي على أكواد مفتوحة المصدر وأمثلة للضبط الدقيق والنشر وتقييم النماذج، وغيرها. يُعد هذا المستودع موردًا قيّمًا للمطورين الذين يتطلعون إلى الاستفادة من إمكانيات لاما 3 في تطبيقاتهم.
للمهتمين باستكشاف أداء لاما 3، قامت ميتا بدمج أحدث طرازاتها في ميتا إيه آي، وهو مساعد ذكاء اصطناعي رائد مُصمم بتقنية لاما 3. يمكن للمستخدمين التفاعل مع ميتا إيه آي عبر تطبيقات ميتا المختلفة، مثل فيسبوك وإنستغرام وواتساب وماسنجر والويب، لإنجاز المهام والتعلم والإبداع والتواصل مع ما يهمهم.
ما هو التالي في Llama 3؟
في حين أن الطرازين 8B و70B يمثلان بداية إصدار Llama 3، فإن Meta لديها خطط طموحة لمستقبل ماجستير إدارة الأعمال الرائد هذا.
في الأشهر المقبلة، يمكننا أن نتوقع رؤية إمكانات جديدة يتم تقديمها، بما في ذلك تعدد الوسائط (القدرة على معالجة وإنشاء طرق مختلفة للبيانات، مثل الصور ومقاطع الفيديو)، وتعدد اللغات (دعم لغات متعددة)، ونوافذ سياقية أطول بكثير لتحسين الأداء على المهام التي تتطلب سياقًا واسع النطاق.
بالإضافة إلى ذلك، تخطط Meta لإصدار أحجام أكبر للنماذج، بما في ذلك النماذج التي تحتوي على أكثر من 400 مليار معلمة، والتي هي حاليًا قيد التدريب وتظهر اتجاهات واعدة من حيث الأداء والقدرات.
ولتحقيق المزيد من التقدم في هذا المجال، ستقوم Meta أيضًا بنشر ورقة بحثية مفصلة حول Llama 3، ومشاركة نتائجها وأفكارها مع مجتمع الذكاء الاصطناعي الأوسع.
كنظرة سريعة على ما هو قادم، شاركت ميتا بعض اللقطات المبكرة لأداء أكبر نموذج LLM لديها على معايير مختلفة. مع أن هذه النتائج مبنية على نقطة تفتيش مبكرة وقابلة للتغيير، إلا أنها تُقدم لمحةً شيقة عن الإمكانات المستقبلية لـ Llama 3.
الخاتمة
تمثل Llama 3 علامة بارزة في تطور نماذج اللغات الكبيرة مفتوحة المصدر، مما يدفع حدود الأداء والقدرات وممارسات التطوير المسؤولة. بفضل بنيته المبتكرة، ومجموعة بيانات التدريب الضخمة، وتقنيات الضبط المتطورة، يضع Llama 3 معايير جديدة على أحدث طراز لـ LLMs بمقاييس المعلمات 8B و70B.
مع ذلك، يُعدّ Llama 3 أكثر من مجرد نموذج لغوي قوي؛ فهو دليل على التزام Meta بتعزيز بيئة ذكاء اصطناعي مفتوحة ومسؤولة. من خلال توفير موارد شاملة وأدوات أمان وأفضل الممارسات، تُمكّن Meta المطورين من الاستفادة القصوى من إمكانات Llama 3 مع ضمان نشر مسؤول مُصمم خصيصًا لحالات استخدامهم وفئاتهم المستهدفة.
مع استمرار رحلة Llama 3، مع الإمكانات الجديدة وأحجام النماذج ونتائج الأبحاث التي تلوح في الأفق، ينتظر مجتمع الذكاء الاصطناعي بفارغ الصبر التطبيقات والاختراقات المبتكرة التي ستظهر بلا شك من هذا البرنامج الرائد في مجال LLM.
سواء كنت باحثًا يتجاوز حدود معالجة اللغة الطبيعية، أو مطورًا يقوم ببناء الجيل القادم من التطبيقات الذكية، أو متحمسًا للذكاء الاصطناعي مهتمًا بأحدث التطورات، فإن Llama 3 يعد بأن يكون أداة قوية في ترسانتك، ويفتح أبوابًا جديدة ويفتح عالمًا من الاحتمالات.
