أفضل 5 درجات LLM مفتوحة المصدر (مايو 2024)

في عالم الذكاء الاصطناعي سريع التطور (AI) ، برزت نماذج اللغات الكبيرة (LLMs) كحجر زاوية يقود الابتكارات ويعيد تشكيل الطريقة التي نتفاعل بها مع التكنولوجيا.

مع تزايد تعقيد هذه النماذج ، هناك تركيز متزايد على إضفاء الطابع الديمقراطي على الوصول إليها. تلعب نماذج المصادر المفتوحة ، على وجه الخصوص ، دورًا محوريًا في هذا التحول الديمقراطي ، حيث تقدم للباحثين والمطورين والمتحمسين على حد سواء الفرصة للتعمق في تعقيداتهم ، أو ضبطها لأداء مهام محددة ، أو حتى البناء على أسسهم.

في هذه المدونة ، سنستكشف بعضًا من أفضل LLMs مفتوحة المصدر التي تحدث موجات في مجتمع الذكاء الاصطناعي ، كل منها يجلب نقاط قوته وقدراته الفريدة إلى الطاولة.

1. اللاما 2

تعد Meta's Llama 2 إضافة رائدة إلى تشكيلة نماذج الذكاء الاصطناعي الخاصة بهم. هذا ليس مجرد نموذج آخر. إنه مصمم لتشغيل مجموعة من أحدث التطبيقات. بيانات تدريب Llama 2 واسعة ومتنوعة ، مما يجعلها تقدمًا كبيرًا عن سابقتها. يضمن هذا التنوع في التدريب أن Llama 2 ليس مجرد تحسين تدريجي ولكنه خطوة هائلة نحو مستقبل التفاعلات التي يحركها الذكاء الاصطناعي.

لقد أدى التعاون بين Meta و Microsoft إلى توسيع آفاق Llama 2. أصبح نموذج المصدر المفتوح مدعومًا الآن على منصات مثل Azure و Windows ، بهدف تزويد المطورين والمؤسسات بالأدوات اللازمة لإنشاء تجارب قائمة على الذكاء الاصطناعي. تؤكد هذه الشراكة على التزام الشركتين بجعل الذكاء الاصطناعي أكثر سهولة وانفتاحًا على الجميع.

Llama 2 ليست مجرد خليفة لنموذج Llama الأصلي ؛ إنه يمثل نقلة نوعية في ساحة chatbot. بينما كان نموذج اللاما الأول ثوريًا في إنشاء النص والرمز ، كان توفره محدودًا لمنع سوء الاستخدام. من ناحية أخرى ، تم تعيين Llama 2 للوصول إلى جمهور أوسع. تم تحسينه لمنصات مثل AWS و Azure و Hugging Face لمنصة استضافة نموذج AI. علاوة على ذلك ، من خلال تعاون Meta مع Microsoft ، تستعد Llama 2 لترك بصمتها ليس فقط على Windows ولكن أيضًا على الأجهزة التي تعمل بنظام Qualcomm's Snapdragon على الرقاقة.

السلامة هي جوهر تصميم Llama 2. إدراكًا للتحديات التي واجهتها نماذج اللغة الكبيرة السابقة مثل GPT ، والتي أنتجت أحيانًا محتوى مضللًا أو ضارًا ، اتخذت Meta تدابير مكثفة لضمان موثوقية Llama 2. خضع النموذج لتدريب صارم لتقليل "الهلوسة" والمعلومات المضللة والتحيزات.

أهم ميزات LLaMa 2:

• بيانات التدريب المتنوعة: بيانات تدريب Llama 2 واسعة ومتنوعة ، مما يضمن فهمًا وأداءً شاملين.
• التعاون مع Microsoft: يتم دعم Llama 2 على أنظمة أساسية مثل Azure و Windows ، مما يوسع نطاق تطبيقه.
• التوفر المفتوح: على عكس سابقتها ، فإن Llama 2 متاح لجمهور أوسع ، وجاهز للضبط الدقيق على منصات متعددة.
• تصميم يركز على السلامة: أكدت Meta على السلامة ، مما يضمن أن ينتج Llama 2 نتائج دقيقة وموثوقة مع تقليل المخرجات الضارة.
• الإصدارات المحسنة: يأتي Llama 2 في نسختين رئيسيتين - Llama 2 و Llama 2-Chat ، حيث تم تصميم الأخير خصيصًا للمحادثات ثنائية الاتجاه. تتراوح هذه الإصدارات في التعقيد من 7 مليار إلى 70 مليار معلمة.
• التدريب المعزز: تم تدريب Llama 2 على مليوني رمز ، وهي زيادة كبيرة عن عملة Llama الأصلية البالغة 1.4 تريليون.

2. إزهار

في عام 2022، وبعد جهد تعاوني عالمي شارك فيه متطوعين من أكثر من 70 دولة وخبراء من Hugging Face، تم الكشف عن مشروع BLOOM. تم تصميم نموذج اللغة الكبير هذا (LLM)، الذي تم إنشاؤه من خلال مبادرة مدتها عام، لإنشاء نص انحداري تلقائي، قادر على توسيع موجه نصي معين. تم تدريبه على مجموعة ضخمة من البيانات النصية باستخدام قوة حسابية كبيرة.

كان ظهور BLOOM لأول مرة خطوة مهمة في جعل تكنولوجيا الذكاء الاصطناعي التوليدية أكثر سهولة. وباعتبارها شهادة LLM مفتوحة المصدر، فهي تضم 176 مليار معلمة، مما يجعلها واحدة من أقوى البرامج في فئتها. تتمتع BLOOM بالكفاءة في إنشاء نص متماسك ودقيق عبر 46 لغة و13 لغة برمجة.

يؤكد المشروع على الشفافية، مما يسمح للجمهور بالوصول إلى كود المصدر وبيانات التدريب. ويدعو هذا الانفتاح إلى الفحص المستمر للنموذج واستخدامه وتعزيزه.

يمكن الوصول إلى BLOOM دون أي تكلفة من خلال منصة Hugging Face، وهو بمثابة شهادة على الابتكار التعاوني في مجال الذكاء الاصطناعي.

أهم مميزات بلوم:

• قدرات متعددة اللغات: تتقن شركة BLOOM إنتاج النصوص بـ 46 لغة و13 لغة برمجة، مما يعرض نطاقها اللغوي الواسع.
• الوصول مفتوح المصدر: الكود المصدري للنموذج وبيانات التدريب متاحة للعامة، مما يعزز الشفافية والتحسين التعاوني.
• إنشاء نص الانحدار التلقائي: تم تصميم BLOOM لمواصلة النص من موجه معين، وهو يتفوق في توسيع واستكمال تسلسلات النص.
• عدد المعلمات الهائل: مع 176 مليار معلمة، تعد BLOOM واحدة من أقوى برامج LLM مفتوحة المصدر الموجودة.
• التعاون العالمي: تم تطويره من خلال مشروع مدته عام كامل بمساهمات من متطوعين من أكثر من 70 دولة وباحثين في Hugging Face.
• الوصول المجاني: يمكن للمستخدمين الوصول إلى BLOOM والاستفادة منه مجانًا من خلال النظام البيئي Hugging Face، مما يعزز إضفاء الطابع الديمقراطي عليه في مجال الذكاء الاصطناعي.
• التدريب على المستوى الصناعي: تم تدريب النموذج على كميات هائلة من البيانات النصية باستخدام موارد حسابية كبيرة، مما يضمن أداءً قويًا.

3. إم بي تي-7ب

قدمت MosaicML Foundations مساهمة كبيرة في هذا المجال من خلال إدخال MPT-7B ، أحدث ماجستير مفتوح المصدر من LLM. MPT-7B ، اختصار لمحول MosaicML Pretrained ، هو نموذج محول GPT على غرار وحدة فك التشفير فقط. يتميز هذا النموذج بالعديد من التحسينات ، بما في ذلك تطبيقات الطبقة المحسّنة للأداء والتغييرات الهيكلية التي تضمن قدرًا أكبر من الاستقرار في التدريب.

الميزة البارزة لـ MPT-7B هي تدريبها على مجموعة بيانات شاملة تضم 1 تريليون رمزًا نصيًا ورمزًا. تم تنفيذ هذا التدريب الصارم على منصة MosaicML على مدى 9.5 أيام.

تجعل الطبيعة مفتوحة المصدر لـ MPT-7B أداة قيمة للتطبيقات التجارية. لديها القدرة على التأثير بشكل كبير على التحليلات التنبؤية وعمليات صنع القرار للشركات والمؤسسات.

بالإضافة إلى النموذج الأساسي ، تطلق MosaicML Foundations أيضًا نماذج متخصصة مصممة لمهام محددة ، مثل MPT-7B-Instruct للتعليمات القصيرة التالية ، و MPT-7B-Chat لتوليد الحوار ، و MPT-7B-StoryWriter-65k + لإنشاء قصة طويلة.

كانت رحلة تطوير MPT-7B شاملة ، حيث قام فريق MosaicML بإدارة جميع المراحل من إعداد البيانات إلى النشر في غضون أسابيع قليلة. تم الحصول على البيانات من مستودعات متنوعة ، واستخدم الفريق أدوات مثل GPT-NeoX من EleutherAI و 20B tokenizer لضمان مزيج تدريب متنوع وشامل.

نظرة عامة على الميزات الرئيسية لـ MPT-7B:

• الترخيص التجاري: تم ترخيص MPT-7B للاستخدام التجاري ، مما يجعلها أحد الأصول القيمة للشركات.
• بيانات تدريب مكثفة: يفتخر النموذج بالتدريب على مجموعة بيانات ضخمة من 1 تريليون رمز.
• معالجة المدخلات الطويلة: تم تصميم MPT-7B لمعالجة المدخلات الطويلة للغاية دون المساومة.
• السرعة والكفاءة: تم تحسين النموذج للتدريب والاستدلال السريع ، مما يضمن النتائج في الوقت المناسب.
• كود مفتوح المصدر: يأتي MPT-7B مزودًا بكود تدريب فعال مفتوح المصدر ، مما يعزز الشفافية وسهولة الاستخدام.
• التميز المقارن: أظهر MPT-7B تفوقًا على الطرز مفتوحة المصدر الأخرى في نطاق 7B-20B ، بجودة تطابق جودة LLaMA-7B.

4. صقر

Falcon LLM ، هو نموذج صعد بسرعة إلى قمة هرم LLM. Falcon LLM ، وتحديداً Falcon-40B ، هو LLM تأسيسي مجهز بـ 40 مليار معلمة وقد تم تدريبه على تريليون توكن مثير للإعجاب. إنه يعمل كنموذج لوحدة فك ترميز ذاتي الانحدار فقط ، مما يعني أنه يتنبأ بالرمز المميز اللاحق في تسلسل بناءً على الرموز المميزة السابقة. تذكرنا هذه البنية بنموذج GPT. والجدير بالذكر أن هندسة Falcon قد أظهرت أداءً متفوقًا على GPT-3 ، حيث حققت هذا الإنجاز بنسبة 75٪ فقط من ميزانية حساب التدريب وتتطلب قدرًا أقل بكثير من الحوسبة أثناء الاستدلال.

ركز الفريق في معهد الابتكار التكنولوجي بشدة على جودة البيانات أثناء تطوير فالكون. إدراكًا لحساسية LLMs لجودة بيانات التدريب ، قاموا ببناء خط أنابيب بيانات تم توسيعه ليشمل عشرات الآلاف من نوى وحدة المعالجة المركزية. سمح ذلك بمعالجة سريعة واستخراج محتوى عالي الجودة من الويب ، وذلك من خلال عمليات التصفية الشاملة وإلغاء البيانات المكررة.

بالإضافة إلى Falcon-40B ، قدمت TII أيضًا إصدارات أخرى ، بما في ذلك Falcon-7B ، التي تمتلك 7 مليارات معلمة وتم تدريبها على 1,500 مليار رمز. هناك أيضًا نماذج متخصصة مثل Falcon-40B-Instruct و Falcon-7B-Instruct ، المصممة خصيصًا لمهام محددة.

كان تدريب Falcon-40B عملية واسعة النطاق. تم تدريب النموذج على مجموعة بيانات RefinedWeb ، وهي مجموعة بيانات ويب إنجليزية ضخمة أنشأها معهد دراسات الترجمة. تم إنشاء مجموعة البيانات هذه فوق CommonCrawl وخضعت لفلترة صارمة لضمان الجودة. بمجرد إعداد النموذج ، تم التحقق من صحته مقابل العديد من المعايير مفتوحة المصدر ، بما في ذلك EAI Harness و HELM و BigBench.

نظرة عامة على الميزات الرئيسية لـ Falcon LLM:

• معلمات واسعة النطاق: تم تجهيز Falcon-40B بـ 40 مليار معلمة ، مما يضمن التعلم والأداء الشاملين.
• نموذج مفكك الانحدار التلقائي فقط: تسمح هذه البنية لشركة Falcon بالتنبؤ بالرموز اللاحقة بناءً على الرموز السابقة ، على غرار نموذج GPT.
• أداء خارق: يتفوق Falcon على GPT-3 بينما يستخدم 75٪ فقط من ميزانية حساب التدريب.
• خط أنابيب بيانات عالي الجودة: يضمن خط أنابيب بيانات TII استخراج محتوى عالي الجودة من الويب ، وهو أمر بالغ الأهمية لتدريب النموذج.
• مجموعة متنوعة من النماذج: بالإضافة إلى Falcon-40B ، تقدم شركة TII Falcon-7B ونماذج متخصصة مثل Falcon-40B-Instruct و Falcon-7B-Instruct.
• توفر المصدر المفتوح: إن Falcon LLM مفتوحة المصدر ، مما يعزز إمكانية الوصول والشمولية في مجال الذكاء الاصطناعي.

5. فيكونا-13 ب

حققت LMSYS ORG علامة بارزة في مجال LLMs مفتوحة المصدر مع إدخال Vicuna-13B. تم تدريب روبوت المحادثة مفتوح المصدر هذا بدقة من خلال ضبط LLaMA على المحادثات التي يشاركها المستخدم والتي يتم الحصول عليها من ShareGPT. تشير التقييمات الأولية ، مع تعيين GPT-4 للحكم ، إلى أن Vicuna-13B تحقق جودة تزيد عن 90٪ من الموديلات الشهيرة مثل OpenAI ChatGPT و Google Bard.

بشكل مثير للإعجاب ، يتفوق Vicuna-13B على النماذج البارزة الأخرى مثل LLaMA و Stanford Alpaca في أكثر من 90٪ من الحالات. تم تنفيذ عملية التدريب بأكملها لـ Vicuna-13B بتكلفة حوالي 300 دولار. للراغبين في استكشاف قدراته ، تم إتاحة الكود والأوزان والعرض التوضيحي عبر الإنترنت للجمهور لأغراض غير تجارية.

تم ضبط نموذج Vicuna-13B بدقة باستخدام 70 ألفًا من محادثات ChatGPT التي يشاركها المستخدم ، مما يتيح لها إنشاء استجابات أكثر تفصيلاً وتنظيمًا جيدًا. جودة هذه الردود يمكن مقارنتها بـ ChatGPT. ومع ذلك ، فإن تقييم روبوتات المحادثة هو مسعى معقد. مع التقدم في GPT-4 ، هناك فضول متزايد حول قدرتها على العمل كإطار تقييم آلي لتوليد المعايير وتقييمات الأداء. تشير النتائج الأولية إلى أن GPT-4 يمكن أن ينتج رتبًا متسقة وتقييمات مفصلة عند مقارنة استجابات chatbot. تُظهر التقييمات الأولية المستندة إلى GPT-4 أن Vicuna تحقق قدرة 90٪ لنماذج مثل Bard / ChatGPT.

نظرة عامة على الميزات الرئيسية لـ Vicuna-13B:

• طبيعة مفتوحة المصدر: Vicuna-13B متاح للوصول العام ، وتعزيز الشفافية ومشاركة المجتمع.
• بيانات تدريب مكثفة: تم تدريب النموذج على 70 ألفًا من المحادثات التي يشاركها المستخدم ، مما يضمن فهمًا شاملاً للتفاعلات المتنوعة.
• أداء تنافسي: يتساوى أداء Vicuna-13B مع رواد الصناعة مثل ChatGPT و Google Bard.
• تدريب فعال من حيث التكلفة: تم تنفيذ عملية التدريب بأكملها لـ Vicuna-13B بتكلفة منخفضة تبلغ حوالي 300 دولار.
• ضبط دقيق على LLaMA: تم ضبط النموذج بدقة على LLaMA ، مما يضمن تحسين الأداء وجودة الاستجابة.
• توفر العرض التوضيحي عبر الإنترنت: يتوفر عرض تجريبي تفاعلي عبر الإنترنت للمستخدمين لاختبار وتجربة قدرات Vicuna-13B.

العالم المتوسع لنماذج اللغات الكبيرة

إن عالم النماذج اللغوية الكبيرة واسع ومتزايد باستمرار ، حيث يدفع كل نموذج جديد حدود ما هو ممكن. لا تُظهر الطبيعة مفتوحة المصدر لـ LLMs التي تمت مناقشتها في هذه المدونة الروح التعاونية لمجتمع الذكاء الاصطناعي فحسب ، بل تمهد أيضًا الطريق للابتكارات المستقبلية.

تمثل هذه النماذج ، بدءًا من إمكانات روبوت الدردشة المذهلة في Vicuna إلى مقاييس الأداء الفائقة لشركة Falcon ، قمة تقنية LLM الحالية. مع استمرارنا في مشاهدة التطورات السريعة في هذا المجال ، من الواضح أن النماذج مفتوحة المصدر ستلعب دورًا مهمًا في تشكيل مستقبل الذكاء الاصطناعي.

سواء كنت باحثًا متمرسًا ، أو متحمسًا للذكاء الاصطناعي ناشئًا ، أو شخصًا مهتمًا بإمكانيات هذه النماذج ، فلا يوجد وقت أفضل للغوص في الفرص الهائلة التي توفرها هذه النماذج واستكشافها.