كشف النقاب عن ميتا لاما 3: قفزة إلى الأمام في نماذج اللغة الكبيرة

في مجال الذكاء الاصطناعي التوليدي، تواصل ميتا قيادتها من خلال التزامها بتوافر المصادر المفتوحة، حيث توزع نماذج اللغة الكبيرة المتقدمة (Llama) على مستوى العالم على المطورين والباحثين. بناءً على مبادراتها التقدمية، أعلنت ميتا مؤخرًا عن الإصدار الثالث من هذه السلسلة، لاما 3. هذا الإصدار الجديد يحسن بشكل كبير من لاما 2، ويوفر العديد من التحسينات ويوفر معايير جديدة ت挑ى منافسي الصناعة مثل جوجل وميستال وآنتروبك. هذا المقال يستكشف التطورات الكبيرة في لاما 3 وكيفية مقارنتها بسلفها لاما 2.

سلسلة لاما من ميتا: من الحصري إلى الوصول المفتوح وتحسين الأداء

بدأت ميتا سلسلة لاما في عام 2022 مع إطلاق لاما 1، وهو نموذج مقيد للاستخدام غير التجاري ومتاح فقط لمؤسسات البحث المختارة بسبب الطلبات الحاسوبية الهائلة وطبيعته المملوكة في ذلك الوقت. في عام 2023، مع إطلاق لاما 2، تحولت ميتا آي إلى المزيد من الانفتاح، حيث قدمت النموذج مجانًا لأغراض البحث والتجارية. كان هذا التحرك يهدف إلى تعميم الوصول إلى تقنيات الذكاء الاصطناعي التوليدي المتقدمة، مما يسمح لمستخدمين أوسع، بما في ذلك الشركات الناشئة وأفرقة البحث الصغيرة، بالابتكار وتطوير التطبيقات دون التكاليف العالية المرتبطة عادةً بالنماذج الكبيرة. تواصل ميتا هذا الاتجاه نحو الانفتاح مع إطلاق لاما 3، الذي يركز على تحسين أداء النماذج الصغيرة عبر مختلف المعايير الصناعية.

تقديم لاما 3

لاما 3 هو الجيل الثاني من نماذج اللغة الكبيرة المفتوحة المصدر من ميتا، ويتميز بنماذج مسبقة التدريب ومحسنة الإرشاد مع 8 مليار و70 مليار معامل. على غرار سلافه، يستخدم لاما 3 هيكل محول فحسب هيكل محول ويستمر في ممارسة التدريب الذاتي التدريب الذاتي لتوقع الرموز التالية في تسلسلات النص. لاما 3 تم تدريبه على مجموعة بيانات أكبر سبع مرات من تلك المستخدمة لاما 2، وتضم أكثر من 15 تريليون رمز من مزيج جديد من البيانات المتاحة علنًا على الإنترنت. يتم معالجة هذه المجموعة الضخمة من البيانات باستخدام两个 مجاميع مجهزة ب 24,000 وحدة معالجة رسومات. للحفاظ على جودة عالية لهذه البيانات التدريبية، تم استخدام مجموعة متنوعة من تقنيات الذكاء الاصطناعي الموجهة بالبيانات، بما في ذلك المرشحات العشوائية ومرشحات NSFW والاستلال الدلالي وتصنيف جودة النص. تم تحسين نموذج لاما 3 الإرشادي بشكل كبير ليتناسب مع تطبيقات الحوار، وتم تضمين أكثر من 10 ملايين نموذج بيانات مصنفة من قبل البشر وتم استخدامه مع مزيج متقدم من أساليب التدريب مثل التدريب الخاضع للإشراف (SFT) ورفض العينة وتحسين السياسة القريب (PPO) وتحسين السياسة المباشر (DPO).

لاما 3 مقابل لاما 2: التحسينات الرئيسية

يحمل لاما 3 عدة تحسينات على لاما 2، مما يزيد بشكل كبير من وظيفته وأدائه:

• المعجم الموسع: يمتلك لاما 3 معجمًا موسعًا يصل إلى 128,256 رمز، مقارنة بـ 32,000 رمز في لاما 2. هذا التحسين يدعم التشفير النصي الأكثر كفاءة للمدخلات والمخرجات ويعزز القدرات متعددة اللغات.
• طول السياق الممتد: توفر نماذج لاما 3 طول سياق يصل إلى 8,000 رمز، وهو ضعف 4,090 رمز الذي يدعمه لاما 2. يسمح هذا الزيادة بمعالجة المحتوى الأكثر شمولاً، بما في ذلك كل من استجابات المستخدم ورسائل النموذج.
• بيانات التدريب المحسنة: مجموعة بيانات التدريب لاما 3 هي سبع مرات أكبر من تلك المستخدمة في لاما 2، وتشمل أربعة أضعاف المزيد من الشفرة. تحتوي على أكثر من 5% من البيانات عالية الجودة غير الإنجليزية التي تغطي أكثر من 30 لغة، وهو ما يعتبر حاسمًا لدعم التطبيقات متعددة اللغات. يتم معالجة هذه البيانات بتقنيات متقدمة مثل المرشحات العشوائية ومرشحات NSFW والاستلال الدلالي والتصنيف النصي.
• تحسين الإرشاد والتقييم: يختلف لاما 3 عن لاما 2 في استخدام تقنيات إرشاد متقدمة، بما في ذلك التدريب الخاضع للإشراف (SFT) ورفض العينة وتحسين السياسة القريب (PPO) وتحسين السياسة المباشر (DPO). لتكملة هذه العملية، تم تقديم مجموعة تقييم إنساني جديدة عالية الجودة، تتكون من 1,800 سؤال تغطي حالات استخدام متنوعة مثل النصيحة والتفكير الإبداعي والتصنيف والبرمجة وغيرها، مما يضمن تقييمًا وضبطًا شاملاً لقدرات النموذج.
• سلامة الذكاء الاصطناعي المتقدمة: يدمج لاما 3، مثل لاما 2، إجراءات سلامة صارمة مثل الإرشاد المتقن والتقييم الشامل لتخفيف المخاطر، خاصة في المجالات الحرجة مثل الأمن السيبراني والتهديدات البيولوجية. لدعم هذه الجهود، قدمت ميتا أيضًا لاما جارد 2، الذي تم تحسينه على إصدار 8 مليار معامل من لاما 3. هذا النموذج الجديد يعزز سلسلة لاما جارد من خلال تصنيف مدخلات ومخرجات النماذج اللغوية الكبيرة لتحديد المحتوى المحتمل غير الآمن، مما يجعله مثاليًا للبيئات الإنتاجية.

توافر لاما 3

تم دمج نماذج لاما 3 الآن في نظام هوجينغ فايس، مما يعزز إمكانية الوصول للمطورين. النماذج متاحة أيضًا من خلال منصات الخدمة كنموذج مثل بيربلكسيتي لابس وفايروركس.اي، وعلى منصات السحابة مثل أمازون ساجيميكر وأزور إم إل وفيرتكس إيه آي. تخطط ميتا لتوسيع توافر لاما 3 بشكل أكبر، بما في ذلك منصات مثل جوجل كلاود وكاغل وآي بي إم واتسون إكس وإنفيديا إن آي إم وسنوفليك. بالإضافة إلى ذلك، سيتم توسيع دعم الأجهزة لламا 3 ليشمل منصات من إيه إم دي وأمازون وأو إس وإن_tel وإنفيديا وكوالكوم.

التحسينات القادمة في لاما 3

كشفت ميتا عن أن الإصدار الحالي من لاما 3 هو مجرد المرحلة الأولى في رؤيتها الأوسع لنماذج لاما 3 الكاملة. يتم تطوير نموذج متقدم يحتوي على أكثر من 400 مليار معامل، والذي سيدخل ميزات جديدة، بما في ذلك التعددية و القدرة على التعامل مع لغات متعددة. سيتضمن هذا الإصدار أيضًا نافذة سياق موسعة بشكل كبير وقدرات أداء محسنة.

الخلاصة

يعد لاما 3 من ميتا تطورًا كبيرًا في مجال نماذج اللغة الكبيرة، حيث يدفع السلسلة ليس فقط نحو المزيد من الوصول المفتوح المصدر ولكن أيضًا يعزز بشكل كبير من قدرات الأداء. مع مجموعة بيانات التدريب التي تبلغ سبع مرات أكبر من سلفه وميزات مثل المعجم الموسع وطول السياق الأطول، يضع لاما 3 معايير جديدة تتحدي حتى أقوى منافسي الصناعة.

يستمر هذا الإصدار الثالث ليس فقط في تعميم تقنيات الذكاء الاصطناعي من خلال جعل القدرات العالية متاحة لمطوري أوسع نطاقًا، ولكن أيضًا يقدم تطورات كبيرة في السلامة ودقة التدريب. من خلال دمج هذه النماذج في منصات مثل هوجينغ فايس وتوسيع التوافر من خلال خدمات السحابة الرئيسية، تضمن ميتا أن لاما 3 ليس فقط شائعًا ولكن أيضًا قويًا.

في المستقبل، وعدت ميتا بالمزيد من القدرات القوية، بما في ذلك التعددية ودعم اللغة الموسع، مما يضع لاما 3 في موقع يسمح لها بالمنافسة مع النماذج الكبيرة الأخرى في السوق، بل وقد تتجاوزها. لاما 3 هي شهادة على التزام ميتا بقيادة ثورة الذكاء الاصطناعي، حيث توفر أدوات لا تتميز فقط بالوصول الأوسع ولكن أيضًا بالأداء المتقدم والسلامة للأشخاص في جميع أنحاء العالم.