جيمّا: جوجل تطرح قدرات متقدمة في الذكاء الاصطناعي من خلال البرمجيات مفتوحة المصدر

حقق مجال الذكاء الاصطناعي تقدماً كبيراً في السنوات الأخيرة، ويعود الفضل في ذلك إلى حد كبير إلى التطورات في التعلم العميق والمعالجة اللغوية الطبيعية. وتتصدر هذه التطورات نماذج اللغة الكبيرة – أنظمة ذكاء اصطناعي تم تدريبها على كميات هائلة من بيانات النص التي يمكنها توليد نص شبيه بالبشر والتعامل مع المهام الحوارية.

أظهرت نماذج مثل PaLM من جوجل وClaude من Anthropic وGopher من DeepMind قدرات remarkabe، من البرمجة إلى التفكير المنطقي. ومع ذلك، لم يتم إصدار معظم هذه النماذج بشكل مفتوح، مما يحد من الوصول إليها لأغراض البحث والتطوير والتطبيقات المفيدة.

غير ذلك مع إصدار جوجل لمكتبة جيمّا – عائلة من نماذج اللغة الكبيرة من ديب مايند، والتي تعتمد على نماذج جيميني المملوكة مفتوحة المصدر. في هذه المقالة، سنغوص في جيمّا، ونتناول بنيةها، عملية التدريب، الأداء، والإصدار المسؤول.

نظرة عامة على جيمّا

في فبراير 2023، أعلنت ديب مايند عن إصدار مكتبة جيمّا مفتوحة المصدر، والتي تتضمن نموذجين بحجم 2 مليار معلمة و7 مليار معلمة، مصممين للاستخدام على الأجهزة أو الخواديم.

تستخدم جيمّا بنية متشابهة مع نماذج جيميني، وتم تدريبها على ما يصل إلى 6 تريليون رمز نصي من مستندات الويب والرياضيات والبرمجة.

أصدرت ديب مايند نقاط التحقق الأولية لجيمّا، بالإضافة إلى إصدارات محسنة باستخدام التعلم الإشرافي وتغذية الراجعة البشرية لتحسين القدرات في مجالات مثل الحوار والتعليم والبرمجة.

البدء مع جيمّا

يسمح إصدار جيمّا المفتوح للمطورين والباحثين والهواة بالوصول إلى قدرات الذكاء الاصطناعي المتقدمة. إليك دليل سريع للبدء:

توزيع منصة متعددة

تتميز جيمّا بالمرنة – يمكنك تشغيلها على معالجات 중앙ية أو معالجات الرسومات أو وحدات المعالجة التензورية. لتشغيلها على معالجات مرکزیة، استخدم تензور فلوي أو هوجينج فايس ترانسفورمرز. وللحصول على أداء معزز على معالجات الرسومات أو وحدات المعالجة التензورية، استخدم تензور فلوي.

الوصول إلى النماذج المسبقة

تأتي جيمّا بنماذج مسبقة مختلفة حسب احتياجاتك. توفر نماذج 2B و7B قدرات توليد قوية من الصندوق. لمزيد من التخصيص، فإن نماذج 2B-FT و7B-FT هي نقاط بداية مثالية.

بناء تطبيقات مثيرة

يمكنك بناء مجموعة واسعة من التطبيقات باستخدام جيمّا، مثل توليد القصص والترجمة اللغوية والإجابة على الأسئلة وإنتاج المحتوى الإبداعي. المفتاح هو الاستفادة من نقاط قوة جيمّا من خلال التخصيص على بياناتك الخاصة.

الهيكل

تستخدم جيمّا هيكلاً من نوع ديكودر فقط، بناءً على التطورات مثل الانتباه المتعدد والتعيينات الموضعية الدورانية:

• الترانسفورميرز: تم تقديم هيكل الترانسفورميرز في عام 2017، والذي يعتمد فقط على آليات الانتباه، وأصبح شائعاً في معالجة اللغة الطبيعية. ورثت جيمّا قدرة الترانسفورميرز على نمذجة الاعتماديات على المدى الطويل في النص.
• ديكودر فقط: تستخدم جيمّا فقط مكدس ديكودر الترانسفورميرز، على عكس نماذج ديكودر-إنكودر مثل BART أو T5. يوفر ذلك قدرات توليد قوية للمهام مثل توليد النص.
• انتباه متعدد: تستخدم جيمّا انتباه متعدد في نموذجها الأكبر، مما يسمح لكل رأس انتباه بمعالجة عدة استفسارات متوازية لأداء أسرع.
• التعيينات الموضعية الدورانية: تمثل جيمّا المعلومات الموضعية باستخدام تعيينات دورانية بدلاً من ترميزات الموضع المطلقة. تقوم هذه التقنية بتقليل حجم النموذج مع الحفاظ على المعلومات الموضعية.

تمكن تقنيات مثل الانتباه المتعدد والتعيينات الموضعية الدورانية من أن تصل نماذج جيمّا إلى توازن مثالي بين الأداء وسرعة الاستدلال وحجم النموذج.

البيانات وعمليات التدريب

تم تدريب جيمّا على ما يصل إلى 6 تريليون رمز نصي،主要 باللغة الإنجليزية، بما في ذلك مستندات الويب والنصوص الرياضية والبرمجة.

استثمرت ديب مايند جهوداً كبيرة في تصفية البيانات، وإزالة المحتوى السام أو الضار باستخدام تصنيفات وخطوط عريضة.

تم إجراء التدريب باستخدام بنية TPUv5 من جوجل، مع استخدام ما يصل إلى 4096 وحدة معالجة تензورية لتدريب جيمّا-7B. تمكنت تقنيات التمويل النموذجي والبيانات من تدريب النماذج الضخمة باستخدام الأجهزة التقليدية.

أداء النموذج

قامت ديب مايند بتقييم نماذج جيمّا بدقة على مجموعة واسعة من أكثر من 25 معياراً، بما في ذلك الإجابة على الأسئلة والتفكير المنطقي والرياضيات والبرمجة والتفكير الشائع والحوار.

تحقق جيمّا من نتائج مثالية مقارنة بنماذج مفتوحة المصدر مماثلة الحجم في معظم المعايير. بعض النقاط البارزة:

• الرياضيات: تتفوق جيمّا في اختبارات التفكير الرياضي مثل GSM8K وMATH، وتفوق نماذج مثل Codex وClaude من Anthropic بفارق أكثر من 10 نقاط.
• البرمجة: تتماشى جيمّا أو تتجاوز أداء Codex في معايير البرمجة مثل MBPP، على الرغم من أنها لم يتم تدريبها بشكل خاص على الكود.
• الحوار: تظهر جيمّا قدرات حوارية قوية مع نسبة فوز 51.7% على Mistral-7B من Anthropic في اختبارات التفضيل البشري.
• الاستدلال: في المهام التي تتطلب الاستدلال مثل ARC وWinogrande، تتفوق جيمّا على نماذج أخرى بحجم 7 مليار معلمة بفارق 5-10 نقاط.

تظهر قدرة جيمّا على التأقلم عبر التخصصات قدراتها القوية في الذكاء العام. على الرغم من وجود فجوات في الأداء البشري، تمثل جيمّا قفزة كبيرة في نماذج اللغة المفتوحة المصدر.

السلامة والمسؤولية

يطرح إصدار نماذج كبيرة مفتوحة المصدر تحديات حول الاستخدام المتعمد والتحيزات المتأصلة في النموذج. اتخذت ديب مايند خطوات للحد من المخاطر:

• تصفية البيانات: تم إزالة النصوص المحتملة السامة أو غير القانونية أو متحيزة من بيانات التدريب باستخدام تصنيفات وخطوط عريضة.
• التقييمات: تم اختبار جيمّا على أكثر من 30 معياراً لتقدير السلامة والعدالة والمتانة. وتجاوزت أو متتطابقة مع نماذج أخرى.
• التحسين: ركز تحسين النموذج على تحسين قدرات السلامة مثل تصفية المعلومات والسلوك المناسب للرفض.
• شروط الاستخدام: تحظر شروط الاستخدام تطبيقات جيمّا للتطبيقات المسيئة أو غير القانونية أو غير الأخلاقية. ومع ذلك، يبقى التنفيذ تحدياً.
• بطاقات النموذج: تم إصدار بطاقات توفر تفاصيل حول قدرات النموذج وlimitations والتحيزات للترويج للشفافية.

على الرغم من المخاطر المحتملة لإصدار النماذج الكبيرة مفتوحة المصدر، قررت ديب مايند أن إصدار جيمّا يوفر فوائد اجتماعية صافية بناءً على ملف السلامة والتنمية البحثية.

تمكين موجة التطور التالية في الذكاء الاصطناعي

يتمثل إصدار جيمّا كعائلة نماذج مفتوحة المصدر في فتح الطريق أمام التقدم في مجتمع الذكاء الاصطناعي:

• الوصول: تقلل جيمّا من الحواجز التي تواجه المنظمات لاستخدام نماذج اللغة المتقدمة، والتي كانت تواجه في السابق تكاليف عالية لتدريب نماذجها الخاصة.
• تطبيقات جديدة: من خلال إصدار نقاط تحقق مسبقة ومحسنة، تمكنت ديب مايند من تسهيل تطوير تطبيقات مفيدة في مجالات مثل التعليم والعلوم والوصول.
• التخصيص: يمكن للمطورين تخصيص جيمّا لمجالات أو تطبيقات محددة من خلال الاستمرار في التدريب على بيانات خاصة.
• البحث: تعزز النماذج المفتوحة مثل جيمّا الشفافية والتدقيق في أنظمة معالجة اللغة الحالية، مما يthrown الضوء على اتجاهات البحث المستقبلية.
• الابتكار: ستسهم توفر نماذج قوية مثل جيمّا في تسريع التقدم في مجالات مثل تحديد الانحياز وصدق الحقائق وأمان الذكاء الاصطناعي.

من خلال توفير قدرات جيمّا للجميع من خلال الإصدار المفتوح، تهدف ديب مايند إلى تحفيز التطوير المسؤول للذكاء الاصطناعي من أجل الخير الاجتماعي.

الطريق أمامنا

مع كل تقدم في الذكاء الاصطناعي، نقترب من نماذج تتفوق أو تتجاوز الذكاء البشري في جميع المجالات. وتشير أنظمة مثل جيمّا إلى كيفية تقدم النماذج ذاتية التعلم في فتح قدرات认رفية متقدمة.

然而، لا تزال هناك أعمال لتحسين الموثوقية والفهم والسيطرة على الذكاء الاصطناعي – مجالات يتفوق فيها الذكاء البشري هنوز. وتبرز المجالات مثل الرياضيات هذه الفجوات المستمرة، حيث تحقق جيمّا 64% في MMLU مقارنة بالتقديرات البشرية البالغة 89%.

سيتمثل إغلاق هذه الفجوات مع ضمان سلامة وأخلاقيات أنظمة الذكاء الاصطناعي المتزايدة القدرة في التحديات الرئيسية في المستقبل. سيكون العثور على التوازن الصحيح بين الانفتاح والحذر حاسماً، حيث تهدف ديب مايند إلى ديمقراطية الوصول إلى فوائد الذكاء الاصطناعي مع إدارة المخاطر الناشئة.

تُظهر مبادرات مثل ANC من Dario Amodei وفرق الأخلاقيات والمجتمع في ديب مايند وConstitutional AI من Anthropic التزايد في الاعتراف بهذه الحاجة إلى دقة. ستتطلب التقدم المهم حواراً مفتوحاً ومدعوماً بالدليل بين الباحثين والمطورين والمنظمين والمجتمع.

إذا تم التحرك به مسؤولية، تمثل جيمّا ليس القمة ولكن قاعدة لجبل التطور التالي للباحثين في الذكاء الاصطناعي الذين يتبعون خطى ديب مايند نحو الذكاء الاصطناعي العام المنصف.

الختام

ي tượng إصدار ديب مايند لجيمّا إلى حقبة جديدة للذكاء الاصطناعي مفتوح المصدر – واحدة تتجاوز المعايير الضيقة إلى قدرات الذكاء العام. تم اختبار جيمّا على نطاق واسع من أجل السلامة وتم إتاحتها على نطاق واسع، مما يضع معياراً جديداً للإصدار المسؤول في الذكاء الاصطناعي.

دفع الروح التنافسية بالتعاون مع القيم التعاونية إلى مشاركة الابتكارات مثل جيمّا، مما رفع جميع القوارب في مجتمع الذكاء الاصطناعي. 이제 يمكن للجميع الوصول إلى عائلة نماذج اللغة المتعددة لتشغيل أو دعم مبادراتهم.

على الرغم من المخاطر المتبقية، توفر الحذر الفني والأخلاقي لدیب مايند الثقة في أن فوائد جيمّا تتفوق على المخاطر المحتملة. مع نمو قدرات الذكاء الاصطناعي، سيظل الحفاظ على هذه الدقة بين الانفتاح والحذر حاسماً.

تقرب جيمّا منا خطوة واحدة إلى الذكاء الاصطناعي الذي يفيد الإنسانية جمعاء. ومع ذلك، لا تزال هناك تحديات كبيرة في طريق الذكاء الاصطناعي العام الخير. إذا استمر الباحثون والمطورون والمجتمع في التقدم التعاوني، قد تُعتبر جيمّا في يوم ما قاعدة تاريخية، وليس القمة النهائية.