كشف النقاب عن النماذج متعددة التعامل الكبيرة: تشكيل مشهد نماذج اللغة في 2024

عندما نختبر العالم، توفر حواسنا (الرؤية، الأصوات، الروائح) مجموعة متنوعة من المعلومات، ونعبر عن أنفسنا باستخدام طرق اتصال مختلفة، مثل التعبيرات الوجهية والحركات. هذه الحواس وطرق الاتصال تعرف مجتمعة باسم التعاملات، وتعكس الطرق المختلفة التي ندرك ونتواصل من خلالها. مستوحى من هذه القدرة البشرية، النماذج متعددة التعامل الكبيرة (LMM)، وهي مزيج من الذكاء الاصطناعي التوليدي والذكاء الاصطناعي متعددة التعامل، يتم تطويرها لفهم وإنتاج المحتوى باستخدام أنواع مختلفة مثل النص والصور والصوت. في هذا المقال، نغوص في هذا المجال الناشئ، مستكشفين ما هي LMMs (النماذج متعددة التعامل الكبيرة) وكيف يتم بناؤها، والأمثلة الحالية، والتحديات التي تواجهها، والتطبيقات المحتملة.

تطور الذكاء الاصطناعي التوليدي في 2024: من نماذج اللغة الكبيرة إلى نماذج متعددة التعامل الكبيرة

في تقريرها الأخير، مكينزي أعلنت أن 2023 هو عام انطلاق للذكاء الاصطناعي التوليدي، مما أدى إلى العديد من التقدم في هذا المجال. لقد شهدنا ارتفاعًا ملحوظًا في انتشار نماذج اللغة الكبيرة (LLMs) التي تتقن فهم اللغة البشرية وتوليدها. بالإضافة إلى ذلك، نماذج توليد الصور تطورت بشكل كبير، وأثبتت قدرتها على إنشاء صور من النصوص. ومع ذلك، على الرغم من التقدم الكبير في التعاملات الفردية مثل النص أو الصور أو الصوت، واجه الذكاء الاصطناعي التوليدي تحديات في الجمع السلس بين هذه التعاملات في عملية التوليد.既然 العالم يعتمد بشكل كبير على التعاملات المتعددة، فمن المهم للذكاء الاصطناعي أن يتعامل مع المعلومات المتعددة التعاملات. هذا ضروري للتفاعل المهم مع البشر والعمل الناجح في السيناريوهات الواقعية.

نتيجة لذلك، يتوقع العديد من الباحثين في مجال الذكاء الاصطناعي ظهور LMMs كالجبهة التالية في البحث والتطوير في 2024. تركز هذه الجبهة المتطورة على تعزيز قدرة الذكاء الاصطناعي التوليدي على معالجة وإنتاج مخرجات متنوعة، تشمل النص والصور والصوت والفيديو والتعاملات الأخرى. من المهم التأكيد على أن ليس جميع الأنظمة المتعددة التعاملات تصلح كـ LMMs. النماذج مثل Midjourney وStable Diffusion، على الرغم من كونها متعددة التعاملات، لا تتناسب مع فئة LMMs بشكل رئيسي بسبب عدم وجود LLMs، والتي هي مكون أساسي من LMMs. بعبارة أخرى، يمكن وصف LMMs كتوسيع لLLMs، مما يمنحهم القدرة على التعامل بفعالية مع التعاملات المختلفة.

كيف تعمل LMMs؟

على الرغم من أن الباحثين قد استكشفوا طرق مختلفة لبناء LMMs، إلا أنها عادة ما تتضمن ثلاثة مكونات وأعمال أساسية. أولًا، يتم استخدام المُشَفِّرات لكل تعاملية لإنشاء تمثيلات البيانات (المعروفة باسم التضمين) الخاصة بذلك التعامل. ثانيًا، يتم استخدام آليات مختلفة لتركيب التضمين من التعاملات المختلفة في مساحة تضمين متعددة التعاملات موحدة. ثالثًا، بالنسبة للنماذج التوليدية، يتم استخدام LLMs لتوليد استجابات نصية. نظرًا لأن المدخلات قد تتكون من نصوص وصور وفیديوهات وأصوات، يعمل الباحثون على طرق جديدة لجعل نماذج اللغة تأخذ في الاعتبار التعاملات المختلفة عند إعطاء الاستجابات.

تطوير LMMs في 2023

أدناه، قمت بتحديد بعض النماذج البارزة LMMs التي تم تطويرها في 2023.

• LLaVA هي نموذج LMM مفتوح المصدر، تم تطويره بشكل مشترك من قبل جامعة ويسكونسن-ماديسون، ومايكروسوفت ريسيرتش، وجامعة كولومبيا. يهدف النموذج إلى تقديم نسخة مفتوحة المصدر من GPT4 متعددة التعاملات. باستخدام Meta’s Llama LLM، يتضمن CLIP المُشَفِّر البصري للاستيعاب البصري القوي. الإصدار الموجه للرعاية الصحية من LLaVA، والمسمى LLaVA-Med، يمكنه الإجابة على الاستفسارات المتعلقة بالصور الطبية الحيوية.
• ImageBind هي نموذج مفتوح المصدر تم إنشاؤه بواسطة Meta، يقلد القدرة البشرية على ربط البيانات المتعددة التعاملات. يدمج النموذج ست تعاملات – النص والصور/الفيديوهات، والصوت، وقياسات ثلاثية الأبعاد، وبيانات درجة الحرارة، وبيانات الحركة – لتعلم تمثيل موحد عبر هذه الأنواع المختلفة من البيانات. يمكن لـ ImageBind ربط الأشياء في الصور مع السمات مثل الصوت والأشكال ثلاثية الأبعاد ودرجة الحرارة والحركة. يمكن استخدام النموذج، على سبيل المثال، لإنشاء مشهد من النص أو الأصوات.
• SeamlessM4T هو نموذج متعددة التعاملات تم تصميمه بواسطة Meta لدعم التواصل بين المجتمعات متعددة اللغات. يمتاز SeamlessM4T بمهاراته في المهام الترجمة والترجمة النصية، ودعمه للترجمة الكلامية إلى الكلام، والترجمة النصية إلى النص، والترجمة النصية إلى الكلام. يستخدم النموذج محول نصي غير تكراري لتنفيذ هذه الترجمات. الإصدار المتقدم، SeamlessM4T v2، يشكل الأساس لنماذج مثل SeamlessExpressive وSeamlessStreaming، مع التركيز على الحفاظ على التعبير عبر اللغات وتقديم الترجمات بزمن قصير.
• GPT4، الذي أطلقته OpenAI، هو تطور لنسخته السابقة، GPT3.5. على الرغم من أن التفاصيل المعمارية الدقيقة لا يتم الكشف عنها بشكل كامل، يُعتبر GPT4 متميزًا بدمج النص فقط والرؤية فقط والصوت فقط بشكل سلس. يمكن للنموذج توليد نص من المدخلات المكتوبة والرسومية. يمتاز بمهاراته في مهام مختلفة، بما في ذلك وصف الفكاهة في الصور، وتلخيص النص من لقطات الشاشة، والاستجابة بفعالية لأسئلة الامتحان التي تحتوي على مخططات. يُعتبر GPT4 أيضًا متميزًا بقدرته على معالجة مجموعة واسعة من تنسيقات المدخلات.
• Gemini، الذي تم إنشاؤه بواسطة Google DeepMind، يمتاز بكونه متعددة التعاملات بشكل أصيل، مما يسمح بالتفاعل السلس عبر مهام مختلفة دون الاعتماد على ربط مكونات التعاملات الفردية. يمكن للنموذج التعامل بسهولة مع المدخلات النصية والصوتية والمرئية، ويتسم ب khảيته على توليد مخرجات في شكل نص وصور.

تحديات النماذج متعددة التعاملات الكبيرة

• إدراج المزيد من التعاملات: تعمل معظم LMMs الحالية مع النص والصور. ومع ذلك، تحتاج LMMs إلى التطور أبعد من النص والصور، لتشمل تعاملات مثل الفيديوهات والموسيقى والتعاملات ثلاثية الأبعاد.
• توافر مجموعات بيانات متنوعة: أحد التحديات الرئيسية في تطوير وتدريب نماذج الذكاء الاصطناعي التوليدية المتعددة التعاملات هو الحاجة إلى مجموعات بيانات كبيرة ومتنوعة تشمل تعاملات متعددة. على سبيل المثال، لتدريب نموذج لإنشاء نص وصور معًا، تحتاج المجموعة البيانية إلى أن تشمل نصوص وصور متعلقة ببعضها البعض.
• توليد مخرجات متعددة التعاملات: بينما يمكن لـ LMMs التعامل مع مدخلات متعددة التعاملات، يبقى توليد مخرجات متنوعة، مثل الجمع بين النص والرسومات أو Animations، تحديًا.
• اتباع الإرشادات: تواجه LMMs تحديًا في التمكن من الحوار ومهام اتباع الإرشادات، متجاوزةً مجرد الإكمال.
• الاستدلال المتعدد التعاملات: بينما تتمتع LMMs الحالية بمهارات عالية في تحويل تعامل إلى آخر، يبقى دمج البيانات المتعددة التعاملات بسلاسة لتحقيق مهام استدلال معقدة، مثل حل مشاكل الكلمات المكتوبة بناءً على تعليمات سمعية، مشروعًا صعبًا.
• ضغط LMMs: طبيعة LMMs المستهلكة للموارد ترقى إلى تحدي كبير، مما يجعلها غير عملية للجهاز الحافي ذي الموارد المحدودة. يعتبر ضغط LMMs لتحسين الكفاءة وجعلها مناسبة للنشر على أجهزة محدودة مواردها مجالًا هامًا للبحث المستمر.

التطبيقات المحتملة

• التعليم: تتمتع LMMs بإمكانية تحويل التعليم من خلال توليد مواد تعليمية متنوعة ومثيرة للاهتمام تجمع بين النص والصور والصوت. توفر LMMs تعليقات شاملة على الواجبات، وتعزز منصات التعلم التعاوني، وتحسن تطوير المهارات من خلال محاكاة تفاعلية وأمثلة من العالم الحقيقي.
• الرعاية الصحية: على عكس أنظمة الذكاء الاصطناعي التشخيصية التقليدية التي تستهدف تعاملًا واحدًا، تحسن LMMs التشخيص الطبي من خلال دمج تعاملات متعددة. كما تدعم التواصل عبر الحواجز اللغوية بين مقدمي الرعاية الصحية والمرضى، وتعمل كمحفظة مركزية لتطبيقات الذكاء الاصطناعي المختلفة داخل المستشفيات.
• توليد الفن والموسيقى: يمكن أن تتميز LMMs في إنشاء الفن والموسيقى من خلال الجمع بين تعاملات مختلفة لإنشاء مخرجات فريدة ومتعبرة. على سبيل المثال، يمكن لنموذج الفن LMM أن يدمج العناصر البصرية والسمعية، مما يوفر تجربة غامرة. وبالمثل، يمكن لنموذج الموسيقى LMM أن يدمج العناصر الصوتية والغنائية، مما يؤدي إلى تركيبات ديناميكية ومتعبرة.
• التوصيات الشخصية: يمكن لـ LMMs تحليل تفضيلات المستخدمين عبر تعاملات متعددة لتوفير توصيات شخصية لمستهلكات المحتوى، مثل الأفلام والموسيقى والمقالات أو المنتجات.

• توقعات الطقس والرصد البيئي: يمكن لـ LMMs تحليل تعاملات مختلفة من البيانات، مثل الصور الفضائية والظروف الجوية والأنماط التاريخية، لتحسين الدقة في توقعات الطقس والرصد البيئي.

الخلاصة

يُشكل مشهد النماذج متعددة التعاملات الكبيرة (LMMs) اختراقًا كبيرًا في الذكاء الاصطناعي التوليدي، ويعهد بالتطور في مجالات مختلفة. مع دمج هذه النماذج بسلاسة للتعاملات المختلفة، مثل النص والصور والصوت، يفتح تطويرها أبوابًا لتطبيقات تحويلية في مجالات مثل الرعاية الصحية والتعليم والفن والتوصيات الشخصية. ومع ذلك، فإن التحديات، بما في ذلك دمج المزيد من التعاملات وضغط النماذج المستهلكة للموارد، تؤكد على الحاجة المستمرة إلى الجهود البحثية لتحقيق إمكانات LMMs بالكامل.