على مدار السنوات القليلة الماضية ، حظيت نماذج اللغة الكبيرة (LLM) باهتمام مطورو الذكاء الاصطناعي في جميع أنحاء العالم بسبب الإنجازات في معالجة اللغة الطبيعية (NLP). وقد وضعت هذه النماذج معايير جديدة في توليد النصوص وفهمها. ومع ذلك ، على الرغم من التقدم في توليد النصوص ، لا يزال إنتاج الصور التي تتوافق مع الروايات النصية بشكل متسق هو تحد. لمواجهة هذا ، قدّم المطورون نهجًا مبتكرًا لإنشاء رؤية ولغة يعتمد على “توكينات توليدية” ، مما يغلق الفجوة لخروجات نصوص وصور متناسقة.

تعتمد MiniGPT-5 على استراتيجية تدريب من مرحلتين تركز بشكل كبير على توليد بيانات متعددة الوسائط دون وصف ، حيث لا تتطلب بيانات التدريب أي وصف شاملاً للصورة. بالإضافة إلى ذلك ، لتعزيز سلامة النموذج ، يدمج النموذج نظام توجيه خالي من الفئة لتعزيز فعالية التوكين لتوليد الصور. في المرحلة الأولية ، أظهر إطار MiniGPT-5 أداءً قويًا وتحسنًا كبيرًا على نموذج Divter البaseline الذي يتم تدريبه على مجموعة بيانات MMDialog ، وقد أظهر باستمرار قدرته على تقديم خرجات متعددة الوسائط قابلة للمقارنة ومتفوقة في التقييمات البشرية التي أجريت على مجموعة بيانات VIST والتي تسلط الضوء على أدائه وفاعليته عبر مختلف المعايير.

MiniGPT5 : مقدمة

مع التطورات الحديثة لأطر نماذج اللغة الكبيرة ، وتطبيقاتها التي تعتمد على هذه الأطر ، فإن تكامل الميزات المتعددة الوسائط هو مجال شهد ارتفاعًا في شعبيته لأنه يثبت أيضًا أنه تقدم حاسم يمنح مجموعة واسعة من التطبيقات من أدوات إنشاء المحتوى المتقدمة إلى وكلاء حوار متعددي الوسائط المتقدمة. مع الاستمرار في البحث والتطوير ، أصبحت نماذج اللغة والرؤية في مرحلة يمكن فيها أن تولّد كلاً من النصوص والبيانات البصرية بسلاسة. وسيساهم قدرة نماذج اللغة الكبيرة على توليد بيانات متعددة الوسائط بسلاسة في تعزيز التفاعلات عبر مجالات مختلفة بما في ذلك التجارة الإلكترونية والوسائط والواقع الافتراضي.

في النهاية ، الهدف هو تمكين النماذج من تحليل النصوص والاستجابة بطريقة منطقية ومستمرة باستخدام كلا النصوص والوسائط البصرية ، مما يلعب دورًا حاسمًا في تنسيق تدفق المعلومات ، وإنشاء روايات منطقية ومستمرة. يتم دفع الحاجة إلى تحقيق مزيج من النصوص والوسائط البصرية بشكل رئيسي من حاجة التفاعلات المتعددة الوسائط الأكثر سلاسة والتفاعل في نماذج اللغة الكبيرة ، وبالتالي تحقيق التوليد البديل للغة والرؤية. ومع ذلك ، تحقيق التفاعلات المتعددة الوسائط والتفاعلية في نماذج اللغة الكبيرة هو مهمة معقدة تواجه تحديات عديدة ، بما في ذلك

1. على الرغم من أن نماذج اللغة الكبيرة الحالية عالية الكفاءة وقادرة عند توليد النصوص ومعالجة أزواج النص والصورة ، إلا أنها لا تقدم أداءً مرضياً عند توليد الصور.
2. تعتمد تطوير نماذج الرؤية واللغة بشكل كبير على بيانات موجهة بالموضوع مما يجعل من الصعب على النماذج محاذاة النص المولَّد مع الصور المقابلة.
3. أخيرًا ، هناك حاجة إلى استراتيجيات أكثر فعالية مع زيادة قدراتها ، تتزايد متطلبات الذاكرة لنماذج اللغة الكبيرة ، خاصة عند أداء المهام التنازلية.

تطرح إطار MiniGPT-5 تقنية توليد لغة وتصوير متداخل تعتمد على مفهوم “توكينات توليدية” في محاولة للتصدي للتحديات المذكورة أعلاه. يطرح إطار MiniGPT-5 نهجًا جديدًا لتوليد البيانات المتعددة الوسائط من خلال دمج نماذج اللغة الكبيرة مع تقنيات الانحلال المستقر باستخدام رموز بصرية خاصة. يسلط النهج المتبع في التدريب على مرحلتين أهمية المرحلة التأسيسية الخالية من الوصف ، وتهيئة النموذج لتقديم أداء فعال حتى في السيناريوهات التي تتوفر فيها بيانات محدودة.

لكن ما يميز نموذج MiniGPT-5 عن الإطارات الحالية هو أن المراحل العامة لإطار MiniGPT-5 لا تتكون من تعليقات محددة بال领域. بالإضافة إلى ذلك ، لضمان أن النص المولَّد والصور المقابلة لها تكون في وفاق مع بعضها البعض ، يعتمد إطار MiniGPT-5 على استراتيجية خسارة مزدوجة تعزز أيضًا نهج MiniGPT-5 لاستخدام التوجيه الخالي من الفئة والتوكينات التوليدية. يُحسِّن إطار MiniGPT-5 كفاءة التدريب ، ويتناول قيود الذاكرة بفضل استراتيجيته الفعالة للمعاملات لتعديل النموذج.

للمقدمة السريعة ، يطرح إطار MiniGPT-5

1. طريقة تستخدم مشفرات متعددة الوسائط تمثل نهجًا جديدًا وجنريًا ثبت أنه أكثر فعالية من نماذج اللغة الكبيرة التقليدية ، ويستخدم توكينات توليدية مع تقنيات الانحلال المستقر لتوليد خرجات لغة وصور متداخلة.
2. طريقة تدريب من مرحلتين لتوليد خرج متعددي الوسائط دون وصف ، وإدراج توجيه خالي من الفئة خلال التدريب لتعزيز جودة البيانات المولَّدة.

يستلهم نموذج MiniGPT-5 بشكل كبير من الأبحاث والعمل المنجز في مجالات

• توليد الصور من النصوص : Để تحويل الوصف النصي إلى تمثيله البصري ، ونماذج النص إلى الصورة.

• نماذج اللغة الكبيرة المتعددة الوسائط : استخدام نماذج اللغة الكبيرة المسبقة التدريب لاستكشاف تطبيقاتها وفعاليتها في توليد بيانات متعددة الوسائط.
• التوليد المتعدد الوسائط بنماذج اللغة الكبيرة : 为了 تعزيز قدرات نموذج اللغة الكبيرة لتوليد البيانات اللغوية والبصرية بسلاسة.

MiniGPT-5 : الطريقة والهيكل والإطار

为了 تمكين نماذج اللغة الكبيرة من توليد بيانات متعددة الوسائط ، يطرح نموذج MiniGPT-5 إطارًا يهدف إلى دمج نماذج النص إلى الصورة مع نماذج اللغة الكبيرة المتعددة الوسائط. يطرح إطار MiniGPT-5 أيضًا “توكينات توليدية” ، رموز بصرية خاصة تسمح للمطورين بمواجهة التناقضات التي تظهر عبر مجالات مختلفة من خلال khảية التدريب مباشرة على الصور الخام. لتعزيز جودة البيانات المتعددة الوسائط المولَّدة من قبل نماذج اللغة الكبيرة ، يطرح إطار MiniGPT-5 استراتيجية خالية من الفئة مع نهج تدريبي متقدم من مرحلتين. دعونا ننظر بشكل مفصل إلى إطار MiniGPT-5.

مرحلة المدخلات المتعددة الوسائط

تطوير نماذج اللغة الكبيرة في الماضي الحديث أظهر قدراتها على فهم متعددي الوسائط ، مما يسمح بمعالجة الصور كمدخلات متسلسلة. يعتمد إطار MiniGPT-5 على توكينات توليدية خاصة لتوليد ميزات بصرية في محاولة لتوسيع قدرات نماذج اللغة الكبيرة على توليد بيانات متعددة الوسائط. بالإضافة إلى ذلك ، يعتمد إطار MiniGPT-5 على تقنيات تعديل فعالة ومبتكرة لتعلم خرجات متعددة الوسائط مع إطار نماذج اللغة الكبيرة.

التشفير المتعدد الوسائط

يحول مشفر الفيديو المسبق التدريب في إطار MiniGPT-5 كل صورة مدخلة إلى ميزة ، ويتم دمج كل رمز نصي كمتجه ، وتوليد ميزات المدخلات عند دمج هذه التضمينات مع بعضها البعض.

إضافة التوكينات إلى نماذج اللغة الكبيرة

تقليدًا ، تتكون مفردات نموذج اللغة الكبيرة فقط من رموز نصية ، لذلك كان على مطورو إطار MiniGPT-5 سد الفجوة بين التوكينات التوليدية والنماذج التقليدية. يطرح إطار MiniGPT-5 مجموعة من الرموز الخاصة كتوكينات توليدية إلى مفردات نموذج اللغة الكبيرة. ثم يستخدم الإطار حالة الإخراج الخفية لنموذج اللغة الكبيرة لهذه التوكينات التوليدية لتوليد الصور ، وتمثيل إدراج الصور المتداخلة بواسطة موقع التوكينات.

التعديل الفعال للمعاملات

التعديل الفعال للمعاملات هو مفهوم حاسم لتدريب نماذج اللغة الكبيرة ، ومع ذلك ، تطبيقات التعديل الفعال للمعاملات في الإعدادات المتعددة الوسائط لم يتم استكشافها بعد إلى حد كبير. يعتمد إطار MiniGPT-5 على التعديل الفعال للمعاملات لمشفر إطار MiniGPT-4 لتدريب النموذج على فهم الإرشادات أو التعليمات بشكل أفضل ، وزيادة الأداء العام للنموذج في بيئات جديدة.

توليد خرجات متعددة الوسائط

为了 محاذاة نموذج التوليد مع التوكينات التوليدية بدقة ، يطرح إطار MiniGPT-5 وحدة خريطة مضغوطة لمطابقة الأبعاد ، وإدراج خسائر إشرافية ، بما في ذلك خسارة الانحلال المستقر و خسارة الفضاء النصي. تُحاذي خسارة الانحلال المستطر الخواص البصرية مع التوكينات مباشرة ، بينما تساعد خسارة الفضاء النصي النموذج على تعلم المواقع الصحيحة للتوكينات. نظرًا لأن التوكينات التوليدية في إطار MiniGPT-5 تُوجه مباشرة من قبل الصور ، لا يتطلب إطار MiniGPT-5 صورًا لها وصف شامل ، مما يؤدي إلى تعلم خالي من الوصف.

توليد الفضاء النصي

يتبع إطار MiniGPT-5 نهج نمذجة اللغة الكائنة لتوليد التوكينات والنصوص في فضاء النص بشكل مشترك ، وخلال مرحلة التدريب ، يُضاف المطورون التوكينات إلى موقع الصور الحقيقية ، ويتدرب النموذج على预测 التوكينات خلال توليد النص.

تعيين ميزات التوكين لتوليد الصور

بعد توليد فضاء النص ، يُحاذي الإطار حالة الإخراج الخفية مع فضاء الميزات المشروط للنموذج النصي إلى الصورة. كما يدعم الإطار وحدة خريطة ميزات تتضمن نموذج MLP ثنائي الطبقات ، وتسلسل فك تشفير قابل للتعلم ، ونموذج محول Transformer من أربعة طبقات.

توليد الصور باستخدام الانحلال المستقر

为了 توليد الصور المطلوبة في عملية الإزالة ، يستخدم الإطار ميزات الخريطة كمدخل مشروط. كما يستخدم الإطار نموذج الانحلال المستقر للإرشاد ، حيث يتم تحويل الصورة الحقيقية إلى ميزة كامنة باستخدام VAE مسبق التدريب ، ثم يتم الحصول على ميزة الضوضاء الكامنة بإضافة بعض الضوضاء.

النهج الشامل الذي يتبعه إطار MiniGPT-5 يسمح للمطورين بفهم متسق وتوليد كلاً من العناصر البصرية والنصية ، باستخدام رموز خاصة ، واستغلال قدرات النماذج المسبقة التدريب ، وتقنيات التدريب المبتكرة.

MiniGPT-5 : التدريب والنتائج

عند العمل على إطار MiniGPT-5 ، لاحظ المطورون أن التدريب على مجموعة بيانات متداخلة نصية وصورية محدودة مباشرة يمكن أن يؤدي إلى صور ذات جودة منخفضة ومحاذاة غير دقيقة بسبب الفجوة الكبيرة بين مجالات الصور والنص. لمواجهة هذه القضية ، اعتمد المطورون استراتيجيتين تدريبيتين متميزتين ،

1. تضمنت إدراج تقنيات توجيه خالي من الفئة لتعزيز فعالية التوكينات التوليدية خلال عملية الانحلال.
2. الاستراتيجية الثانية مقسمة إلى مرحلتين
   1. مرحلة ما قبل التدريب الأولية تركز على محاذاة الميزات الخشنة.
   2. مرحلة تعديل دقيقة تسهل تعلم الميزات.

التوجيه الخالي من الفئة

فكرة استخدام التوجيه الخالي من الفئة لأول مرة لتوليد متعددي الوسائط جاءت نتيجة محاولة تعزيز الاتساق والمنطق بين الصور والنصوص المولَّدة ، ويتم إدراج التوجيه الخالي من الفئة خلال عملية الانحلال النصي إلى الصورة. هذه الطريقة تلاحظ أن التدريب على التوليد غير المشروط والمشروط مع إسقاط التوجيه يمكن أن يؤدي إلى تحسين النتائج المشروطة.

استراتيجية التدريب من مرحلتين

نظرًا للفجوة الكبيرة بين توليد الصور والنصوص ، يستخدم إطار MiniGPT-5 استراتيجية التدريب من مرحلتين

1. مرحلة المحاذاة غير المتعددة الوسائط ،
2. مرحلة التعلم المتعدد الوسائط.

في البداية ، يُحاذي الإطار ميزات توليد الصور مع ميزات التوكين في مجموعات بيانات النص والصورة الفردية حيث تحتوي كل عينة بيانات على نص واحد فقط و صورة واحدة ، وغالبًا ما يكون النص هو تعليق الصورة. في هذه المرحلة ، يسمح الإطار لنموذج اللغة الكبيرة بتوليد توكينات باستخدام التعليقات كمدخلات لنموذج اللغة الكبيرة.

بعد تنفيذ مرحلة المحاذاة غير المتعددة الوسائط بنجاح ، يمكن للنموذج توليد صورًا لوصف نصي واحد ، ولكنه يجد صعوبة في توليد لغة وتصوير متداخل ، بما في ذلك أزواج النص والصورة وتوليد صور معقدة. لمواجهة هذه العوائق ، قام المطورون بتعديل إطار MiniGPT-5 باستخدام معاملات PEFT من خلال مجموعات بيانات الرؤية واللغة المتداخلة مثل VIST. خلال هذه المرحلة ، يُنشئ الإطار ثلاث مهام مختلفة من مجموعة البيانات

1. توليد النص فقط : يُولِّد النص المرتبط بالصورة التالية.
2. توليد الصورة فقط : يُولِّد الصورة المرتبطة بالنص التالي.
3. التوليد المتعدد الوسائط : يُولِّد أزواج النص والصورة باستخدام السياق المحدد.

MiniGPT-5 : المعايير والنتائج

为了 تقييم أدائه بشكل شامل في التوليد المتعدد الوسائط ، يقارن فريق تطوير MiniGPT-5 أداءه مع نماذج أخرى ، بما في ذلك Divter و GILL ونموذج التوليد غير المتعدد الوسائط المعدل.

يُدرك إطار MiniGPT-5 أن خرج متعددي الوسائط قد يكون منطقيًا حسب السياق ، ولكنه قد يختلف عن الواقع الفعلي ، وهو السبب الرئيسي الذي يُضيف إطار MiniGPT-5 مدخلات بشرية لتقييم أداء النموذج. بشكل عام ، يتم قياس فعالية إطار MiniGPT-5 لمهام متعددة الوسائط من ثلاثة جوانب.

1. استمرارية اللغة : تقييم ما إذا كان المحتوى المولَّد يتوافق مع السياق المحدد بسلاسة.
2. جودة الصورة : تقييم وضوح وملاءمة الصورة المولَّدة.
3. التوافق المتعدد الوسائط : تحديد ما إذا كان خرج النص والصورة المولَّد متوافق مع السياق الأولي.

تقييم الخطوة النهائية ل VIST

في المرحلة الأولى من التجارب ، يهدف إطار MiniGPT-5 إلى توليد الصور المقابلة ، ويُظهر الجدول التالي النتائج المُحصل عليها من هذا الإعداد.

كما هو موضح ، يُظهر إطار MiniGPT-5 في جميع ثلاثة الإعدادات khảية تفوق إطار SD2 المعدل ، مما يُظهر فعالية خط أنابيب MiniGPT-5.

يُقارن الشكل أعلاه أداء إطار MiniGPT-5 مع إطار MiniGPT-4 المعدل على معايير أداء S-BERT و Rouge-L و Meteor. تشير النتائج إلى أن استخدام التوكينات التوليدية لا يؤثر سلبًا على أداء الإطار عند أداء مهام الفهم المتعدد الوسائط. كما تُظهر النتائج أن إطار MiniGPT-5 قادر على استخدام مدخلات متعددة الوسائط أفقية طويلة لإنشاء صور عالية الجودة ومتسقة دون المساس بقدرة النموذج الأصلي على الفهم المتعدد الوسائط.

يُقارن الجدول أعلاه أداء ثلاثة إطارات على 5000 عينة لإنشاء متعددي الوسائط من جوانب التوافق المتعدد الوسائط ، جودة الصورة ، واستمرارية اللغة. كما هو موضح ، يُظهر إطار MiniGPT-5 khảية تفوق النماذج الأخرى بنسبة تزيد عن 70% من الحالات. من ناحية أخرى ، يُظهر الجدول التالي أداء إطار MiniGPT-5 على مجموعة بيانات CC3M للتحقق لإنشاء صورة واحدة. بسبب قيود البيانات ، وجد المطورون فجوة في محاذاة التوكين عند استخدامه مع الانحلال المستقر. على الرغم من هذه القيود ، يُظهر إطار MiniGPT-5 khảية تفوق إطار GILL الحالي على جميع المعايير.

الختام

في هذه المقالة ، تحدثنا عن MiniGPT-5 ، تقنية توليد لغة وتصوير متداخل تعتمد على مفهوم “توكينات توليدية” لمواجهة التحديات المذكورة أعلاه. لقد تحدثنا عن المكونات الأساسية وهيكل إطار MiniGPT-5 ، إلى جانب النتائج التي تشير إلى تحسينات كبيرة في الأداء والكفاءة عند مقارنتها بالنموذج الحالي وأفضل النماذج المتاحة. يطمح إطار MiniGPT-5 إلى وضع معيار جديد في مجال إنشاء المحتوى المتعدد الوسائط وبياناته ، ويهدف إلى حل التحديات التي واجهتها النماذج السابقة عند محاولة حل نفس المشكلة.