تحسنت نماذج اللغة الكبيرة بشكل كبير، مما ساهم في تسريع تطوير معالجة اللغة الطبيعية، أو NLP. أدخال إطار التحويلات أثبت أنه حجر زاوية، مما سهل تطوير موجة جديدة من نماذج اللغة، بما في ذلك OPT و BERT، والتي تظهر فهمًا لغويًا عميقًا. بالإضافة إلى ذلك، أدخال نماذج GPT، أو نماذج التحويل المسبق للتدريب، قد أدخل نمطًا جديدًا مع نمذجة التكرار وحدد طريقة قوية للتنبؤ باللغة والتشكيل. أدت ظهور نماذج اللغة مثل GPT-4 و ChatGPT و Mixtral و LLaMA وغيرها إلى تسريع التطور السريع، مع كل نموذج يظهر أداءً محسّنًا في المهام التي تتضمن معالجة اللغة المعقدة. من بين الطرق الحالية، ظهر تعديل التعليمات كتقنية رئيسية لتحسين الإخراج من نماذج اللغة الكبيرة المسبقة التدريب، وتكامل هذه النماذج مع أدوات محددة للمهام البصرية أبرز قابليتها للتكيف وفتح أبوابًا للتطبيقات المستقبلية. هذه التطبيقات تتجاوز المعالجة التقليدية القائمة على النص من نماذج LLMs لتشمل التفاعلات متعددة الوسائط.

علاوة على ذلك، أدت التلاقي بين معالجة اللغة الطبيعية ونماذج الرؤية إلى ظهور نماذج اللغة الرؤية، أو VLMs، التي تجمع بين النماذج اللغوية والرؤية لتحقيق فهم متقاطع وخصائص منطقية. لعب التكامل و ظهور النماذج البصرية واللغوية دورًا حاسمًا في تقدم المهام التي تتطلب معالجة اللغة والفهم البصري. أدى ظهور نماذج ثورية مثل CLIP إلى جسر الفجوة بين مهام الرؤية ونماذج اللغة، مما أظهر جدوى وتطبيق التطبيقات متعددة الوسائط. النماذج الأحدث مثل LLaMA و BLIP تستخدم بيانات تعليمية مخصصة لتحديد استراتيجيات فعالة تظهر القدرات القوية للنموذج. بالإضافة إلى ذلك، يركز البحث المتعدد على دمج نماذج اللغة الكبيرة مع إخراج الصور، مع khảية التخطي المباشر للتشكيل من خلال استخدام نهج استرجاع الصور لإنتاج إخراج الصور والنصوص المتداخلة.

مع ذلك، وعلى الرغم من التقدم السريع في نماذج اللغة الرؤية التي تسهل المنطق الأساسي والحوار البصري، لا يزال هناك فجوة كبيرة في الأداء بين النماذج المتقدمة مثل GPT-4 ونماذج اللغة الرؤية. ميني-جيميني هو محاولة لتقليص الفجوة بين نماذج اللغة الرؤية والنماذج الأكثر تقدمًا من خلال استغلال إمكانيات نماذج VLMs من ثلاثة جوانب: توجيه VLM، بيانات عالية الجودة، ورموز بصرية عالية الدقة. لتعزيز الرموز البصرية، يقترح إطار ميني-جيميني استخدام معالج بصرية إضافية لتحسين عالية الدقة دون زيادة عدد الرموز البصرية. يبني إطار ميني-جيميني أيضًا مجموعة بيانات عالية الجودة في محاولة لتعزيز فهم الصور والتشكيل القائم على المنطق. بشكل عام، يهدف إطار ميني-جيميني إلى استغلال إمكانيات نماذج اللغة الرؤية، وتزويد الإطارات الحالية بالمنطق البصري والفهم والقدرات التوليدية بشكل متزامن. هذا المقال يهدف إلى تغطية إطار ميني-جيميني بعمق، ونتناول آليته و منهجيته وهيكله بالإضافة إلى مقارنته مع الإطارات الحالية.

ميني-جيميني: تعزيز القدرات المتعددة للنماذج اللغوية الرؤية

على مر السنين، تطور النماذج اللغوية الكبيرة، وأصبحت تتمتع بقدرات متعددة الوسائط ممتازة، وأصبحت جزءًا أساسيًا من نماذج اللغة الرؤية الحالية. ومع ذلك، لا يزال هناك فجوة بين أداء النماذج اللغوية الكبيرة ونماذج اللغة الرؤية، مع بحث حديث يبحث عن طرق لدمج الرؤية مع نماذج اللغة الكبيرة باستخدام الصور والفيديوهات. لتحسين المهام البصرية نفسها، يكون دقة الصورة عنصرًا حاسمًا لتحديد البيئة المحيطة بالحالة البصرية بأقل هلوسة بصرية. لتجسير الفجوة، يطور الباحثون نماذج لتحسين الفهم البصري في نماذج اللغة الرؤية الحالية، ومن الطرق الشائعة لتحقيق ذلك زيادة الدقة وزيادة عدد الرموز البصرية. على الرغم من أن زيادة عدد الرموز البصرية مع الصور عالية الدقة يعزز الفهم البصري، إلا أن هذا التحسين يرافقه زيادة في المتطلبات الحاسوبية والتكاليف المرتبطة، خاصة عند معالجة عدة صور. بالإضافة إلى ذلك، لا تزال قدرات النماذج الحالية وجودة البيانات والتطبيقات غير كافية لعملية التطوير المتسارعة، مما يترك الباحثين بسؤال “كيف يمكن تسريع تطوير نماذج اللغة الرؤية بتكلفة مقبولة”؟

إطار ميني-جيميني هو محاولة للإجابة على هذا السؤال، حيث يحاول استكشاف إمكانيات نماذج اللغة الرؤية من ثلاثة جوانب: توجيه VLM، بيانات عالية الجودة، ورموز بصرية عالية الدقة. أولًا، يطبق إطار ميني-جيميني هيكل ConvNet لتوليد مرشحين عاليي الدقة بكفاءة، مع تحسين التفاصيل البصرية مع الحفاظ على عدد الرموز البصرية للنموذج اللغوي الكبير. يدمج إطار ميني-جيميني مجموعات بيانات عالية الجودة متاحة علنًا في محاولة لتحسين جودة البيانات، ويتكامل مع تحسينات النماذج التوليدية واللغوية الكبيرة الحالية لتحسين أداء نماذج VLMs، ويعزز تجربة المستخدم. الاستراتيجية متعددة الجوانب التي يطبقها إطار ميني-جيميني تمكنه من استكشاف القدرات الخفية لنماذج اللغة الرؤية، ويتحقق من تقدم ملحوظ مع قيود الموارد الواضحة.

بشكل عام، يطبق إطار ميني-جيميني نموذجًا من أي إلى أي، حيث يمكنه التعامل مع النص والصورة كمدخلات ومخرجات. على وجه الخصوص، يقدم إطار ميني-جيميني خط أنابيب فعال لتعزيز الرموز البصرية للصور المدخلة، ويتضمن نظامًا مزدوجًا للمعالجات يتكون من معالجين توأم: المعالج الأول للصور عالية الدقة، والمعالج الثاني للتحويل البصري منخفض الجودة. خلال الاستدلال، تعمل المعالجات في آلية انتباه، حيث يولد المعالج منخفض الجودة استفسارات بصرية، بينما يوفر المعالج عالي الجودة المفتاح والقيم للمرجعية. لتعزيز جودة البيانات، يجمع إطار ميني-جيميني وينتج المزيد من البيانات بناءً على الموارد العامة، بما في ذلك تعليمات موجهة للمهام، بيانات متعلقة بالتوليد، ورسائل عالية الدقة، مع تحسين الكمية والجودة لتحسين الأداء والقدرات العامة للنموذج.

ميني-جيميني: المنهجية والهيكل

في جوهره، إطار ميني-جيميني مفهوميًا بسيطًا، ويتكون من ثلاثة مكونات.

1. يستخدم الإطار معالجات رؤية مزدوجة لتوفير تحويلات بصرية منخفضة الجودة ومرشحين عاليي الدقة.
2. يقترح الإطار تنفيذ تعدين معلومات الشريحة لconducting تعدين على مستوى الشريحة بين استفسارات بصرية منخفضة الجودة ومناطق عالية الدقة.
3. يستخدم إطار ميني-جيميني نموذج لغوي كبير لربط النص بالصور لتوليد وفهماً متزامنين.

معالجات الرؤية المزدوجة

يمكن لإطار ميني-جيميني معالجة مدخلات النص والصورة، مع خيار التعامل معها بشكل فردي أو مجتمعي. كما هو موضح في الصورة التالية، يبدأ إطار ميني-جيميني العملية bằng تطبيق تقنية التكبير الخطي لتحويل الصورة عالية الدقة إلى صورة منخفضة الجودة.

ثم يقوم الإطار بمعالجة هذه الصور وتشفيرها إلى تحويل بصرية متعددة الحواف في تدفقات صورة متوازية. بشكل أكثر تحديدًا، يحافظ إطار ميني-جيميني على خط الأنابيب التقليدي لتدفقات منخفضة الجودة، ويتضمن معالجًا مسبقًا من CLIP لتشفير التحويلات البصرية، مما يسمح للنموذج بالحفاظ على العلاقة البعيدة بين الشريحة البصرية للتفاعلات اللاحقة في النماذج اللغوية الكبيرة. بالنسبة لتدفقات عالية الجودة، يعتمد إطار ميني-جيميني على معالج CNN أو الشبكات العصبية التلافيفية لتحويل الصور عالية الدقة بكفاءة.

تعدين معلومات الشريحة

مع توليد معالجات الرؤية المزدوجة للتحويلات البصرية منخفضة الجودة وميزات عالية الجودة، يقترح إطار ميني-جيميني تنفيذ تعدين معلومات الشريحة بهدف توسيع إمكانيات نماذج اللغة الرؤية مع رموز بصرية محسنة. من أجل الحفاظ على عدد الرموز البصرية لتحقيق الكفاءة في النماذج اللغوية الكبيرة، يأخذ الإطار التحويلات البصرية منخفضة الجودة كاستفسار، ويتطلع إلى استرجاع الدلائل البصرية ذات الصلة من مرشحين ميزات عالية الجودة، حيث يأخذ الإطار خريطة الميزات عالية الجودة كالمفتاح والقيمة.

كما هو موضح في الصورة أعلاه، يحتوي الصيغ على عملية تحسين وتوليد الدلائل البصرية، مما يؤدي إلى توليد رموز بصرية متقدمة للنموذج اللغوي الكبير اللاحق. يضمن هذا التصميم أن الإطار يمكنه تقييد التعدين لكل استفسار إلى منطقة فرعية في خريطة الميزات عالية الجودة، مع عدد الميزات على مستوى البكسل، مما يؤدي إلى تحسين الكفاءة. بفضل هذا التصميم، يمكن لإطار ميني-جيميني استخراج تفاصيل ميزات عالية الجودة دون زيادة عدد الرموز البصرية، ويحافظ على توازن بين جدوى الحوسبة وغنى التفاصيل.

توليد النص والصورة

يجمع إطار ميني-جيميني الرموز البصرية ورموز النص المدخلة كمدخل للنماذج اللغوية الكبيرة للتوليد التكراري. على عكس نماذج اللغة الرؤية التقليدية، يدعم إطار ميني-جيميني توليد النص فقط والنص والصورة كمدخلات ومخرجات، أي أي إلى أي استدلال، وناتج فهم الصورة والنص والمنطق الممتاز، يمكن لإطار ميني-جيميني توليد صور عالية الجودة.

ميني-جيميني: التجارب والنتائج

لتحديد أدائه، يتم تنفيذ إطار ميني-جيميني مع إطار ConvNext-L المسبق التدريب للمعالج البصري عالي الجودة، ومع معالج رؤية مسبق من CLIP لتحويلات الرؤية منخفضة الجودة. لضمان كفاءة التدريب، يحافظ إطار ميني-جيميني على ثبات المعالجين البصريين، ويتحكم في مشاريع تعدين معلومات الشريحة في جميع المراحل، ويتحكم في النموذج اللغوي الكبير خلال مرحلة تعديل التعليمات نفسها.

الجدول التالي يقارن أداء إطار ميني-جيميني مع نماذج الحالة الحالية عبر إعدادات مختلفة، ويتضمن أيضًا نماذج خاصة. كما هو موضح، يتفوق إطار ميني-جيميني على النماذج الحالية عبر مجموعة واسعة من النماذج اللغوية الكبيرة باستمرار عند الدقة العادية، ويتحقق من أداء متفوق عند تكوينه مع Gemma-2B في فئة النماذج الفعالة. بالإضافة إلى ذلك، عند استخدام نماذج لغوية كبيرة، يظهر إطار ميني-جيميني قابليته للتوسع.

لتحديد أدائه على الصور عالية الدقة ورموز بصرية متوسعة، يتم إجراء التجارب مع حجم مدخل 672 لمعالج الرؤية منخفضة الجودة، و1536 لمعالج الصور. كما هو مذكور سابقًا، الغرض الرئيسي لمعالج الصور عالية الجودة هو تقديم معلومات مرشح عالية الجودة. كما هو موضح، يتحقق إطار ميني-جيميني من أداء متفوق عند مقارنته بنماذج الحالة الحالية.

علاوة على ذلك، لتقييم فهم الإطار البصري في بيئات العالم الحقيقي، يطبق المطورون النموذج على مجموعة متنوعة من مهام المنطق والفهم كما هو موضح في الصورة التالية. كما هو موضح، يمكن لإطار ميني-جيميني حل مجموعة واسعة من المهام المعقدة بفضل تنفيذ تعدين معلومات الشريحة وبيانات عالية الجودة. ومع ذلك، ما هو أكثر إثارة للإعجاب هو حقيقة أن إطار ميني-جيميني يظهر إضافة دقيقة للتفاصيل التي تتجاوز مجرد القدرة على التعرف، ووصف عناصر معقدة بتفاصيل دقيقة.

الرسم التالي يوفر تقييمًا شاملاً لقدرات التوليد لإطار ميني-جيميني.

عند مقارنة إطار ميني-جيميني بنماذج حديثة مثل ChatIllusion و AnyGPT، يظهر إطار ميني-جيميني فهمًا متعدديًا أقوى، مما يسمح له بتوليد نص إلى صورة مع تعليمات مدخلة متوافقة بشكل أفضل، وينتج عن ذلك أجوبة صورة إلى نص مع تشابه مفهومي أقوى. ما هو أكثر إثارة للإعجاب هو حقيقة أن إطار ميني-جيميني يظهر مهارة ملحوظة في توليد محتوى عالي الجودة باستخدام تعليمات متعددة فقط مع بيانات تدريب النص.

أفكار ختامية

في هذا المقال، ناقشنا إطار ميني-جيميني، وهو إطار قوي ومتدفق لنماذج اللغة الرؤية متعددة الوسائط. الهدف الرئيسي لإطار ميني-جيميني هو استغلال القدرات الكامنة لنماذج اللغة الرؤية باستخدام بيانات عالية الجودة وتصميم استراتيجي للإطار ونطاق وظيفي موسع. ميني-جيميني هو محاولة لتقليص الفجوة بين نماذج اللغة الرؤية والنماذج الأكثر تقدمًا من خلال استغلال إمكانيات نماذج VLMs من ثلاثة جوانب: توجيه VLM، بيانات عالية الجودة، ورموز بصرية عالية الدقة. لتعزيز الرموز البصرية، يقترح إطار ميني-جيميني استخدام معالج بصرية إضافية لتحسين عالية الدقة دون زيادة عدد الرموز البصرية. يبني إطار ميني-جيميني أيضًا مجموعة بيانات عالية الجودة في محاولة لتعزيز فهم الصور والتشكيل القائم على المنطق. بشكل عام، يهدف إطار ميني-جيميني إلى استغلال إمكانيات نماذج اللغة الرؤية، وتزويد الإطارات الحالية بالمنطق البصري والفهم والقدرات التوليدية بشكل متزامن.