مع التحسين الأخير في طرق تعديل التعليمات البصرية، أظهرت نماذج اللغة الكبيرة المتعددة الوسائط (MLLMs) قدرات استثنائية في الرؤية واللغة العامة. تجعل هذه القدرات منها الحجارة الأساسية للمساعدين البصريين العامين الحديثين. النماذج الحديثة، بما في ذلك MiniGPT-4 و LLaVA و InstructBLIP وغيرها، تظهر قدرات استدلال بصرية وتتبع تعليمات مثيرة للإعجاب. على الرغم من أن معظمها يعتمد على أزواج الصورة والنص لمحاذاة الرؤية واللغة على مستوى الصورة، إلا أنها تعمل جيدًا في هذا المجال. ومع ذلك، فإن اعتمادها على الفهم على مستوى الصورة والصندوق هو السبب الرئيسي في عدم قدرة MLLMs على تكرار أدائها على مهام محاذاة اللغة والرؤية الدقيقة على مستوى البكسل. بالإضافة إلى ذلك، فإن محدودية توافر بيانات التعليمات القائمة على Масك للتدريب تطرح تحديات في تعزيز MLLMs بشكل أكبر.

Osprey هو طريقة تدريب تعليمات نصية مع मसك تهدف في المقام الأول إلى توسيع قدرات MLLMs. يدمج مناطق масك دقيقة في تعليمات اللغة لتحقيق فهم بصرية-لغة على مستوى البكسل. لتحقيق ذلك، ي curates إطار Osprey مجموعة بيانات منطقة-نص مع أكثر من 700 ألف عينة. ي.injects تمثيل البكسل في نماذج اللغة الكبيرة (LLMs) لتصميم نموذج رؤية-لغة. بشكل ملحوظ، يعتمد إطار Osprey على نموذج CLIP القائم على التconvolutional كمدخل بصرية ويتكامل مع مستخرج بصرية متعلم Aware في هيكله. هذا يسمح بالاستخراج الدقيق لميزات Масك البصرية من الإدخال عالي الدقة.

في هذه المقالة، سنناقش إطار Osprey ونتعمق بشكل أعمق في هيكله. سنستكشف أيضًا مجموعة بيانات المنطقة-النص الم curate مع أكثر من 700 ألف عينة ونقارن أدائها في مهام فهم المنطقة المختلفة. لذا، دعونا نبدأ.

Osprey: فهم البكسل مع تعديل التعليمات البصرية

نماذج اللغة الكبيرة المتعددة الوسائط مثل MiniGPT-4 و Otter و Qwen-LV و InstructBLIP وغيرها هي الرائدة في تطوير المساعدين البصريين العامين، وهي مشهورة بقدراتها الاستثنائية المتعددة الوسائط والرؤية التوليدية. ومع ذلك، تعاني نماذج اللغة الكبيرة المتعددة الوسائط من تحدي رئيسي حيث تقدم نتائج غير مرضية في مهام فهم الصورة الدقيقة مثل التعليق وتصنيف المنطقة والاستدلال. السبب الرئيسي لأداء دون الممتاز في مهام فهم الصورة الدقيقة هو عدم محاذاة على مستوى المنطقة. النماذج الحديثة مثل GPT4RoI و Shikra وغيرها تهدف إلى تمكين فهم على مستوى المنطقة في نماذج الرؤية واللغة من خلال معالجة مناطق محددة بواسطة صناديق التحديد، واختيار تعليمات بصرية مع ميزات فضائية على مستوى الكائن.

… (rest of the translation remains the same, following the exact structure and format as the original)