Cu îmbunătățirea recentă a metodelor de instruire vizuală, Modelele Lingvistice Mari Multimodale (MLLM) au demonstrat capacități remarcabile de vedere-limbaj cu scop general. Aceste capacități le fac să fie blocuri de construcție cheie pentru asistenții vizuali moderni cu scop general. Modelele recente, inclusiv MiniGPT-4, LLaVA, InstructBLIP și altele, prezintă abilități impresionante de raționament vizual și de urmare a instrucțiunilor. Deși majoritatea dintre ele se bazează pe perechi de imagine-text pentru alinierea vedere-limbaj la nivel de imagine, ele se descurcă bine în acest domeniu. Cu toate acestea, dependența lor de înțelegerea la nivel de cutie și de imagine este motivul principal pentru care MLLM nu reușește să-și reproducă performanța la sarcinile de aliniere vedere-limbaj fine la nivel de pixel. În plus, disponibilitatea limitată a datelor de instruire bazate pe mască pentru antrenare prezintă provocări în îmbunătățirea ulterioară a MLLM.

Osprey este o metodă de instruire a textului-mască cu scopul principal de a extinde MLLM. Ea incorporează regiuni mascate fine în instrucțiunile lingvistice pentru a atinge înțelegerea vizual-limbaj la nivel de pixel. Pentru a realiza acest lucru, cadrul Osprey curatează un set de date de regiuni-text bazate pe mască cu peste 700 de mii de exemple. El injectează reprezentarea la nivel de pixel în Modelele Lingvistice Mari (LLM) pentru a proiecta un model de vedere-limbaj. În mod remarcabil, cadrul Osprey adoptă un model CLIP convoluvional ca encoder de vedere și integrează un extractor vizual conștient de mască în arhitectura sa. Acest lucru permite extragerea precisă a caracteristicilor vizuale ale măștii din intrarea de înaltă rezoluție.

În acest articol, vom discuta cadrul Osprey și vom explora mai în profunzime arhitectura sa. Vom explora, de asemenea, setul de date de regiuni-text curate cu peste 700 de mii de exemple și vom compara performanța sa în diverse sarcini de înțelegere a regiunilor. Așadar, să începem.

Osprey: Înțelegere la Nivel de Pixel cu Instruire Vizuală

Modelele Lingvistice Mari Multimodale, cum ar fi MiniGPT-4, Otter, Qwen-LV, InstructBLIP și altele, sunt liderii în dezvoltarea asistenților vizuali cu scop general și sunt renumite pentru capacitățile lor excepționale multimodale și generative de vedere. Cu toate acestea, Modelele Lingvistice Mari Multimodale suferă de o provocare majoră, deoarece ele oferă rezultate nesatisfăcătoare la sarcinile de înțelegere a imaginilor fine, cum ar fi generarea de titluri, clasificarea regiunilor și raționamentul. Un motiv major pentru performanța sub par la sarcinile de înțelegere a imaginilor fine este lipsa de aliniere la nivel de regiune. Modelele recente, cum ar fi GPT4RoI, Shikra și altele, încearcă să permită înțelegerea la nivel de regiune în modelele de vedere-limbaj, procesând regiunile specificate de cutii și utilizând instruirea vizuală cu caracteristici spațiale la nivel de obiect.

… (rest of the translation remains the same, following the exact structure and formatting as the original)