De nylige fremsteg og framgangen i store språkmodeller har erfart en betydelig økning i visuell-språklige resonnerings-, forståelses- og interaksjonsmuligheter. Moderne rammeverk oppnår dette ved å projicere visuelle signaler inn i store språkmodeller for å gjøre dem i stand til å tolke verden visuelt, et bredt spekter av scenarier som avhenger av visuell kodning. Imidlertid inneholder ikke bare virkelige bilder et bredt spekter av scenarier, men de varierer også betydelig i forhold til oppløsning og bildforhold, noe som utgjør betydelige utfordringer for store språkmodeller over ulike domener og oppgaver. For å takle den betydelige variasjonen som utgjøres av virkelige bilder, perciperer moderne store språkmodeller bilder i lav oppløsning, dvs. 224×224, og et fast bildforhold, dvs. 1:1. Selv om kompromisset med å holde seg til lav oppløsning og fast bildforhold øker generell anvendelighet av store språkmodeller i virkelige anvendelser, fører det ofte til svært uklare bilder og alvorlig formforvrengning. Kompromisset påvirker betydelig evnene til store multimodale modeller eller LMM-er, spesielt de som er optimalisert for fine-grained oppgaver, inkludert optisk tegngjenkjenning og småobjektforståelse. Fordi oppløsningen og bildforholdet er forhåndsbestemt, kan modellene bare gjette på de uklare bildene, noe som fører til modellhallusinasjoner, en situasjon der modellen produserer tekstlige responser som ikke er faktisk grunnlagt i bildene.

I denne artikkelen skal vi snakke om LLaVA-UHD, en ny tilnærming som først tar LLaVA-1,5 og GPT-4V-rammeverkene som representative eksempler, og forsøker å avdekke de systematiske feilene som ligger i deres visuelle kodningstrategi. LLaVA-UHD-rammeverket, en multimodal modal, er et forsøk på å møte utfordringene. LLaVA-UHD-rammeverket kan percieve bilder i høy oppløsning samt i hvilket som helst bildforhold. LLaVA-UHD-rammeverket er bygget rundt tre nøkkelkomponenter. Først, en bilde-modulariseringsstrategi som deler inn native-oppløsningsbilder i mindre, variabel-størrelse skiver for å øke effektivitet og utvide kodning. Deretter, en kompresjonsmodul som kondenserer bildetokens produsert av visuelle koder ytterligere. Til slutt, en romlig skjema som organiserer skivetokens for store språkmodeller. Omfattende eksperimenter indikerer at LLaVA-UHD-rammeverket er i stand til å overgå state-of-the-art store språkmodeller på 9 benchmark. Videre, ved å bruke bare 94% inferensregning, er LLaVA-UHD-rammeverket i stand til å støtte bilder med 6 ganger større oppløsning, dvs. 672×1088.

LLaVA-UHD: Effektivt Percieve Bilder i Hvilket Som Helst Bildforhold og Høy Oppløsning

Visuell-språklige resonnering, forståelse og interaksjon har gjort betydelig fremgang nylig, hovedsakelig på grunn av det nylige presset for store språkmodeller. I moderne rammeverk oppnås dette ved å mate visuelle signaler inn i store språkmodeller for å gjøre dem i stand til å tolke den virkelige verden visuelt, et bredt spekter av scenarier som avhenger av visuell kodning. Forskjellen i scenario reflekterer en smal dekning av store språkmodeller over ulike domener og oppgaver, mens forskjellen i oppløsning og bildforhold avslører de store intraklassevariasjonene i virkelige bilder, som er vanskelige å håndtere. I motsetning til den lille skalaen som reduserer variasjonen, håndterer modellene etter BERT betydningen av lav oppløsning (for eksempel, for LLaVA-UHD er det 224×224) av bilder med et fast bildforhold, 1:1, for å gi virkelige bilder. Selv om kompromisset er nyttig for å sikre generell anvendelighet av store språkmodeller i virkelige anvendelser, fører det ofte til svært uklare bilder og alvorlig formforvrengning. Dette reduserer evnene til store multimodale modeller eller LMM-er, spesielt de som er optimalisert for fine-grained oppgaver, inkludert optisk tegngjenkjenning og småobjektforståelse. Fordi oppløsningen og bildforholdet er forhåndsbestemt, kan modellene bare gjette på de uklare bildene, noe som fører til modellhallusinasjoner, en situasjon der modellen produserer tekstlige responser som ikke er faktisk grunnlagt i bildene. Hvorfor kan ikke benchmark LMM-modeller percieve bilder i høy oppløsning og varierte bildforhold?

Det finnes to hovedgrunner til at benchmark LMM-er ikke kan percieve bilder med høy oppløsning og variert oppløsning. Først, siden visuelle koder er forhånds trenet i faste oppløsninger, gjør det det vanskelig for modellen og koden å håndtere bilder med varierte bildforhold og oppløsninger, noe som betydelig påvirker tilpasningen av modellen. Andre, å kode høyoppløselige bilder direkte ved hjelp av visjonstransformatorer er forbundet med betydelige beregningskostnader i forhold til bildets størrelse. Videre kan beregningskostnadene være betydelig høyere for store språkmodeller for å prosessere et stort antall visuelle tokens for høyoppløselige bilder, noe som betydelig påvirker den totale effektiviteten til modellen. For å møte disse utfordringene, tar LLaVA-UHD, en stor multimodal modell som kan percieve høyoppløselige bilder og hvilket som helst bildforhold, LLaVA-1,5 og GPT-4V-rammeverkene som representative eksempler, og forsøker å avdekke de systematiske feilene som ligger i deres visuelle kodningstrategi.

Bildet over reflekterer på de eksperimentelle resultater av GPT-4V i å identifisere antallet objekter i et bilde. I kjernen av LLaVA-UHD-rammeverket finnes det tre komponenter. Først, en bilde-modulariseringsstrategi som deler inn native-oppløsningsbilder i mindre, variabel-størrelse skiver for å øke effektivitet og utvide kodning. I motsetning til de nylige LMM-er som passer bilder inn i flere faste oppløsninger og bildforhold, gjør de variabel-størrelse skivene generert av LLaVA-UHD-rammeverket det mulig å nå full tilpasning til native-oppløsningsbilder uten å forvrengne former, endre størrelse eller fylle ut. Andre, modellen kondenserer de visuelle tokenene ved en kompresjonslag til en beskjeden lengde, noe som resulterer i en betydelig reduksjon av beregningskostnadene for store språkmodeller. Til slutt organiserer modellen de komprimerte skivetokene i en romlig skjema for å informere store språkmodeller om skivene sine posisjoner i bildene.

LLaVA-UHD: Metodologi og Arkitektur

Basert på lærdommene fra noen pilot-eksperimenter for å studere eksisterende rammeverk, inkludert GPT-4V og LLaVA-1,5, implementerer LLaVA-UHD-rammeverket en tre-komponent arkitektur, som vist i bildet under.

Først, en bilde-modulariseringsstrategi som deler inn native-oppløsningsbilder i mindre, variabel-størrelse skiver for å øke effektivitet og utvide kodning. Deretter, en kompresjonsmodul som kondenserer bildetokens produsert av visuelle koder ytterligere. Til slutt, en romlig skjema som organiserer skivetokene for store språkmodeller. La oss se nærmere på disse komponentene.

Modularisert Visuell Kodning

En vanlig tilnærming for å håndtere høyoppløselige bilder med ulikt bildforhold er å interpolere posisjons-embeddings av Vision Transformer eller ViT til målformen for direkte kodning som en helhet. Imidlertid er implementeringen av denne tilnærmingen ofte forbundet med høye beregningskostnader, og utenfor-distribusjonsproblemer resulterer i ytterligere ytelsesnedgang. For å møte denne utfordringen, presenterer LLaVA-UHD-rammeverket en modularisert visuell kodningstrategi som deler inn native-oppløsningsbilder i mindre, variabel-størrelse skiver hvor hver skives form er ganske nær standard forhånds-treningsinnstillingen for visjonstransformator. Takket være bruk av variabel-størrelse skiver, er LLaVA-UHD-rammeverket i stand til å nå full tilpasning til native-oppløsningsbilder uten å implementere noen form-forvrengende omforming eller fylling ut. Videre er hovedmålet med bilde-skjæringstrategien å bestemme en deling av høyoppløselige bilder med minimal endring av oppløsningene til hver skive. For et gitt bilde med en bestemt oppløsning (w, h) og en visjonstransformator forhåndstrent i en annen oppløsning, bestemmer LLaVA-UHD-rammeverket først den ideelle beregningen, dvs. antallet skiver nødvendig for å prosessere bildet. Deretter faktoriserer rammeverket antallet skiver i m kolonner og n rader. Rammeverket definerer så en score-funksjon for å måle avviket fra standard forhånds-treningsinnstillingen for visjonstransformator. Teoretisk kan LLaVA-UHD-rammeverket demonstrere at partisjonsstrategien implementert i sin arkitektur garanterer små forventede endringer og beskjedne verste-case-endringer i forhold til standard forhånds-treningsoppløsning for hver skive.

Videre foreslår LLaVA-UHD-rammeverket å kode bilde-skiver i bildforhold som definert av partisjonsstrategien. For å være mer spesifik, resizer LLaVA-UHD-rammeverket først det opprinnelige bildet proporsjonalt i henhold til bildforholdet på en måte som antallet patches passer innenfor forhånds-treningsbudsjettet, dvs. antallet posisjons-embeddings-sekvenser i visjonstransformator, maksimalt. Deretter omformer LLaVA-UHD-modellen den forhånds-trente 1D posisjons-embeddings-sekvensen av visjonstransformator til en 2D-format i henhold til sine forhånds-treningsinnstillinger.

Kompresjonslag

En vanlig problem som LMM-er møter når de prosesserer høyoppløselige bilder er at mengden av visuelle tokens de må prosessere er betydelig høyere (for eksempel, LLaVA-1,5-rammeverket produserer rundt 3500 visuelle tokens når det prosesserer et enkelt bilde med oppløsning 672×1008), noe som utgjør en betydelig del av beregningsressursene og kostnadene. For å møte denne utfordringen, implementerer LLaVA-UHD-modellen en delt perceiver-resampler-lag for å komprimere de visuelle tokenene til hver bilde-skive. Deretter implementerer modellen en sett av forespørselsvektorer via kryss-oppmerksomhet for å resample utdata av bilde-tokene ved visuelle koder til en lavere antall. I sammenligning med vanlige Multilayer Perceptron-baserte visuelle prosjekteringsstrategier, er perceiver-prøver-tilnærmingen implementert av LLaVA-UHD i stand til å opprettholde et rimelig, men fast antall visuelle tokens uavhengig av bildets oppløsning, noe som gjør LLaVA-UHD-rammeverket mer kompatibelt med høyoppløselige bilde-prosessering og forståelsesoppgaver. For å sette det i bilder, genererer LLaVA-UHD-rammeverket samme antall tokens når det koder et bilde med oppløsning 672×1008 som LLaVA-1,5-rammeverket genererer når det koder et bilde med oppløsning 336×336, nærmere 6 ganger mer effektivt enn sin konkurrent.

Romlig Skjema for Bilde-Skiver

Det er en nødvendig praksis å informere store språkmodeller om den romlige organiseringen av bilde-skiver, siden partisjoneringen av bilder er dynamisk over ulike bilder. LLaVA-UHD-rammeverket designer og implementerer et romlig skjema som bruker to spesielle tokens for å informere LMM-er om den relative posisjonen til bilde-skivene. Under dette romlige skjemaet, bruker LLaVA-UHD-rammeverket “,” for å skille skive-representasjonene i en rad, og ulike rader skilles ved hjelp av en “n”.

LLaVA-UDH: Eksperimenter og Resultater

LLaVA-UHD-rammeverket er evaluert mot 9 populære benchmark, inkludert generelle visuelle spørsmål-benchmark, optiske tegn-baserte visuelle spørsmål-benchmark, hallusinasjons-benchmark og omfattende benchmark. Videre er LLaVA-UHD-rammeverket sammenlignet med sterke baselinjer, inkludert LLaVA-1,5, MiniGPT-v2, InstructBLIP, BLIP-2 og mer.

Ytelsen til LLaVA-UHD-rammeverket på 9 populære benchmark er sammenfattet og sammenlignet med populære benchmark i tabellen under.

Basert på ovenstående ytelse, kan det konkluderes at LLaVA-UHD-rammeverket er i stand til å overgå sterke baselinjemodeller på populære benchmark, inkludert sterke generelle baselinjer trenet på en betydelig større mengde data, samt overgå LMM-er som trenger betydelig mer beregning, som Fuyu-8B, Monkey og mer. Andre, indikerer resultater også at LLaVA-UHD-rammeverket oppnår betydelig bedre resultater enn LLaVA-1,5-arkitekturen, og på den ene siden hvor LLaVA-1,5 støtter en fast 336×336-oppløsning, støtter LLaVA-UHD-rammeverket 672×1088-oppløsningsbilder med hvilket som helst bildforhold og samme antall visuelle tokens.

SluttTanker

I denne artikkelen har vi snakket om LLaVA-UHD, en ny tilnærming som først tar LLaVA-1,5 og GPT-4V-rammeverkene som representative eksempler, og forsøker å avdekke de systematiske feilene som ligger i deres visuelle kodningstrategi. LLaVA-UHD-rammeverket, en multimodal modal, er et forsøk på å møte utfordringene. LLaVA-UHD-rammeverket kan percieve bilder i høy oppløsning samt i hvilket som helst bildforhold. LLaVA-UHD-rammeverket er bygget rundt tre nøkkelkomponenter. Først, en bilde-modulariseringsstrategi som deler inn native-oppløsningsbilder i mindre, variabel-størrelse skiver for å øke effektivitet og utvide kodning. Deretter, en kompresjonsmodul som kondenserer bildetokens produsert av visuelle koder ytterligere. Til slutt, en romlig skjema som organiserer skivetokene for store språkmodeller. Omfattende eksperimenter indikerer at LLaVA-UHD-rammeverket er i stand til å overgå state-of-the-art store språkmodeller på 9 benchmark. Videre, ved å bruke bare 94% inferensregning, er LLaVA-UHD-rammeverket i stand til å støtte bilder med 6 ganger større oppløsning, dvs. 672×1088.