Evnen til nøjagtigt at fortolke komplekse visuelle oplysninger er et afgørende fokusområde for multimodale store sprogmodeller (MLLM’er). Seneste arbejde viser, at forbedret visuel perception betydeligt reducerer hallucinationer og forbedrer præstationen på opløsningsfølsomme opgaver, såsom optisk tegnkendelse og dokumentanalyse. Flere seneste MLLM’er opnår dette ved at udnytte en blanding af vision-encodere. Trods deres succes er der mangel på systematiske sammenligninger og detaljerede ablationsstudier, der beskæftiger sig med kritiske aspekter, såsom eksperthousevalg og integration af multiple visionseksperter. Denne artikel giver en omfattende udforskning af designrummet for MLLM’er ved hjælp af en blanding af vision-encodere og opløsninger, ØRN-rammeværket, der forsøger at udforske designrummet for multimodale store sprogmodeller med en blanding af encodere. Resultaterne afslører flere underliggende principper, der er fælles for forskellige eksisterende strategier, hvilket fører til en strømlinet, men effektiv designtilgang. ØRN opdager, at det simpelt hen at konkatenerer visuelle tokens fra en samling af komplementære vision-encodere er lige så effektivt som mere komplekse blandingsarkitekturer eller strategier. Derudover introducerer ØRN Pre-Alignment til at brokke gabets mellem vision-fokuserede encodere og sprog-tokens, hvilket forbedrer modelkohærens. Den resulterende familie af MLLM’er, ØRN, overgår andre førende åbne kildemodeller på større MLLM-benchmarks.

ØRNs arbejde er relateret til den generelle arkitekturdesign af multimodale store sprogmodeller (MLLM’er). Ud over linjen af repræsentative åbne kildeforskningsprojekter, der tidligere er nævnt, omfatter andre bemærkelsesværdige familier af MLLM’er MiniGPT-4, Lynx, Otter, QwenVL, CogVLM, VILA, GPT-4V, Gemini og Llama 3.1. Afhængigt af, hvordan visionsignaler integreres i sprogmodellen, kan MLLM’er bredt kategoriseres i “cross-modal attention”-modeller og “prefix-tuning”-modeller. Den første injicerer visuelle oplysninger i forskellige lag af LLM’er ved hjælp af cross-modal attention, mens den sidste behandler visuelle tokens som en del af sprog-token sekvensen og appende dem direkte med tekst-embeddings. ØRNs model tilhører prefix-tuning-familien ved at følge en LLaVA-stil multimodal arkitektur. Da MLLM er et hurtigt voksende felt, anbefaler ØRN at henvise til mere detaljerede studier og undersøgelser for yderligere indsigt.

ØRNs arbejde er tæt relateret til forskning, der fokuserer på at forbedre vision-encoder-design til MLLM’er. Tidlige arbejder har normalt antaget vision-encodere, der er prætrænet på vision-sprog-alignment-opgaver, såsom CLIP og EVA-CLIP. Stærkere vision-encodere, såsom SigLIP og InternVL, er blevet foreslået for at forbedre vision-sprog-opgaver med bedre design, større modelstørrelser og mere effektive træningsopskrifter. Da modeller ofte er prætrænet på lavopløsningsbilleder og kan mangle evnen til at kodificere fine-grænse detaljer, udføres hyppigt en højopløsningsadaptation for at øge MLLM-indgangsopløsningen. Ud over højopløsningsadaptation bruger modeller som LLaVA-NeXT, LLaVA-UHD, Monkey, InternLM-XComposer og InternVL tiling eller adaptiv tiling til at håndtere højopløsningsindgang, hvor billeder deles op i lavopløsningspatcher og behandles separat. Selvom evnen til at håndtere højere opløsning er muliggjort ved at introducere yderligere visionseksperter, adskiller denne tilgang sig lidt fra tiling-teknikker, selvom begge er kompatible og kan kombineres.

ØRN: Brug af en blanding af encodere til at udforske designrummet for multimodale store sprogmodeller

Evnen til at se, forstå og resonere i den virkelige verden er en afgørende funktion for store sprogmodeller (LLM’er). I hjertet af disse multimodale store sprogmodeller (MLLM’er) ligger en typisk design, hvor billeder konverteres til en række visuelle tokens af vision-encoderne og appendes med tekst-embeddings. CLIP er ofte valgt som vision-encoder, da dens visuelle repræsentation er aligneret med tekst-rummet ved prætræning på billed-tekst-par. Afhængigt af arkitekturerne, træningsopskrifterne og måden, hvorpå visuelle tokens injiceres i sprogmodellen, omfatter bemærkelsesværdige familier af MLLM’er Flamingo, BLIP, PaLI, PaLM-E og LLaVA. De fleste af disse modeller har relativt lav indgangsopløsning på grund af begrænsninger i prætrænet vision-encoder og LLM-sekvenslængde. ØRNs arbejde er tæt relateret til modeller, der bruger multiple vision-encodere til forbedret perception. Mini-Gemini og LLaVA-HR foreslår at fusere højopløsningsvisuelle funktioner ind i lavopløsningsvisuelle tokens. Ud over opløsningsproblemer kan disse prætrænede vision-encodere mangle bestemte funktioner, såsom at læse tekst eller lokalisere objekter. For at løse dette problem integrerer forskellige modeller vision-encodere, der er prætrænet på forskellige vision-opgaver, for at forbedre vision-encoderens funktioner.

For eksempel kan modeller som Mousi og Brave fusere visuelle tokens fra forskellige vision-encodere ved at konkatenerer langs kanal- eller token-retningen. RADIO introducerer en multi-lærer-destillationsmetode til at samle evnerne fra forskellige vision-encodere i en enkelt model. MoAI, IVE og Prismer bruger outputtet fra visionseksperter, såsom OCR, detection eller dybdeestimation, til at supplere yderligere information til MLLM’er til at generere svar. MoVA udvikler en routing-netværk til at tildele en optimal vision-model baseret på det givne billede og instruktioner.

Seneste studier har vist, at stærkere vision-encoder-design er vigtigt for at reducere MLLM-hallucinationer og forbedre præstationen på opløsningsfølsomme opgaver, såsom optisk tegnkendelse. Flere arbejder fokuserer på at forbedre evnen af vision-encoderen, enten ved at skala op prætræningsdata og parametre eller ved at dele billeder op i lavopløsningspatcher. Disse tilgange introducerer ofte store træningsressourcer. En effektiv, men kraftfuld strategi er at blande visuelle encodere, der er prætrænet med forskellige opgaver og indgangsopløsninger, enten ved at fusere højopløsningsencodere med CLIP-encoderen, sekventielt appende funktioner fra forskellige encodere eller ved at antage mere komplekse fusions- og routing-strategier for at maksimere fordelene ved forskellige encodere. Denne “blanding-af-vision-eksperter”-tilgang har vist sig effektiv, selvom en detaljeret undersøgelse af dens designrum med rigorøs ablation stadig mangler, hvilket motiverer ØRN til at genbesøge dette område. Vigtige spørgsmål forbliver: hvilke vision-encoder-kombinationer skal vælges, hvordan man fusere forskellige eksperter, og hvordan man justerer træningsstrategier med flere vision-encodere.

For at besvare disse spørgsmål gennemfører ØRN en systematisk undersøgelse af designrummet for MLLM’er ved hjælp af en blanding af vision-encodere og opløsninger. Undersøgelsen af dette designrum omfatter følgende trin: 1) benchmarking af forskellige vision-encodere og søgning efter højopløsningsadaptation; 2) gennemførelse af en “æble-til-æble”-sammenligning mellem vision-encoder-fusionsstrategier; 3) progressiv identifikation af den optimale kombination af multiple vision-encodere; 4) forbedring af vision-ekspert-præalignment og data-blanding. Undersøgelsestrinnene er illustreret i følgende figur.

ØRNs studie dækker præstationen af vision-encodere, der er prætrænet på forskellige opgaver og opløsninger, såsom vision-sprog-alignment, selv-superviseret læring, detection, segmentering og OCR. Ved hjælp af en round-robin-tilgang begynder ØRN med den grundlæggende CLIP-encoder og tilføjer en ekstra ekspert ad gangen, hvor den vælger den ekspert, der giver den bedste forbedring i hver runde.

Selvom ØRNs arbejde ikke er det første til at udnytte multiple vision-encodere i MLLM’er, fører den systematiske undersøgelse til flere nøglefund:

• At låse op vision-encoderne under MLLM-træning er vigtigt. Dette er i modsætning til modeller som LLaVA og andre, der betragter multiple vision-encodere eller lærere, hvor låsning af vision-encoderne har været almindelig praksis.
• Nogle nyligt foreslåede fusionsstrategier viser ikke betydelige fordele. I stedet viser sig en direkte kanal-konkatenering som en simpel, men konkurrencedygtig fusionsstrategi, der tilbyder den bedste effektivitet og præstation.
• At inkorporere yderligere visionseksperter fører til konsistente forbedringer. Dette gør det til en lovende vej til systematisk at forbedre MLLM-perception, ud over at skala op enkelt-encodere. Forbedringen er særligt udtalt, når vision-encoderne er låst op.
• Præalignment-trinnet er afgørende. ØRN introducerer et præalignment-trin, hvor ikke-tekst-orienterede visionseksperter individuelt finjusteres med en frozen LLM, før de trænes sammen. Dette trin forbedrer betydeligt MLLM-præstationen under den blanding-af-vision-encoder-design.

ØRN: Metodik og Arkitektur

I modsætning til tidligere metoder, der fokuserer på at designe nye fusionsparadigmer eller arkitekturer mellem vision-encodere, er ØRNs mål at identificere en minimalistisk design til at fusere forskellige vision-encodere, understøttet af detaljerede ablationer og fjernelse af unødvendige komponenter. Som vist i følgende figur, begynder ØRN med at udvide den grundlæggende CLIP-encoder til en samling af visionseksperter med forskellige arkitekturer, prætræningsopgaver og opløsninger. Med disse eksperter sammenligner ØRN forskellige fusionsarkitekturer og metoder og undersøger, hvordan man kan optimere prætræningsstrategier med flere encodere.

Til sidst kombinerer ØRN alle fundene og udvider tilgangen til multiple vision-encodere med varierende opløsninger og domæneviden. Ved hjælp af samme prætræningsdata som LLaVA-1.5, der består af 595.000 billed-tekst-par, går ØRN videre til den superviserede finjusteringstrin ved at indsamle data fra en række opgaver og konvertere dem til multimodale samtaler, herunder LLaVA-1.5, Laion-GPT4V, ShareGPT-4V, DocVQA, synDog-EN, ChartQA, DVQA og AI2D, hvilket resulterer i 934.000 eksempler.

Modellen er først prætrænet med billed-tekst-par i en epoch med en batch-størrelse på 256, hvor hele modellen er frozen, og kun projector-laget er opdateret. I den anden fase er modellen finjusteret på den superviserede finjusteringsdata i en epoch med en batch-størrelse på 128. Til denne undersøgelse anvender ØRN Vicuna-7B som den underliggende sprogmodel. Læringsraterne er sat til 1e-3 for den første fase og 2e-5 for den anden fase.

Stærkere CLIP-encoder

ØRN begynder undersøgelsen med CLIP-modellen, da den er blevet det primære valg for mange MLLM’er. Selvom CLIP-modeller er kendt for at forbedre multimodale opgaver, er deres begrænsninger også blevet godt dokumenteret. For eksempel har mange eksisterende MLLM’er en tendens til at bruge de prætrænede CLIP-opløsninger (såsom 224 × 224 eller 336 × 336) som deres indgangsopløsninger. I disse tilfælde kæmper encoderne ofte med at fange fine-grænse detaljer, der er vigtige for opløsningsfølsomme opgaver som OCR og dokumentforståelse.

For at håndtere øget indgangsopløsning er en almindelig tilgang tiling, hvor indgangsbilleder deles op i fliser og kodificeres separat. En anden mere simpel metode er at direkte skala op indgangsopløsningen og interpolere positionsembeddings af vision-transformer-modellen, hvis nødvendigt. ØRN sammenligner disse to tilgange med frozen og ufrozen vision-encodere på forskellige opløsninger, med resultaterne i ovenstående tabel. Fundene kan sammenfattes som følger:

• At låse op CLIP-encoderen fører til betydelig forbedring, når der interpoleres til en højere MLLM-indgangsopløsning, der adskiller sig fra CLIP-prætræningsopløsningen, uden præstationsnedgang, når opløsningerne forbliver de samme.
• At låse CLIP-encoderen og direkte tilpasse den til en højere MLLM-indgangsopløsning skader betydeligt præstationen.
• Blandt de sammenlignede strategier viser det sig, at direkte interpolering til 448 × 448 med en ufrozen CLIP-encoder er både effektiv og effektiv i forhold til præstation og omkostninger.
• Den bedste CLIP-encoder opnår en præstation, der er tæt på InternVL, på trods af at være en meget mindre model (300M vs. 6M) med mindre prætræningsdata.

Det er værd at bemærke, at CLIP-448 tillader ØRN at matche indstillingen med LLaVA-HR og InternVL, hvor CLIP-encoderne er tilsvarende tilpasset til at tage 448 × 448-indgang og udgive 1024 patch-tokens. Til yderligere undersøgelse følger ØRN denne simple strategi for at skala op indgangsopløsningen og låse op vision-encoderen under træning.

ØRN observerer, at eksisterende populære fusionsstrategier, på trods af deres designvariationer, kan bredt kategoriseres som følger:

1. Sequens-append: Direkte append af visuelle tokens fra forskellige baggrunde som en længere sekvens.
2. Kanal-konkatenering: Konkatenering af visuelle tokens langs kanal-dimensionen uden at øge sekvenslængden.
3. LLaVA-HR: Indsprøjtning af højopløsningsfunktioner i lavopløsningsvision-encodere ved hjælp af en blanding-af-opløsninger-adapter.
4. Mini-Gemini: Brug af CLIP-tokens som lavopløsningsforespørgsler til at cross-attendere en anden højopløsningsvision-encoder i samme lokale vinduer.
5. Deformabel attention: En ny baseline introduceret oven på Mini-Gemini, hvor den oprindelige vindueattention erstattes med deformabel attention.

I stedet for at træne en projector til at samtidigt alignere multiple visionseksperter, som i LLaVAs oprindelige prætræningsstrategi, træner vi først hver enkelt prætrænet visionsekspert med deres egen projector på SFT-data, mens sprogmodellen holdes frozen. Som vist i figuren nedenfor, består hele træningsprocessen af tre trin: 1) træning af hver prætrænet visionsekspert med deres egen projector på SFT-data, mens sprogmodellen holdes frozen; 2) kombination af alle visionseksperter fra første trin og træning af kun projector med billed-tekst-par-data; 3) træning af hele modellen på SFT-data.

ØRN: Eksperimenter og Resultater

Efter omhyggelig udvikling af sine strategier har ØRN etableret følgende principper for modellen: (1) integration af flere visionseksperter med en optimeret træningsopskrift; (2) kombination af multiple visionseksperter gennem direkte kanal-konkatenering; (3) prætræning af visionseksperterne separat via præalignment. I denne sektion vil ØRN sammenlignes med den nuværende tilstand af MLLM’er på forskellige opgaver. ØRN anvender Vicuna-v1.5-7B, Llama3-8B og Vicuna-v1.5-13B som sprogmodeller. For vision-encoderne er ØRN-modellerne betegnet som ØRN-X4, der inkluderer fire vision-encodere: CLIP, ConvNeXt, Pix2Struct og EVA-02, og ØRN-X5, der inkluderer en yderligere SAM-vision-encoder.

Visuel Spørgsmål Besvarelse Opgaver

ØRN sammenlignes på tre visuelle spørgsmål besvarelse benchmarks, herunder GQA, VQAv2 og VizWiz. Som vist i følgende tabel, opnår ØRN-X5 stat-of-the-art-præstation på GQA og VQAv2, hvilket understreger fordelene ved at inkorporere yderligere visionseksperter.

OCR og Chart Forståelse Opgaver

For at evaluere OCR-, dokument- og chart-forståelsesfunktionerne i ØRN, sammenlignes modellen på OCRBench, TextVQA og ChartQA. Som vist i ovenstående tabel, overgår ØRN betydeligt konkurrenterne på TextVQA, takket være sin højopløsningsarkitektur og integration af forskellige vision-encodere. Bemærkelsesværdigt er, at ØRN fastholder en simpel design, der understøtter op til 1024 tokens uden at kræve kompleks tile-dekomposition af billeder.

Figuren nedenfor præsenterer eksempler på OCR- og dokumentforståelsesfald. Med højopløsningsadaptation og inkorporering af flere visionseksperter kan ØRN identificere små tekst inden for billeder og nøjagtigt udtrække information baseret på brugerinstruktioner.

For bedre at forstå fordelene ved at introducere eksperter, der er prætrænet på andre vision-opgaver, visualiserer følgende figur resultater fra en model med kun ConvNeXt- og CLIP-vision-encodere sammenlignet med resultaterne fra ØRN-X5. Med den fulde samling af vision-encodere korrekturerer modellen succesfuldt fejl, hvilket demonstrerer, at selv med højopløsningsvision-encodere prætrænet på vision-sprog-alignment, er ØRNs funktioner yderligere forbedret ved at integrere yderligere visionseksperter prætrænet på diverse vision-opgaver.

Multimodal Benchmark Evaluering

ØRN evalueres på syv benchmarks for MLLM’er for at demonstrere dens funktioner fra forskellige perspektiver, herunder MME, MMBench, SEED, MathVista, MMMU, ScienceQA og POPE. Specifikt vurderer MME, MMBench og SEED den samlede præstation på forskellige virkelige opgaver, der involverer reson, genkendelse, viden og OCR. MMMU fokuserer på udfordrende problemer fra forskellige domæner, der kræver universitetsniveau-viden. POPE vurderer de visuelle hallucinationer af MLLM’er. Metrikkerne, der anvendes i denne evaluering, er i overensstemmelse med de standardindstillinger for disse benchmarks. ØRN rapporterer perception-scoren for MME, en_dev-split for MMBench, image-split for SEED, test-mini-split for MathVista, val-split for MMMU, F1-score for POPE og image-score for ScienceQA, hvilket sikrer overensstemmelse med de rapporterede score fra andre modeller.

Endelige Tanker

I denne artikel har vi talt om ØRN, en dybdegående analyse af designrummet for integration af vision-encodere i multimodale store sprogmodeller. I modsætning til tidligere arbejder, der fokuserer på at designe nye fusionsparadigmer, finder ØRN, at systematiske designvalg er vigtige, og opdager en række nyttige teknikker. Trin for trin optimerer ØRN træningsopskriften for enkeltvision-encodere, identificerer en udvidbar og effektiv fusionsmetode og kombinerer gradvist vision-encodere med forskellig domæneviden. Resultaterne understreger den kritiske vigtighed af grundlæggende designrum-overvejelser.