Het vermogen om complexe visuele informatie nauwkeurig te interpreteren is een cruciaal onderdeel van multimodale grote taalmodellen (MLLM’s). Recent onderzoek toont aan dat verbeterde visuele perceptie hallucinaties aanzienlijk vermindert en de prestaties op resolutiegevoelige taken, zoals optische tekenherkenning en documentanalyse, verbetert. Verschillende recente MLLM’s bereiken dit door een mengsel van visie-encoders te gebruiken. Ondanks hun succes is er een gebrek aan systematische vergelijkingen en gedetailleerde ablatie-studies die kritische aspecten aanpakken, zoals expertselectie en de integratie van meerdere visie-experts. Dit artikel biedt een uitgebreide verkenning van de ontwerpruimte voor MLLM’s met een mengsel van visie-encoders en resoluties, het Eagle-kader dat probeert de ontwerpruimte voor multimodale grote taalmodellen met een mengsel van encoders te verkennen. De resultaten onthullen verschillende onderliggende principes die gemeenschappelijk zijn aan verschillende bestaande strategieën, wat leidt tot een gestroomlijnde maar effectieve ontwerpbenadering. Eagle ontdekt dat het simpelweg concateneren van visuele tokens van een set van complementaire visie-encoders net zo effectief is als complexe mengarchitecturen of -strategieën. Bovendien introduceert Eagle Pre-Alignment om de kloof tussen visie-georiënteerde encoders en taaltokens te overbruggen, waardoor de modelcoherentie wordt verbeterd. De resulterende familie van MLLM’s, Eagle, overtreft andere toonaangevende open-source-modellen op belangrijke MLLM-benchmarks.

Eagle’s werk is gerelateerd aan de algemene architectuurontwerp van multimodale grote taalmodellen (MLLM’s). Naast de lijn van representatieve open-source-onderzoek die eerder werd genoemd, omvatten andere opvallende families van MLLM’s MiniGPT-4, Lynx, Otter, QwenVL, CogVLM, VILA, GPT-4V, Gemini en Llama 3.1. Afhankelijk van hoe visiesignalen in de taalmodel worden geïntegreerd, kunnen MLLM’s breed worden onderverdeeld in “cross-modale aandacht” -modellen en “prefix-tuning” -modellen. De eerste injecteert visuele informatie in verschillende lagen van LLM’s met cross-modale aandacht, terwijl de laatste visuele tokens behandelt als onderdeel van de taaltokensequentie en ze rechtstreeks toevoegt met tekstembeddings. Eagle’s model behoort tot de prefix-tuning-familie door een LLaVA-geïnspireerde multimodale architectuur te volgen. Aangezien MLLM een snel groeiend veld is, beveelt Eagle aan om voor verdere inzichten te verwijzen naar meer gedetailleerde studies en onderzoeken.

Eagle’s werk is nauw verwant aan onderzoek dat zich richt op het verbeteren van visie-encoderontwerpen voor MLLM’s. Vroege werken gebruikten visie-encoders die waren voorgetraind op visie-taalalignementtaken zoals CLIP en EVA-CLIP. Sterkere visie-encoders, zoals SigLIP en InternVL, zijn voorgesteld om visie-taaltaken te verbeteren met betere ontwerpen, grotere modelgroottes en meer effectieve trainingsrecepten. Aangezien modellen vaak zijn voorgetraind op lage resolutiebeelden en mogelijk niet in staat zijn om fijne details te coderen, wordt hogere resolutieaanpassing vaak uitgevoerd om de MLLM-invoerresolutie te verhogen. Naast hogere resolutieaanpassing gebruiken modellen zoals LLaVA-NeXT, LLaVA-UHD, Monkey, InternLM-XComposer en InternVL tiling of adaptieve tiling om hoge resolutie-invoer te verwerken, waarbij beelden worden verdeeld in lage resolutiepatches en afzonderlijk worden verwerkt. Hoewel de mogelijkheid om hogere resolutie te verwerken mogelijk wordt gemaakt door extra visie-experts toe te voegen, verschilt deze benadering enigszins van tiling-technieken, hoewel beide compatibel zijn en kunnen worden gecombineerd.

EAGLE: Het gebruik van een mengsel van encoders om de ontwerpruimte voor multimodale MLLM’s te verkennen

Het succes van grote taalmodellen (LLM’s) heeft een significante interesse gewekt in het mogelijk maken van hun visuele perceptiecapaciteiten, waardoor ze kunnen zien, begrijpen en redeneren in de echte wereld. Aan de kern van deze multimodale grote taalmodellen (MLLM’s) ligt een typisch ontwerp waarin beelden worden omgezet in een reeks visuele tokens door de visie-encoders en toegevoegd aan de tekstembeddings. CLIP wordt vaak gekozen als de visie-encoder omdat de visuele representatie is uitgelijnd met de tekstruimte door vooraf te trainen op beeld-tekstparen. Afhankelijk van de architectuur, trainingsrecepten en de manier waarop visietokens in het taalmodel worden geïnjecteerd, omvatten opvallende families van MLLM’s Flamingo, BLIP, PaLI, PaLM-E en LLaVA. De meeste van deze modellen behouden relatief lage invoerresoluties vanwege beperkingen in voorgetrainde visie-encoders en LLM-sequentielengte. Eagle’s werk is nauw verwant aan modellen die meerdere visie-encoders gebruiken voor verbeterde perceptie. Mini-Gemini en LLaVA-HR stellen voor om hoge resolutievisuele functies te fusioneren in lage resolutievisuele tokens. Voorbij resolutieproblemen kunnen deze voorgetrainde visie-encoders mogelijk niet over specifieke capaciteiten beschikken, zoals tekst lezen of objecten lokaliseren. Om dit aan te pakken, integreren verschillende modellen visie-encoders die zijn voorgetraind op verschillende visietaken om de capaciteiten van de visie-encoder te verbeteren.

Bijvoorbeeld modellen zoals Mousi en Brave fusioneren visuele tokens van verschillende visie-encoders door te concatenen langs het kanaal of de tokendimensie. RADIO introduceert een multi-teacher-distillatiemethode om de capaciteiten van verschillende visie-encoders te verenigen in één model. MoAI, IVE en Prismer gebruiken de uitvoer van visie-experts, zoals OCR, detectie of diepteschatting, om extra informatie toe te voegen voor MLLM’s om antwoorden te genereren. MoVA ontwikkelt een routeringsnetwerk om een optimale visiemodel te toewijzen op basis van het gegeven beeld en instructies.

Recente studies hebben aangetoond dat sterkere visie-encoderontwerpen belangrijk zijn voor het verminderen van MLLM-hallucinaties en het verbeteren van de prestaties op resolutiegevoelige taken zoals optische tekenherkenning (OCR). Verschillende werken richten zich op het verbeteren van de capaciteiten van de visie-encoder, hetzij door de vooraftrainingsgegevens en parameters op te schalen, hetzij door beelden te verdelen in lage resolutiepatches. Deze benaderingen introduceren echter vaak grote trainingsresource-eisen. Een efficiënte maar krachtige strategie is het mengen van visuele encoders die zijn voorgetraind met verschillende taken en invoerresoluties, hetzij door het fusioneren van hogere resolutie-encoders met de CLIP-encoder, het sequentieel toevoegen van functies van verschillende encoders, hetzij door het aannemen van complexere fusie- en routeringsstrategieën om de voordelen van verschillende encoders te maximaliseren. Deze “mengsel-van-visie-experts”-benadering is effectief gebleken, hoewel een gedetailleerde studie van de ontwerpruimte met gedetailleerde ablatie nog steeds ontbreekt, waardoor Eagle deze gebieden opnieuw onderzoekt. Belangrijke vragen blijven: welke visie-encodercombinaties moeten worden gekozen, hoe moeten verschillende experts worden gefuseerd en hoe moeten trainingsstrategieën worden aangepast met meer visie-encoders.

Om deze vragen te beantwoorden, onderzoekt Eagle systematisch de mengsel-van-visie-encoders-ontwerpruimte voor verbeterde MLLM-perceptie. De verkenning van deze ontwerpruimte omvat de volgende stappen: 1) het benchmarken van verschillende visie-encoders en het zoeken naar hogere resolutieaanpassing; 2) het uitvoeren van een “appels met appels”-vergelijking tussen visie-encoderfusiestrategieën; 3) het progressief identificeren van de optimale combinatie van meerdere visie-encoders; 4) het verbeteren van visie-expertpre-alignment en gegevensmenging. De verkenningstappen worden weergegeven in de onderstaande afbeelding.

Eagle’s studie dekt de prestaties van visie-encoders die zijn voorgetraind op verschillende taken en resoluties, zoals visie-taalalignement, zelfstandig leren, detectie, segmentatie en OCR. Met een round-robin-benadering begint Eagle met de basis-CLIP-encoder en voegt één extra expert toe per ronde, waarbij de expert wordt geselecteerd die de beste verbetering biedt in elke ronde.

Terwijl Eagle’s werk niet het eerste is dat meerdere visie-encoders in MLLM’s gebruikt, leidt de systematische studie tot verschillende belangrijke bevindingen onder deze instelling:

• Visie-encoders ontgrendelen tijdens MLLM-training is belangrijk. Dit is in contrast met modellen zoals LLaVA en anderen die meerdere visie-encoders of leraren gebruiken, waarbij het invriezen van de visie-encoders een gebruikelijke praktijk is.
• Sommige onlangs voorgestelde fusiestrategieën vertonen geen significante voordelen. In plaats daarvan blijkt rechttoe rechtaan kanaalconcatenatie een eenvoudige maar concurrerende fusiestrategie te zijn, die de beste efficiëntie en prestaties biedt.
• Het opnemen van extra visie-experts leidt tot consistente winst. Dit maakt het een veelbelovende weg voor het systematisch verbeteren van MLLM-perceptie, naast het opschalen van enkele encoders. De verbetering is vooral opvallend wanneer visie-encoders zijn ontgrendeld.
• Pre-alignmentfase is sleutel. Eagle introduceert een pre-alignmentfase waarin niet-tekst-georiënteerde visie-experts individueel worden fijngestemd met een bevroren LLM voordat ze samen worden getraind. Deze fase verbetert de MLLM-prestaties aanzienlijk onder de mengsel-van-visie-encoder-ontwerp.

Eagle: Methodologie en Architectuur

In tegenstelling tot eerdere methoden die zich richten op het ontwerpen van nieuwe fusieparadigma’s of -architecturen tussen visie-encoders, is Eagle’s doel om een minimalistisch ontwerp te identificeren om verschillende visie-encoders te fusioneren, ondersteund door gedetailleerde ablatie en het verwijderen van alle onnodige componenten. Zoals weergegeven in de onderstaande afbeelding, begint Eagle met het uitbreiden van de basis-CLIP-encoder tot een set van visie-experts met verschillende architectuur, vooraftrainings taken en resoluties. Met deze experts vergelijkt Eagle vervolgens verschillende fusie-architecturen en -methoden en onderzoekt hoe pre-trainingsstrategieën met meerdere encoders kunnen worden geoptimaliseerd.

Ten slotte combineert Eagle alle bevindingen en breidt de benadering uit naar meerdere expertvisie-encoders met variabele resoluties en domeinkennis. Met hetzelfde vooraftrainingsgegevens als LLaVA-1.5, dat bestaat uit 595k beeld-tekstparen, verplaatst Eagle zich naar de begeleide fijne afstemmingsfase door gegevens te verzamelen uit een reeks taken en deze om te zetten in multimodale conversaties, waaronder LLaVA-1.5, Laion-GPT4V, ShareGPT-4V, DocVQA, synDog-EN, ChartQA, DVQA en AI2D, resulterend in 934k voorbeelden.

Het model wordt eerst voorgetraind met beeld-tekstparen voor één epoch met een batchgrootte van 256, waarbij het hele model is bevroren en alleen de projectorlaag wordt bijgewerkt. In de tweede fase wordt het model fijngestemd op de begeleide fijne afstemmingsgegevens voor één epoch met een batchgrootte van 128. Voor deze verkenning gebruikt Eagle Vicuna-7B als de onderliggende taalmodel. De leerpercentages zijn ingesteld op 1e-3 voor de eerste fase en 2e-5 voor de tweede fase.

Sterkere CLIP-encoder

Eagle begint de verkenning met het CLIP-model, aangezien het de primaire keuze is geworden voor veel MLLM’s. Terwijl CLIP-modellen bekend staan om het verbeteren van multimodale taken, zijn hun beperkingen ook goed gedocumenteerd. Bijvoorbeeld gebruiken veel bestaande MLLM’s de voorafgetrainde CLIP-resoluties (zoals 224 × 224 of 336 × 336) als hun invoerresoluties. In deze gevallen worstelen de encoders vaak met het vastleggen van fijne details die belangrijk zijn voor resolutiegevoelige taken zoals OCR en documentbegrip.

Om de verhoogde invoerresolutie te verwerken, is een veelvoorkomende benadering tiling, waarbij invoerbeelden worden verdeeld in tegels en afzonderlijk worden gecodeerd. Een eenvoudigere methode is om de invoerresolutie rechtstreeks op te schalen en de positie-embeddings van het visietransformator-model te interpoleren als dat nodig is. Eagle vergelijkt deze twee benaderingen met bevroren en onbevroren visie-encoders over verschillende resoluties, met de resultaten in de bovenstaande tabel. De bevindingen kunnen als volgt worden samengevat:

• Het ontgrendelen van de CLIP-encoder leidt tot een aanzienlijke verbetering wanneer wordt geïnterpoleerd naar een hogere MLLM-invoerresolutie die verschilt van de CLIP-vooraftrainingsresolutie, zonder prestatieverslechtering wanneer resoluties hetzelfde blijven.
• Het bevriezen van de CLIP-encoder en het rechtstreeks aanpassen aan een hogere MLLM-invoerresolutie schaadt de prestaties aanzienlijk.
• Onder de vergeleken strategieën blijkt het rechtstreeks interpoleren naar 448 × 448 met een onbevroren CLIP-encoder zowel effectief als efficiënt te zijn in termen van prestaties en kosten.
• De beste CLIP-encoder bereikt prestaties die dicht bij InternVL liggen, ondanks dat het een veel kleinere model is (300M vs. 6B) met minder vooraftrainingsgegevens.

Het is de moeite waard om op te merken dat CLIP-448 Eagle in staat stelt om de instelling te evenaren met LLaVA-HR en InternVL, waar de CLIP-encoders op vergelijkbare wijze zijn aangepast om 448 × 448 invoer te accepteren en 1024 patch-tokens uit te voeren. Voor verdere onderzoek volgt Eagle deze eenvoudige strategie van het opschalen van de invoerresolutie en het ontgrendelen van de visie-encoder tijdens de training.

Eagle observeert dat bestaande populaire fusiestrategieën, ondanks hun ontwerpvariaties, breed kunnen worden onderverdeeld in de volgende categorieën:

1. Sequentie Append: Het rechtstreeks toevoegen van visuele tokens van verschillende backbones als een langere sequentie.
2. Kanaalconcatenatie: Het concatenen van visuele tokens langs de kanaaldimensie zonder de sequentielengte te verhogen.
3. LLaVA-HR: Het injecteren van hoge resolutiekenmerken in lage resolutievisie-encoders met een mengsel-van-resolutie-adapter.
4. Mini-Gemini: Het gebruiken van de CLIP-tokens als lage resolutiequery’s om een andere hoge resolutievisie-encoder te cross-attenderen in co-gelegen lokale vensters.
5. Deformable Attention: Een nieuwe baseline die is geïntroduceerd op basis van Mini-Gemini, waarbij de standaardwindowaandacht wordt vervangen door deformable attention.

In plaats van het trainen van een projector om meerdere visie-experts tegelijk te alignen, zoals in LLaVA’s oorspronkelijke vooraftrainingsstrategie, aligneert Eagle eerst de representatie van elke individuele expert met een kleinere taalmodel (Vicuna-7B in de praktijk) met behulp van next-token-predictie-supervisie. Zoals weergegeven in de onderstaande afbeelding, met pre-alignment, bestaat de hele trainingsproces uit drie stappen: 1) het trainen van elke voorgetrainde visie-expert met hun eigen projector op SFT-gegevens, terwijl de taalmodel bevroren wordt gehouden; 2) het combineren van alle visie-experts van de eerste stap en het trainen van alleen de projector met beeld-tekstgegevens; 3) het trainen van het hele model op de SFT-gegevens.

Eagle: Experimenten en Resultaten

Na het zorgvuldig ontwikkelen van zijn strategieën, heeft Eagle de volgende principes vastgesteld voor het model: (1) het integreren van meer visie-experts met een geoptimaliseerde trainingsrecept; (2) het combineren van meerdere visie-experts door middel van rechtstreekse kanaalconcatenatie; (3) het vooraf trainen van visie-experts afzonderlijk via pre-alignment. In deze sectie, om de voordelen van de Eagle-modellen verder te demonstreren, wordt extra trainingsgegevens opgenomen en wordt Eagle vergeleken met de huidige staat-van-de-kunst MLLM’s over verschillende taken. Eagle gebruikt Vicuna-v1.5-7B, Llama3-8B en Vicuna-v1.5-13B als de taalmodellen. Voor de visie-encoders worden, op basis van de resultaten in Sectie 2.6, Eagle-modellen aangeduid als Eagle-X4, die vier visie-encoders omvat: CLIP, ConvNeXt, Pix2Struct en EVA-02, en Eagle-X5, die een extra SAM-visie-encoder bevat.

Visuele Vraagbeantwoordingstaken

Eagle vergelijkt de modelreeks over drie Visuele Vraagbeantwoording (VQA) -benchmarks, waaronder GQA, VQAv2 en VizWiz. Zoals weergegeven in de onderstaande tabel, bereikt Eagle-X5 staat-van-de-kunstprestaties op GQA en VQAv2, waarmee de voordelen van het opnemen van extra visie-experts worden benadrukt.

OCR en Grafiekbegrips taken

Om de OCR-, document- en grafiekbegripscapaciteiten van Eagle te evalueren, wordt het model getest op OCRBench, TextVQA en ChartQA. Zoals weergegeven in de bovenstaande tabel, overtreft Eagle aanzienlijk zijn concurrenten op TextVQA, dankzij zijn hoge resolutiearchitectuur en de integratie van verschillende visie-encoders. Opvallend is dat Eagle een eenvoudig ontwerp behoudt, waarmee het tot 1024 tokens kan worden ondersteund zonder complexe tegeldecompositie van beelden te vereisen.

De onderstaande afbeelding toont voorbeelden van OCR- en documentbegripsgevallen. Met hoge resolutieaanpassing en het opnemen van meer visie-experts, kan Eagle kleine tekst binnen beelden identificeren en informatie nauwkeurig extraheren op basis van gebruikersinstructies.

Om de voordelen van het introduceren van experts die zijn voorgetraind op andere visietaken beter te begrijpen, toont de onderstaande afbeelding resultaten van een model met alleen de ConvNeXt- en CLIP-visie-encoders, in vergelijking met de resultaten van Eagle-X5. Met de volledige set van visie-encoders, corrigeert het model met succes fouten, waarmee wordt aangetoond dat, zelfs wanneer uitgerust met hoge resolutievisie-encoders die zijn voorgetraind op visie-taalalignement, Eagle’s capaciteiten verder worden verbeterd door het integreren van extra visie-experts die zijn voorgetraind op diverse visietaken.

Multimodale Benchmark Evaluatie

Eagle wordt geëvalueerd op zeven benchmarks voor MLLM’s om zijn capaciteiten vanuit verschillende perspectieven te demonstreren, waaronder MME, MMBench, SEED, MathVista, MMMU, ScienceQA en POPE. Specifiek beoordelen MME, MMBench en SEED de algehele prestatie op verschillende real-worldtaken die redeneren, herkenning, kennis en OCR omvatten. MMMU richt zich op uitdagende problemen uit diverse domeinen die kennis op universitair niveau vereisen. POPE evalueert de visuele hallucinaties van MLLM’s. De metrics die in deze evaluatie worden gebruikt, zijn in overeenstemming met de standaardinstellingen van deze benchmarks. Eagle rapporteert de perceptiescore voor MME, de en_dev-split voor MMBench, de image-split van SEED, de test-mini-split van MathVista, de val-split van MMMU, de F1-score van POPE en de imagescore voor ScienceQA, waarmee overeenstemming met de gerapporteerde scores van andere modellen wordt gegarandeerd.

Finale Gedachten

In dit artikel hebben we het over Eagle gehad, een diepgaande analyse van de ontwerpruimte voor het integreren van visie-encoders in multimodale grote taalmodellen. In tegenstelling tot eerdere werken die zich richten op het ontwerpen van nieuwe fusieparadigma’s, ontdekt Eagle dat systematische ontwerpkeuzes ertoe doen en ontdekt een reeks van nuttige technieken. Stap voor stap optimaliseert Eagle de trainingsrecept van individuele visie-encoders, identificeert een uitbreidbare en efficiënte fusiemethode en combineert geleidelijk visie-encoders met verschillende domeinkennis. De resultaten benadrukken de kritische belangrijkheid van basisontwerpruimteoverwegingen.