Fremgangen i store sprogmodeller har betydeligt accelereret udviklingen af naturlig sprogbehandling, eller NLP. Introduktionen af transformer-rammeværket var et milepæl, der lettede udviklingen af en ny bølge af sprogmodeller, herunder OPT og BERT, som viser dyb forståelse for sprog. Derudover introducerede GPT, eller Generative Pre-trained Transformer-modeller, en ny paradigm med autoregressiv modeling og etablerede en robust metode til sprogforudsigelse og -generering. Ankomsten af sprogmodeller som GPT-4, ChatGPT, Mixtral, LLaMA og andre har yderligere accelereret udviklingen, hvor hver model viser forbedret præstation i opgaver, der involverer kompleks sprogbehandling. Blandt eksisterende metoder er instruktionsafstemning blevet en nøgleteknik til at raffinere outputtet af store forudtrænede sprogmodeller, og integrationen af disse modeller med specifikke værktøjer til visuelle opgaver har højligtet deres tilpasningsevne og åbnet døre for fremtidige anvendelser. Disse strækker sig langt ud over den traditionelle tekstbaserede behandling af LLM’er til at inkludere multimodale interaktioner.

Derudover har konvergeringen af naturlig sprogbehandling og computer vision-modeller givet anledning til VLM’er, eller Vision Language Modeller, som kombinerer sprog- og visionmodeller for at opnå cross-modale forståelse og resonanskapaciteter. Integrationen og introduktionen af visuelle og sproglige modeller har spillet en afgørende rolle i at fremme opgaver, der kræver både sprogbehandling og visuel forståelse. Fremkomsten af revolutionerende modeller som CLIP har yderligere broet gapet mellem vision-opgaver og sprogmodeller, og demonstreret muligheden og praktikabiliteten af cross-modale anvendelser. Mere nylige rammer som LLaMA og BLIP udnytter tilpasset instruktionsdata til at udvikle effektive strategier, der demonstrerer modellens potente kapaciteter. Derudover er kombinationen af store sprogmodeller med billedoutput fokus for nyeste multimodale forskning, hvor nyere metoder kan omgå direkte generering ved at udnytte billedhentningsmetoden til at producere billedoutput og interpolerede tekster.

Med det sagde, og på trods af de hurtige fremskridt i vision language modeller, der faciliterer grundlæggende resonans og visuel dialog, eksisterer der stadig en betydelig præstationsgap mellem avancerede modeller som GPT-4 og vision language modeller. Mini-Gemini er et forsøg på at mindske gapet, der eksisterer mellem vision language modeller og mere avancerede modeller ved at udvine potentialet for VLM’er for bedre præstation fra tre aspekter: VLM-guidet generering, højkvalitetsdata og højopløsningsvisuelle tokens. For at forbedre visuelle tokens foreslår Mini-Gemini-rammeværket at udnytte en ekstra visuel encoder til højopløsningsraffinering uden at øge antallet af visuelle tokens. Mini-Gemini-rammeværket konstruerer desuden en højkvalitetsdataset i et forsøg på at fremme præcis forståelse af billeder og resonansbaseret generering. Samlet set forsøger Mini-Gemini-rammeværket at udvine potentialet for vision language modeller og sigter på at udruste eksisterende rammer med billedforståelse, -resonans og -genereringskapaciteter samtidig. Denne artikel sigter på at dække Mini-Gemini-rammeværket i dybden, og vi udforsker mekanismen, metoden, arkitekturen i rammeværket samt sammenligningen med state of the art-rammer. Så lad os komme i gang.

Mini-Gemini: Acceleration af Multi-Modal VLM’er

Gennem årene er store sprogmodeller blevet udviklet, og de kan nu præstere bemærkelsesværdige multimodale kapaciteter og er blevet en essentiel del af nuværende vision language modeller. Der eksisterer dog et gap mellem de multimodale præstationer af store sprogmodeller og vision language modeller, og nyeste forskning søger at kombinere vision med store sprogmodeller ved hjælp af billeder og videoer. For vision-opgaver i sig selv er billedopløsning en afgørende faktor for at udtrykke den omgivende miljø med minimal visuel hallucination. For at brokke gapet udvikler forskere modeller til at forbedre den visuelle forståelse i nuværende vision language modeller, og to af de mest almindelige tilgange er: at øge opløsningen og øge antallet af visuelle tokens. Selvom øgningen af antallet af visuelle tokens med højere opløsning billeder kan forbedre den visuelle forståelse, er forbedringen ofte ledsaget af øgede beregningskrav og tilhørende omkostninger, især når der behandles multiple billeder. Derudover forbliver kapaciteterne af eksisterende modeller, kvaliteten af eksisterende data og anvendeligheden utilstrækkelige til en accelereret udviklingsproces, og efterlader forskere med spørgsmålet: hvordan man kan accelerere udviklingen af vision language modeller med acceptabelle omkostninger?

… (rest of the translation remains the same)