Att möjliggöra rumslig förståelse i vision-språksmodeller förblir en central utmaning inom forskningen. Denna förståelse utgör grunden för två avgörande förmågor: grundning och referens. Referens möjliggör för modellen att tolka semantiken för specifika områden på ett korrekt sätt, medan grundning innebär att använda semantiska beskrivningar för att lokalisera dessa områden.

Utvecklare har introducerat Ferret, en multimodal stor språkmodell (MLLM), som kan förstå rumslig referens över alla granulariteter eller former i en bild och exakt grundlägga öppenvokabulära beskrivningar. Ferret använder en ny hybridrepresentation som kombinerar kontinuerliga funktioner och diskreta koordinater för att representera bildområden. Dess rumsligt medvetna visuella provtagare hanterar varierande sparsitet i former, vilket gör det möjligt att bearbeta olika typer av områdesinmatningar, som fritt formade former, begränsningsrutor och punkter.

Ferrets tillvägagångssätt möjliggör för det att utmärka sig i klassiska grundnings- och referensuppgifter och överträffa andra MLLM i lokalisering och regionsbaserad multimodal kommunikation. Den här artikeln undersöker Ferrets arkitektur och metodik, med fokus på dess imponerande prestanda i olika multimodala språkuppgifter. Låt oss utforska detta vidare.

Ferret: Överlägsen prestanda i referens- och grundningsuppgifter

Referens i en modell är en förmåga som möjliggör för modellen att förstå semantiken för specifika områden på ett korrekt sätt, medan grundning gör det möjligt för modellen att använda semantiska beskrivningar för att lokalisera områdena. Även om de kan skilja sig i sina respektive uppgifter, har både referens och grundning samma grundläggande koncept: anpassning av rumslig semantik och information. Men trots att de delar samma koncept, lär sig befintliga modeller grundning och referens individuellt. Även om metoden fungerar, utgör den ett hinder för att uppnå mänskliga förmågor, eftersom människor kan lära sig från en uppgift och applicera kunskaperna på andra uppgifter utan ansträngning och integrera grundnings-/referensförmågor med resonemang och vardagligt samtal. Ferret-ramverket tar inspiration från det nämnda gapet i befintliga MLLM-ramverk och studerar tre huvudsakliga frågor:

1. Hur kan man förena grundnings- och referensförmågor i ramverket, och hur kan deras förening gynna varandra?
2. Människor använder olika typer av områden, som rutor, punkter, skissningar, fritt formade former för referens. Hur kan man representera dessa varierande områden?
3. Hur kan man göra grundning och referens instruktionsföljande, robusta och öppenvokabulära, vilket är avgörande för deras praktiska och realtidsapplikationer?

Ferret-ramverket är en ny referens- och grundningsmultimodal stor språkmodell som försöker besvara dessa frågor. Ferret-ramverket väljer en Multimodal Large Language Model som grund på grund av deras anmärkningsvärda globala syn och språkförståelseförmågor. Dessutom, för att förena grundnings- och referensförmågorna, representerar Ferret-ramverket områdeskoordinaterna i naturligt språk i numerisk form. Men i praktiken är det ineffektivt att använda koordinater för att representera fritt formade former, eftersom dessa former är varierande. För att hantera detta problem använder Ferret-ramverket en rumsligt medveten visuell provtagare som förvärvar visuella områden för områden oavsett form, vilket förhandlar med varierande sparsitet i dessa former. Ramverket kombinerar sedan de kontinuerliga visuella funktionerna med diskreta koordinater för att representera de visuella områdena i inmatningen, vilket resulterar i skapandet av en hybridområdesrepresentation i Ferret.

Ferret-ramverket använder ovanstående metoder för att lösa inmatning som blandar fritt formad text med hänvisade områden och kan generera koordinaterna för varje grundbart objekt med genererad text för att grundlägga de nämnda objekten i utmatningen. Genom att göra detta är Ferret det första ramverket som bearbetar fritt formade inmatningsområden i Multimodal Large Language Models. Dessutom absorberar Ferret-ramverket anmärkningsvärda öppenvokabulära förmågor för rumslig lokalisering och förståelse, vilket möjliggör för ramverket att uppnå överlägsen prestanda när det utvärderas på konventionella grundnings- och referensuppgifter.

Ferret-ramverket söker inspiration från tre befintliga AI-ramverk, inklusive Multimodal Large Language Models, MLLM för referens och grundning samt förening av grundning och visuell förståelse.

Införandet av stora språkmodeller, inklusive GPT, DALL-E, PaLM, LLaMA och BLOOM, har förändrat landskapet inom NLP-forskning, vilket har resulterat i betydande framsteg inom multimodala språkmodeller. De tidigare multimodala språkmodellerna fokuserade främst på storskalig bild-textgenerering med några anmärkningsvärda exempel som PaLI, SimVLM, GIT, BLIP-2, FLAMINGO, CM3 och PaLI-X. Men sedan Flamingo-ramverket uppnådde en effektiv integration av LLM med en förtränad CLIP-bildkodare via cross-gated attention-block, vilket resulterade i anmärkningsvärda multimodala few-shot-lärförmågor. Den nuvarande forskningen söker sätt att använda förtränade stora språkmodeller för visuell instruktionsjustering med några anmärkningsvärda exempel som MiniGPT-4, Otter, InstructBLIP och mer. Dessutom har modeller som Emu och GILL visat anmärkningsvärd framgång i att använda MLLM för bildgenerering och bildsökning. Ferret-ramverket hänvisar också till tidigare forskning som fokuserar på att förena text och begränsningsruta för vision-språksmodeller.

Ferret: Metodik och arkitektur

Hybridområdesrepresentationer

Punkt, ruta och fritt formade former är de tre dominerande formaten som en språkmodell använder när den hänvisar till specifika områden. Å ena sidan kan punkt- och ruteformaten representeras exakt av koordinater, men att kartlägga fritt formade former är lite utmanande, eftersom fritt formade former är varierande. Som varierande former kan de omfatta en mängd olika områden, inklusive masker, polygoner och skissningar. Att använda koordinater för att beskriva fritt formade former är en komplex uppgift som hindrar modellens förmåga att lära sig att etablera en korrelation mellan områdena och motsvarande koordinater. Dessutom är användningen av koordinater för fritt formade former beräkningsmässigt dyr och otydlig.

För att hantera detta problem och för att generalisera över alla tre formaten, föreslår Ferret-ramverket en hybridområdesrepresentation som samverkar kontinuerliga visuella funktioner med diskreta koordinater för att hänvisa till ett specifikt område.

För kontinuerliga visuella funktioner, för ett givet område, konstruerar Ferret-ramverket först en 2D-binär mask av samma storlek som bilden och markerar ett värde 1 inom det målade området medan det tilldelar ett värde 0 utanför området. Modellen extraherar sedan den binära masken tillsammans med den extraherade bildfunktionen och skickar den till den rumsligt medvetna visuella provtagaren.

Arkitektur

Ferret-modellens arkitektur består av tre huvudkomponenter

1. En bildkodare för att extrahera bildinbäddningar.
2. En rumsligt medveten visuell provtagare för att extrahera regionala kontinuerliga funktioner.
3. En stor språkmodell för att modellera text, bild och områdesfunktioner gemensamt.

Bilden matas först in i den förtränade visuella kodaren för att extrahera bildinbäddningarna. För textinmatningar använder ramverket först en förtränad LLM-tokenisator för att tokenisera textsekvensen och projekterar sedan tokenen till textinbäddningar. För hänvisade områden lägger Ferret till en specialtoken och koordinaterna som en placeholder för kontinuerliga funktioner efter områdesnamnet. Om områdesnamnet är okänt eller är komplext att beskriva på grund av inkludering av flera objekt, använder ramverket bara områdesnamnet eller regionens namn.

En av de stora utmaningarna när det gäller hänvisade områden är att deras form kan vara ganska varierande, vilket innebär att de kan ha olika former och inte bara är begränsade till rektangulära rutor eller punkter. Hänvisade områden med oregelbundna former kan inte bearbetas med traditionella metoder som gridbaserad bearbetning, inklusive patch-attention eller konvolutions-tekniker. För att hantera detta problem föreslår Ferret-ramverket en rumsligt medveten visuell provtagare. För en given extraherad funktion med en binär områdesmask, matar Ferret-modellen först in den extraherade funktionen i en vattenfall av block, var och en av dem passerar genom tre olika faser: sampling, insamling och poolning. I sampelfasen sampas ett fast antal punkter från N antal punkter som finns tillgängliga med hjälp av FPS eller Farthest Point Sampling-algoritmen, som garanterar tillräcklig täckning. I den andra fasen, för varje sampelpunkt, söker ramverket efter dess k närmaste grannar från poolen av tillgängliga N punkter. För varje grupp, fusionerar modellen sedan funktionerna hos en sampelpunkt med dess grannpunkter. I den sista fasen, genomför Ferret-ramverket en maxpoolning för att fusionera k-grannfunktioner till en funktion som fungerar som representationen för den sampade punkten. Genom att utföra dessa tre faser, är Ferret-ramverket kvar med färre punkter men funktioner med högre densitet, eftersom det inte bara inkorporerar funktionerna hos lokala grannar utan också deras relativa positioner.

GPT-assisterad visuell datagenerering

Dialoginstruktionsjusteringsdata är av avgörande betydelse för multimodala stora språkmodeller, eftersom de inte bara hjälper till att konvertera befintliga dataset med hjälp av mallar, utan också hjälper modellen att förstå mänsklig avsikt och generera lämpliga svar. De flesta MLLM använder en few-shot-prompt-metod för att erhålla visuell instruktionsjusteringsdata, där modellen tillhandahåller en textbeskrivning av scener i bilden tillsammans med mänskligt annoterade dialoger som few-shot-demonstrationer. Men befintliga instruktionsjusteringsmetoder fokuserar främst på att beskriva hela bilden utan att specificera spatial-relaterad information explicit. Ferret-ramverket betonar regionsbaserad kunskap för att samla in referens- och grundningsinstruktionsjusteringsdata i tre steg.

1. Utöver att använda globala rubriker och objekt, tillhandahåller ramverket en symbolisk scendescription som beskriver den fysiska relationen mellan områdesrubriker och objekt, samt deras koordinater.
2. För mänskligt annoterade dialoger, lägger ramverket till koordinater efter grundbara objekt eller områden antingen i inmatning eller utmatning eller båda, med dialoger som fokuserar främst på specifika områden som hjälper till att implicit prompta språkmodellen att följa liknande mönster för ny dialoggenerering.
3. Det kan vara möjligt att dialogen som genereras av ramverket inte följer reglerna och mönstren som anges av few-shot-exempel och systemprompt. För att hantera detta problem, använder ramverket igen en språkmodell för att finslipa dialogerna som genereras av modellen initialt.

Rumslig negativ gruvdrift

Tidigare forskning har visat att multimodala stora språkmodeller har en hög sannolikhet att hallucinera när de svarar på ja- eller nej-frågor. För att säkerställa att Ferret-modellen inte hallucinerar under liknande förhållanden, använder ramverket en rumslig negativ gruvdriftsapproach med bild-villkorsbaserad kategori-lokalisering och semantik-villkorsbaserad kategori-lokalisering. Båda dessa metoder ber modellen att lokalisera specifika objektkategorier, vilket möjliggör för modellen att känna igen avsaknaden av vissa objekt i bilden.

Ferret: Resultat och experiment

För att analysera dess prestanda, utvärderas Ferret-ramverket på konventionella grundnings- och referensbenchmark efter vilket ramverket utvärderas i en mer komplex multimodal chatt-uppgift och testar dess referens- och grundningsförmågor.

Modellens förmåga att förstå referens utvärderas av hur exakt modellen kan förstå semantiken för det hänvisade området, givet ett hänvisat område i bilden eller frågan. För att mäta modellens noggrannhet, övervägs objekt, den mest grundläggande semantiken, först eftersom det inte bara är grundläggande utan också lätt att definiera. För att imitera mänsklig flexibilitet, ersätter ramverket områdets plats inom bilden med en fritt formad form, en ruta och en punkt. För en fritt formad form, genererar modellen slumpmässigt sträck inom det grundläggande objektsområdet för simulering. För en ruta, använder Ferret-ramverket det grundläggande begränsningsruteområdet som tillhandahålls av LVIS-komponenten. Slutligen, för en punkt, sampar modellen slumpmässigt en punkt inom det grundläggande objektsområdet som också ligger nära gränsen för det grundläggande objektsområdet. Resultaten för de tre typerna av referens visas i följande bild.

Ferret-ramverket visar en anmärkningsvärd prestanda i referentiella dialoguppgifter, vilket skapar möjligheter för integration med olika visuella inlärningsuppgifter, särskilt de som har grundningsutmatning. För att utvärdera dess grundningsförmåga, utsätter Ferret-ramverket sig först för benchmark-visuella grundningsuppgifter med en generativ paradigm. Ramverket utvärderar sedan dess förmåga på grundade rubrikeringsuppgifter för att mäta anpassningen mellan områdena och orden.

I visuella grundningsuppgifter, syftar ramverket till att grundlägga språkfrågor i anpassade områden i bilden, och som det kan ses i följande bild, visar Ferret-ramverket en anmärkningsvärd prestanda över alla benchmark, och prestandan är jämförbar med den som uppnås av specialiserade finjusteringsmetoder.

För grundade rubrikeringsuppgifter, måste modellen generera en rubrik och sedan grundlägga de genererade substantivfraserna till bildområden. Den slutliga förutsägelsen som görs av modellen består av tre komponenter: visuella områden som rutor, text-rubriker och grundningsanpassningar mellan rutor och ord. Resultaten visas i följande bild, och som det kan observeras, levererar ramverket en prestanda som är jämförbar med state-of-the-art-metoder.

Slutligen, är multimodal chatt en av de mest önskade förmågorna inom en MLLM, och befintliga MLLM utvärderar främst detaljerade beskrivningar, samtal och komplexa resonemang med språkmodellen som domare. Men eftersom det inte finns något dataset som utvärderar multimodal chatt med obligatoriska referens- eller grundningsåtgärder, lämnar det ett gap. För att överbrygga detta gap, täcker Ferret-ramverket tre regionsbaserade frågor för att utvärdera dess referens- och grundningsförmågor i multimodala chatt-uppgifter.

Slutligen, jämförs Ferret-ramverket direkt mot state-of-the-art GPT-ramverket, och resultaten visas nedan.

Slutliga tankar

I den här artikeln har vi talat om Ferret, en multimodal stor språkmodell som visar en anmärkningsvärd grundnings- och referensförmåga. Ferret-ramverket kan hänvisa till bildområden oavsett form, och kan etablera grundläggning för text som förutsägs av modellen automatiskt. Ferret använder en rumsligt medveten visuell provtagare som kan hantera varierande sparsitet som visas av olika former för att extrahera de kontinuerliga funktionerna för varierande områden. Som ett resultat kan Ferret-ramverket mata in olika typer av områdesinmatningar, inklusive fritt formade former, begränsningsrutor och punkter.