Å aktivere romlig forståelse i visuelt-språklige modeller er fortsatt en av de viktigste utfordringene i forskningen. Denne forståelsen er grunnleggende for to avgjørende evner: grunnlegging og henvisning. Henvisning gjør det mulig for modellen å tolke semantikken til bestemte regioner nøyaktig, mens grunnlegging innebærer å bruke semantiske beskrivelser til å lokalisere disse regionene.

Utviklere har introdusert Ferret, en multimodal stor språkmodell (MLLM), som kan forstå romlig henvisning på alle nivåer eller former i et bilde og nøyaktig grunnlegge åpne-vokabularbeskrivelser. Ferret bruker en ny hybridrepresentasjon som kombinerer kontinuerlige visuelle egenskaper med diskrete koordinater for å representere bildeområder. Dens romlig-bevisste visuelle prøver håndterer varierende sparsomhet i former, noe som gjør det mulig å prosessere ulike regioninndata som f.eks. frie former, begrensningsskjermer og punkter.

Ferrets tilnærming gjør det mulig for den å utmerke seg i klassiske grunnleggings- og henvisningoppgaver og overgå andre MLLM-er i lokaliseringskrevende og regionbasert multimodal kommunikasjon. Denne artikkelen går dyptere inn i Ferrets arkitektur og metode, og fremhever dens imponerende ytelse i ulike multimodale språkoppgaver. La oss utforske dette nærmere.

Ferret: Overlegen Ytelse i Henvisning og Grunnlegging

Henvisning i en modell er en evne som gjør det mulig for modellen å forstå semantikken til bestemte regioner nøyaktig, mens grunnlegging gjør det essensielt for modellen å bruke de gitte semantiske beskrivelsene til å lokalisere regionene. Selv om de kan være forskjellige i deres respektive oppgaver, har både henvisning og grunnlegging samme grunnleggende konsept: sammenstilling av romlig semantikk og informasjon. Likevel, til tross for at de deler samme konsept, lærer eksisterende modeller grunnlegging og henvisning individuelt. Selv om metoden fungerer, stiller det en hindring for å oppnå menneskelignende evner, ettersom mennesker kan lære fra en oppgave og anvende læringen til andre oppgaver uten problemer, og kan lett integrere grunnlegging/henvisningsevner med resonnering og daglig dialog. Ferret-rammen tar utgangspunkt i denne gapen i eksisterende MLLM-rammer og studerer tre hovedspørsmål:

1. Hvordan kan man samordne grunnlegging og henvisningsevner i rammen, og hvordan vil deres samordning være til gjensidig nytte?
2. Hvordan kan man representere ulike regioner som mennesker bruker for henvisning, som f.eks. boks, punkt, skiss og frie former?
3. Hvordan kan man gjøre grunnlegging og henvisning instruksjonsbasert, robust og åpen-vokabular, noe som er kritisk for deres praktiske og reelle anvendelser?

Ferret-rammen er en ny henvisnings- og grunnleggingsmultimodal stor språkmodell som forsøker å besvare disse spørsmålene. Ferret-rammen velger en multimodal stor språkmodell som grunnlag, på grunn av deres bemerkelsesverdige globale visjon og språkforståelse. Videre, for å samordne grunnlegging og henvisningsevner, representerer Ferret-rammen koordinatene til regioner i naturlig språklig numerisk form. Likevel, i praksis er det ineffektivt å bruke bokskoordinater eller selv enkelt punkt til å representere ulike regionformer som f.eks. skisser, streker eller komplekse polygoner, da disse formene er kritiske for forbedret nøyaktighet og mer universell menneske-modell-interaksjon. For å løse dette problemet, bruker Ferret-rammen en romlig-bevisst visuell prøver som tilegner visuelle regioner for regioner uavhengig av formen, og forhandler dermed med varierende sparsomhet i disse formene. Rammen kombinerer deretter kontinuerlige visuelle egenskaper med diskrete koordinater for å representere visuelle regioner i inndata, noe som resulterer i en hybrid regionrepresentasjon i Ferret.

Ferret-rammen bruker ovennevnte metoder for å løse inndata som kombinerer fri tekst med henvisningsregioner, og kan lett generere koordinatene for hver grunnbar objekt med generert tekst for å grunnlegge de nevnte objekter i utdata. Ved å gjøre dette, er Ferret den første rammen som kan prosessere frie inndataregioner i multimodale store språkmodeller. Videre absorberer Ferret-rammen bemerkelsesverdige åpne-vokabular-evner for romlig lokalisering og forståelse, noe som gjør det mulig for rammen å oppnå overlegen ytelse når den evalueres på konvensjonelle grunnleggings- og henvisningoppgaver.

Videre søker Ferret-rammen inspirasjon fra tre eksisterende AI-rammer, inkludert multimodale store språkmodeller, MLLM-er for henvisning og grunnlegging, og samordning av grunnlegging og visuelt-språklig forståelse.

Introduksjonen av store språkmodeller, inkludert GPT, DALL-E, PaLM, LLaMA og BLOOM, har endret landskapet i NLP-forskning, noe som har resultert i betydelige fremgang i multimodale språkmodeller. De tidligere multimodale språkmodellene fokuserte primært på stor skala bilde-tekst-generering med noen bemerkelsesverdige eksempler som PaLI, SimVLM, GIT, BLIP-2, FLAMINGO, CM3 og PaLI-X. Likevel, siden Flamingo-rammen oppnådde effektiv integrasjon av LLM-er med en forhånds-trent CLIP-bilde-encoder gjennom kryss-gatede oppmerksomhetsblokker, noe som resulterte i bemerkelsesverdige multimodale få-skudd-lærings-evner. Den nåværende forskningen søker etter måter å bruke forhånds-trente store språkmodeller for visuell instruksjonstuning med noen bemerkelsesverdige eksempler som MiniGPT-4, Otter, InstructBLIP og mer. Det er også viktig å nevne at nyere modeller som Emu og GILL har vist bemerkelsesverdige suksess i å bruke MLLM-er for bilde-generering og bilde-tilbake-søking. Ferret-rammen henviser også til tidligere forskning som fokuserer på å samordne tekst og begrensningsskjerme-utdata for visuelt-språklige modeller.

Ferret: Metodologi og Arkitektur

Hybrid-Region Representasjoner

Punkt, boks og frie former er de tre dominante formatene som en språkmodell bruker når den henviser til bestemte regioner. På den ene siden kan punkt- og boksformatet nøyaktig representeres av koordinater, mens det er mer utfordrende å kartlegge frie former, da de er ulike. Frie former kan omfatte en rekke regioner, inkludert masker, polygoner og skisser. Bruken av koordinater for å beskrive frie former er en kompleks oppgave som hindrer modellens evne til å lære å etablere en korrelasjon mellom regionene og de respektive koordinatene. Videre er bruken av koordinater for frie former komputasjonelt kostbar og uklar.

For å løse dette problemet og å generalisere over alle tre formatene, foreslår Ferret-rammen en hybrid regionrepresentasjon som kombinerer kontinuerlige visuelle egenskaper med diskrete koordinater for å henvisningsvis en bestemt region.

For kontinuerlige visuelle egenskaper, for en gitt region, konstruerer Ferret-rammen først en 2D binær maske av samme størrelse som bildet, og merker en verdi 1 innenfor den målte regionen, mens den tildeles en verdi 0 utenfor regionen. Modellen ekstraherer deretter den binære masken sammen med den ekstraherte bilde-egenskapskartet og sender det til den romlig-bevisste visuelle prøveren.

Arkitektur

Ferret-modellens arkitektur består av tre hovedkomponenter

1. En bilde-encoder for å ekstrahere bilde-egenskaper.
2. En romlig-bevisst visuell prøver for å ekstrahere regionale kontinuerlige egenskaper.
3. En stor språkmodell for å modellere tekst, bilde og region-egenskaper sammen.

Bildet føres først inn i den forhånds-trente visuelle encoderen for å ekstrahere bilde-egenskapene. For tekst-inndata, bruker rammen først en forhånds-trent LLM-tokenerer for å tokenisere tekstsekvensen og deretter projiserer disse tokenene inn i tekst-egenskaper. For henvisningsregioner, legger Ferret til en spesialtoken og koordinatene som en placeholder for kontinuerlige egenskaper etter regionnavnet. Hvis regionnavnet er ukjent eller er komplekst å beskrive som et resultat av inklusjon av flere objekter, bruker rammen bare området eller regionnavnet.

En av de største utfordringene ved henvisningsregioner er at deres form kan være ganske varierende, noe som betyr at de kan ha ulike former og ikke bare begrenses til rektangulære bokser eller punkter. Henvisningsregioner med irregulære former kan ikke prosesseres med tradisjonelle metoder som f.eks. grid-basert prosessering inkludert patch-oppmerksomhet eller konvolusjonsteknikker. For å løse dette problemet, foreslår Ferret-rammen en romlig-bevisst visuell prøver. For en gitt ekstrahert egenskapskart med en binær regionmaske, sampler Ferret-modellen først N antall punkter innenfor den binære regionmasken.

For hvert enkelt punkt, henter modellen ut dets egenskap ved å utføre bilineær interpolasjon. De N punktene føres deretter inn i en rekke av blokker, hvor hver av dem passerer gjennom tre forskjellige faser: sampling, innhenting og pooling. I sampling-fasen, samples en fast antall punkter fra N antall punkter tilgjengelig ved å bruke FPS eller Farthest Point Sampling-algoritmen som garanterer adekvat dekning. I den andre fasen, søker rammen for hver samples punkt etter dets k nærmeste naboer fra den tilgjengelige N punktene. For hver gruppe, kombinerer modellen deretter egenskapene til et samples punkt med nabo-punktene. I den siste fasen, utfører Ferret-rammen en maks-pooling for å kombinere k nabo-egenskaper til én egenskap som representerer punktet som er samplet. Ved å utføre disse tre fasene, er Ferret-rammen igjen med færre punkter, men med egenskapsrom med høyere tetthet, ettersom den ikke bare inkorporerer egenskapene til lokale naboer, men også deres relative posisjoner.

GPT-Assistert Visuell Data-Generering

Dialogue Instruction Tuning Data er av kritisk betydning for multimodale store språkmodeller, da de ikke bare hjelper med å konvertere eksisterende datasett ved hjelp av maler, men også hjelper modellen å forstå menneskelig intensjon og generere en passende respons. De fleste MLLM-er bruker en few-shot-prompting-metode for å få visuell instruksjonstuning-data, hvor modellen gir tekstlige beskrivelser av scener i bildet sammen med menneske-annoterte dialoger som few-shot-demonstrasjoner. Likevel, eksisterende instruksjonstuning-metoder fokuserer primært på å beskrive hele bildet uten å spesifisere romlig-relatert informasjon eksplisitt. Ferret-rammen legger vekt på region-basert kunnskap for å samle inn henvisnings- og grunnleggingsinstruksjoner i tre trinn.

1. I tillegg til å bruke globale beskrivelser og objekter, gir rammen en symbolsk scenarie-beskrivelse som beskriver den fysiske relasjonen mellom region-beskrivelser og objekter, samt deres koordinater.
2. For menneske-annoterte dialoger, legger rammen til koordinater etter grunnbare objekter eller regioner, enten i inndata eller utdata, eller begge, med dialoger som fokuserer primært på bestemte regioner som hjelper med å prompte språkmodellen implisitt til å følge lignende mønster for ny dialog-generering.
3. Det kan være mulig at dialogen generert av rammen ikke følger reglene og mønsterene som er instruert av few-shot-eksempler og system-prompter. For å løse dette problemet, bruker rammen igjen en språkmodell for å finjustere dialogene generert av modellen initialt.

Romlig Negativ Mining

Tidligere forskning har demonstrert at multimodale store språkmodeller har en høy sannsynlighet for å hallucinere når de responderer på ja eller nei-spørsmål. For å sikre at Ferret-modellen ikke hallucinerer under lignende forhold, bruker rammen en romlig-negativ mining-tilnærming med bilde-betinget kategori-lokalisering og semantikk-betinget kategori-lokalisering. Begge disse metodene ber modellen om å lokalisere bestemte objekt-kategorier som gjør det mulig for modellen å gjenkjenne fraværet av bestemte objekter i bildet.

Ferret: Resultater og Eksperimentering

For å analysere dens ytelse, evalueres Ferret-rammen på konvensjonelle grunnleggings- og henvisnings-benchmark etterfulgt av en mer kompleks multimodal samtale-oppgave og testing av dens henvisnings- og grunnleggings-evner.

Modellens evne til å forstå henvisning evalueres ved å se hvor nøyaktig en modell kan forstå semantikken til den henvisningsregionen gitt en henvisningsregion i bildet eller spørsmålet. For å måle modellens nøyaktighet, betraktes objekter, som er den mest grunnleggende semantikken, først, da det ikke bare er grunnleggende, men også enkelt å definere. For å etterligne menneskelig variasjon, erstatter rammen objektets plassering i bildet med en fri form, en boks og et punkt. For en fri form, genererer modellen tilfeldig streker innenfor det sanne objektet for simulering. For en boks, bruker Ferret-rammen den sanne begrensningsskjermen som er gitt av LVIS-komponenten. Til slutt, for et punkt, sampler modellen tilfeldig et punkt innenfor det sanne objektet som også er nær grensen av det sanne objektet. Resultatene på de tre typene henvisning vises i bildet nedenfor.

Ferret-rammen demonstrerer bemerkelsesverdige resultater i henvisningsdialog-oppgaver, og åpner opp for integrasjon med ulike visuelle læringsoppgaver, spesielt de som har grunnleggings-utdata. For å vurdere dens grunnleggings-evne, underkaster Ferret-rammen seg først visuelle grunnleggings-oppgaver med en generativ paradigme. Rammen evaluerer deretter dens evne på grunnleggings-beskrivelses-oppgaver for å måle sammenstillingen mellom regioner og ord.

I visuelle grunnleggings-oppgaver, søker rammen å grunnlegge språk-spørsmål i tilsvarende regioner i bildet, og som det kan ses i bildet nedenfor, demonstrerer Ferret-rammen bemerkelsesverdige resultater over alle benchmarkene, og ytelsen er sammenlignbar med den som er oppnådd av spesialiserte finjusterings-metoder.

For grunnleggings-beskrivelses-oppgaver, må modellen generere en beskrivelse, og deretter grunnlegge de genererte substantiv-fraser til bilde-regioner. Den endelige prediksjonen gjort av modellen består av tre komponenter: visuelle regioner som bokser, tekst-beskrivelser og grunnleggings-sammenstilling mellom bokser og ord. Resultatene vises i bildet nedenfor, og som det kan observeres, leverer rammen en ytelse som er sammenlignbar med state-of-the-art-metoder.

Til slutt er multimodal samtale en av de mest ønskede evnene i en MLLM, og eksisterende MLLM-er evaluerer primært detaljerte beskrivelser, samtale og kompleks resonnering med språkmodellen som dommer. Likevel, da det ikke finnes noen datasett som evaluerer multimodal samtale med obligatorisk henvisning eller grunnlegging, etterlater det et gap. For å fylle dette gapet, dekker Ferret-rammen tre region-baserte spørsmål for å evaluere dens henvisnings- og grunnleggings-evner i multimodale samtale-oppgaver.

Til slutt sammenlignes Ferret-rammen direkte mot state-of-the-art GPT-rammen, og resultatene vises nedenfor.

Slutt tanker

I denne artikkelen har vi snakket om Ferret, en multimodal stor språkmodell som demonstrerer bemerkelsesverdige grunnleggings- og henvisningsevner. Ferret-rammen kan henvisningsvis bilde-regioner uavhengig av deres form, og kan etablere grunnlegging for tekst som er forutsagt av modellen automatisk. Ferret-rammen bruker en romlig-bevisst visuell prøver som kan håndtere varierende sparsomhet vist av ulike former for å ekstrahere de kontinuerlige egenskapene til ulike regioner. Som et resultat kan Ferret-rammen ta inn diverse region-inndata, inkludert frie former, begrensningsskjermer og punkter.