Het mogelijk maken van ruimtelijk begrip in visuele taalmodellen blijft een belangrijke uitdaging in het onderzoek. Dit begrip vormt de basis voor twee cruciale capaciteiten: gronding en verwijzing. Verwijzing stelt het model in staat om de semantiek van specifieke regio’s nauwkeurig te interpreteren, terwijl gronding het gebruik van semantische beschrijvingen om deze regio’s te lokaliseren omvat.

Ontwikkelaars hebben Ferret geïntroduceerd, een multimodaal groot taalmodel (MLLM) dat spatiale verwijzingen over elk formaat of vorm in een afbeelding kan begrijpen en open-vocabulaire beschrijvingen nauwkeurig kan gronden. Ferret gebruikt een novum hybride representatie die continue kenmerken en discrete coördinaten combineert om afbeeldingsregio’s te representeren. De spatial-aware visuele sampler van Ferret kan variabele sparsity in vormen verwerken, waardoor het model diverse regio-inputs zoals vrije vormen, begrenzingsvakken en punten kan verwerken.

De aanpak van Ferret stelt het model in staat om uit te blinken in klassieke gronding- en verwijzingsTaken en andere MLLM’s te overtreffen in lokaliseringsvragende en regiogebaseerde multimodale communicatie. Dit artikel gaat dieper in op de architectuur en methodologie van Ferret, met de nadruk op zijn indrukwekkende prestaties in verschillende multimodale taaltaken. Laten we hier verder op ingaan.

Ferret: Superieure prestaties in verwijzings- en grondingstaken

Verwijzing in een model is een capaciteit die het model in staat stelt om de semantiek van gegeven specifieke regio’s nauwkeurig te begrijpen, terwijl gronding het essentieel maakt voor het model om semantische beschrijvingen te gebruiken om de regio’s te lokaliseren. Hoewel ze kunnen verschillen in hun respectieve taken, delen verwijzing en gronding hetzelfde fundamentele concept: de alignering van spatiale semantiek en informatie. Echter, ondanks het delen van hetzelfde concept, leren bestaande modellen gronding en verwijzing individueel. Hoewel deze methode werkt, vormt het een obstakel voor het bereiken van menselijke capaciteiten, aangezien mensen kunnen leren van één taak en deze kennis vervolgens toepassen op andere taken zonder moeite, en kunnen gronding-/verwijzingscapaciteiten moeiteloos integreren met redenering en dagelijkse dialoog. Het Ferret-kader neemt inspiratie uit de bovengenoemde kloof in bestaande MLLM-kaders en onderzoekt drie hoofdvragen:

1. Hoe kan men gronding- en verwijzingscapaciteiten in het kader verenigen, en hoe zal hun unie elkaar ten goede komen?
2. Hoe kunnen mensen verschillende soorten regio’s gebruiken, zoals dozen, punten, krabbel, vrije vormen, voor verwijzing? Hoe kan men deze diverse regio’s representeren?
3. Hoe kan men gronding- en verwijzingsinstructies volgen, robuust en open-vocabulaire maken, wat essentieel is voor hun praktische en real-time toepassingen?

Het Ferret-kader is een novum verwijzings- en grondingsmultimodaal groot taalmodel dat deze vragen probeert te beantwoorden. Het Ferret-kader kiest een multimodaal groot taalmodel als zijn basis vanwege hun opmerkelijke globale visie en taalbegrip. Bovendien, om de gronding- en verwijzingscapaciteiten te verenigen, representeert het Ferret-kader de coördinaten van regio’s in natuurlijke taal numerieke vorm. Echter, in de praktijk is het inefficiënt om boxcoördinaten of zelfs enkele punten te gebruiken om diverse regiovormen zoals krabbels, strepen of complexe polygonen te representeren, aangezien deze vormen essentieel zijn voor verbeterde precisie en universele mens-machine-interactie. Om dit probleem aan te pakken, gebruikt het Ferret-kader een spatial-aware visuele sampler die visuele regio’s voor regio’s ongeacht de vorm verwerft, waardoor het kan onderhandelen met variabele sparsity in deze vormen. Het kader combineert vervolgens de continue visuele kenmerken met discrete coördinaten om de visuele regio’s in de invoer te representeren, wat resulteert in de creatie van een hybride regio-representatie in Ferret.

Het Ferret-kader gebruikt bovengenoemde methoden om invoer te verwerken dat vrije tekst mengt met verwezen regio’s en kan moeiteloos de coördinaten voor elk grondbaar object genereren met gegenereerde tekst om de genoemde objecten in de uitvoer te gronden. Door dit te doen, is Ferret het eerste kader dat vrije vorm invoerregio’s in multimodale grote taalmodellen kan verwerken. Bovendien absorbeert het Ferret-kader opmerkelijke open-vocabulaire capaciteiten van spatiale lokaliserings- en begripsvermogen, waardoor het kader superieure prestaties kan bereiken wanneer het wordt geëvalueerd op conventionele gronding- en verwijzingsTaken.

Verder zoekt het Ferret-kader inspiratie in drie bestaande AI-kaders, waaronder multimodale grote taalmodellen, MLLM’s voor verwijzing en gronding, en het verenigen van gronding en visuele taalbegrip.

De introductie van grote taalmodellen, waaronder GPT, DALL-E, PaLM, LLaMA en BLOOM, heeft het landschap van NLP-onderzoek veranderd, wat heeft geleid tot aanzienlijke vooruitgang in multimodale taalmodellen. De eerdere multimodale taalmodellen richtten zich voornamelijk op grote schaal afbeelding-tekstgeneratie met enkele opvallende voorbeelden zoals PaLI, SimVLM, GIT, BLIP-2, FLAMINGO, CM3 en PaLI-X. Echter, sinds het Flamingo-kader een efficiënte integratie van LLM’s met een vooraf getrainde CLIP-afbeeldingsencoder via cross-gated attention blocks bereikte, wat resulteerde in opmerkelijke multimodale few-shot learning capaciteiten. Het huidige onderzoek zoekt naar manieren om vooraf getrainde grote taalmodellen te gebruiken voor visuele instructieafstemming met enkele opvallende voorbeelden zoals MiniGPT-4, Otter, InstructBLIP en meer. Wat meer is, recente modellen zoals Emu en GILL hebben aanzienlijk succes getoond in het gebruik van MLLM’s voor afbeeldingsgeneratie en afbeeldingsopname. Het Ferret-kader verwijst ook naar eerder onderzoek dat zich richt op het verenigen van tekst en begrenzingsvakuitvoer voor visuele taalmodellen.

Ferret: Methodologie en architectuur

Hybride regio-representaties

Punt, doos en vrije vormen zijn de drie dominante formaten die een taalmodel gebruikt wanneer het verwijst naar specifieke regio’s. Enerzijds kunnen punt en doosformaten nauwkeurig worden weergegeven door coördinaten, maar het in kaart brengen van vrije vormen is een uitdaging omdat vrije vormen divers zijn. Als gevolg hiervan kunnen vrije vormen een breed scala aan regio’s omvatten, waaronder maskers, polygonen en krabbels. Het gebruik van coördinaten om vrije vormen weer te geven is een complexe taak die het vermogen van het model om een correlatie tussen regio’s en coördinaten te leren, belemmert. Bovendien is het gebruik van coördinaten voor vrije vormen computationeel duur en obscuur.

Om dit probleem aan te pakken en om over alle drie de formaten te generaliseren, stelt het Ferret-kader een hybride regio-representatie voor die continue visuele kenmerken met discrete coördinaten combineert om naar een specifieke regio te verwijzen.

Voor continue visuele kenmerken bouwt het Ferret-kader eerst een 2D-binaire masker van dezelfde grootte als de afbeelding en markeert een waarde 1 binnen de doelregio en wijst een waarde 0 toe buiten de regio. Het model extracteert vervolgens het binaire masker samen met de geëxtraheerde afbeeldingskenmerkenkaart en stuurt deze naar de spatial-aware visuele sampler.

Architectuur

De architectuur van het Ferret-model bestaat uit drie hoofdcomponenten

1. Een afbeeldingsencoder om afbeeldingsembeddings te extraheren.
2. Een spatial-aware visuele sampler om regionale continue kenmerken te extraheren.
3. Een groot taalmodel om tekst, afbeelding en regio-kenmerken gezamenlijk te modelleren.

De afbeelding wordt eerst gevoerd in de vooraf getrainde visuele encoder om afbeeldingsembeddings te extraheren. Voor tekstinputs gebruikt het kader eerst een vooraf getrainde LLM-tokenizer om de tekstsequentie te tokenizen en projecteert deze tokens vervolgens in tekstembeddings. Voor verwezen regio’s voegt Ferret een speciaal token en de coördinaten toe als een placeholder voor continue kenmerken na de regionaam. Als de regionaam onbekend is of complex is om te beschrijven als gevolg van de inclusie van meerdere objecten, gebruikt het kader alleen het gebiedsnaam.

Een van de belangrijkste uitdagingen bij het omgaan met verwezen regio’s is dat hun vorm kan variëren, wat betekent dat ze verschillende vormen kunnen hebben en niet alleen beperkt zijn tot rechthoekige dozen of punten. Verwezen regio’s met onregelmatige vormen kunnen niet worden verwerkt met traditionele methoden zoals grid-gebaseerde verwerking, inclusief patch-attention of convolutiontechnieken. Om dit probleem aan te pakken, stelt het Ferret-kader een spatial-aware visuele sampler voor. Voor een gegeven geëxtraheerde kenmerkenkaart met een binair regiomasker, voert het Ferret-model eerst willekeurig N punten binnen het binaire regiomasker.

Voor elk individueel punt, verkrijgt het model zijn kenmerk door bilineaire interpolatie uit te voeren. De N punten worden vervolgens gevoerd in een waterval van blokken, waarvan elk door drie verschillende fasen gaat: sampling, gathering en pooling. In de samplingfase worden een vast aantal punten gesampled uit N beschikbare punten met behulp van de FPS- of verste punt sampling-algoritme, die voldoende dekking garandeert. In de tweede stap zoekt het kader voor elk samplepunt naar zijn k dichtstbijzijnde buren uit de beschikbare N punten. Voor elke groep, fuseert het model vervolgens de kenmerken van een samplepunt met zijn buurpunten. In de laatste stap voert het Ferret-kader een max pooling uit om de k buurkenmerken te fuseren in één kenmerk om als de representatie voor het gesamplede punt te dienen. Door deze drie stappen uit te voeren, is het Ferret-kader overgebleven met minder punten maar kenmerkenruimte met hogere dichtheid, omdat het niet alleen de kenmerken van lokale buren incorporeert, maar ook hun relatieve posities.

GPT-geassisteerde visuele gegevensgeneratie

Dialooginstructieafstemmingsgegevens zijn van cruciaal belang voor multimodale grote taalmodellen, aangezien ze niet alleen helpen bij het omzetten van bestaande datasets met behulp van sjablonen, maar ook helpen het model menselijke intentie te begrijpen en een passende reactie te genereren. De meeste MLLM’s gebruiken een few-shot prompting-methode om visuele instructieafstemmingsgegevens te verkrijgen, waarbij het model een tekstuele beschrijving van scènes in de afbeelding samen met door de mens geannoteerde dialogen als few-shot demonstraties levert. Echter, bestaande instructieafstemmingsmethoden richten zich voornamelijk op het beschrijven van de hele afbeelding zonder expliciet spatiale informatie te specificeren. Het Ferret-kader legt de nadruk op regiogebaseerde kennis om verwijzings- en grondingsinstructieafstemmingsgegevens te verzamelen in drie stappen.

1. Naast het gebruik van globale onderschriften en objecten, levert het kader een symbolische scènedescritie die de fysieke relatie tussen de regiocaptions en objecten beschrijft, evenals hun coördinaten.
2. Voor door de mens geannoteerde dialogen voegt het kader coördinaten toe na grondbare objecten of regio’s, hetzij in de invoer, uitvoer of beide, met dialogen die zich richten op specifieke regio’s die helpen bij het impliciet aanzetten van het taalmodel om soortgelijke patronen te volgen voor nieuwe dialooggeneratie.
3. Het is mogelijk dat de door het kader gegenereerde dialoog niet de regels en patronen volgt zoals geïnstrueerd door few-shot voorbeelden en systeemprompts. Om dit probleem aan te pakken, gebruikt het kader opnieuw een taalmodel om de door het model gegenereerde dialogen te verfijnen.

Ruimtelijke negatieve mijnbouw

Eerder onderzoek heeft aangetoond dat multimodale grote taalmodellen een hoge waarschijnlijkheid hebben om te hallucineren wanneer ze reageren op ja/nee-vragen. Om ervoor te zorgen dat het Ferret-model niet hallucineert in soortgelijke omstandigheden, gebruikt het kader een spatial negative mining-benadering met image-geconditioneerde categorie-lokaliserings- en semantiek-geconditioneerde categorie-lokaliseringsmethoden. Beide methoden vragen het model om specifieke objectcategorieën te lokaliseren, waardoor het model kan herkennen dat bepaalde objecten afwezig zijn in de afbeelding.

Ferret: Resultaten en experimenten

Om zijn prestaties te analyseren, wordt het Ferret-kader geëvalueerd op conventionele gronding- en verwijzingsbenchmarks, waarna het kader wordt geëvalueerd in een meer complexe multimodale chattaak en getest op zijn verwijzings- en grondingscapaciteiten.

De capaciteit van het model om verwijzingen te begrijpen wordt geëvalueerd door te zien hoe nauwkeurig een model de semantiek van de verwezen regio kan begrijpen, gegeven een verwezen regio in de afbeelding of de vraag. Om de nauwkeurigheid van het model te meten, worden objecten, de meest basale semantiek, eerst overwogen omdat het niet alleen fundamenteel is, maar ook gemakkelijk te definiëren. Om menselijke veelzijdigheid na te bootsen, vervangt het kader de locatie van het object in de afbeelding door een vrije vorm, een doos en een punt. Voor een vrije vorm genereert het model willekeurig strepen binnen het grondwaarheidsobject voor simulatie. Voor een doos gebruikt het Ferret-kader de grondwaarheidsbegrenzingsdoos die wordt geleverd door de LVIS-component. Ten slotte, voor een punt, samplet het model willekeurig een punt binnen het grondwaarheidsobject dat ook dicht bij de grens van het grondwaarheidsobject ligt. De resultaten van de drie soorten verwijzingen worden getoond in de onderstaande afbeelding.

Het Ferret-kader toont opmerkelijke prestaties in verwijzingsdialogtaken, waardoor het ruimte maakt voor integratie met verschillende visuele leringstaken, vooral die met grondingsuitvoer. Om zijn grondingscapaciteit te beoordelen, onderwerpt het Ferret-kader zich eerst aan visuele grondingstaken met een generatief paradigma. Het kader evalueert vervolgens zijn vermogen op grondingscaptiontaken om de alignering tussen regio’s en woorden te meten.

In visuele grondingstaken streeft het kader ernaar om taalqueries te gronden in gealigneerde regio’s van de afbeelding, en zoals te zien is in de onderstaande afbeelding, toont het Ferret-kader opmerkelijke prestaties over alle benchmarks, en de prestaties zijn vergelijkbaar met die bereikt door gespecialiseerde fijnaftuningsmethoden.

Voor grondingscaptiontaken moet het model een onderschrift genereren en vervolgens de gegenereerde zelfstandige naamwoorden gronden in afbeeldingsregio’s. De definitieve voorspelling van het model bestaat uit drie componenten: visuele regio’s als dozen, tekstonderschriften en grondingsaligneringen tussen dozen en woorden. De resultaten worden getoond in de onderstaande afbeelding, en zoals te zien is, levert het kader prestaties die vergelijkbaar zijn met die van state-of-the-art methoden.

Ten slotte is multimodale chattaak een van de meest gewenste capaciteiten binnen een MLLM, en bestaande MLLM’s evalueren voornamelijk gedetailleerde beschrijvingen, conversatie en complexe redenering met het taalmodel als rechter. Echter, aangezien er geen dataset bestaat die multimodale chattaak evalueert met verplichte verwijzings- of grondingsacties, laat dit een lacune achter. Om deze lacune te overbruggen, dekt het Ferret-kader drie regiogebaseerde vragen om zijn verwijzings- en grondingscapaciteiten in multimodale chattaak te evalueren.

Ten slotte wordt het Ferret-kader rechtstreeks vergeleken met het state-of-the-art GPT-kader, en de resultaten worden getoond hieronder.

Slotgedachten

In dit artikel hebben we het over Ferret gehad, een multimodaal groot taalmodel dat opmerkelijke grondings- en verwijzingscapaciteiten toont. Het Ferret-kader kan naar afbeeldingsregio’s verwijzen ongeacht hun vorm en kan gronding voor door het model gegenereerde tekst automatisch tot stand brengen. Ferret gebruikt een spatial-aware visuele sampler die variabele sparsity in vormen kan verwerken om de continue kenmerken van diverse regio’s te extraheren. Als gevolg hiervan kan het Ferret-kader diverse regio-inputs verwerken, waaronder vrije vormen, begrenzingsvakken en punten.