Die Einrichtung von räumlichem Verständnis in Sprach- und Bildmodellen bleibt eine Kernherausforderung in der Forschung. Dieses Verständnis bildet die Grundlage für zwei entscheidende Fähigkeiten: Grounding und Referenzen. Referenzen ermöglichen es dem Modell, die Semantik spezifischer Regionen genau zu interpretieren, während Grounding die Verwendung semantischer Beschreibungen zur Lokalisierung dieser Regionen beinhaltet.

Entwickler haben Ferret vorgestellt, ein Multimodales Large Language Model (MLLM), das in der Lage ist, räumliche Referenzen über jede Granularität oder Form in einem Bild zu verstehen und offene Vokabular-Beschreibungen genau zu lokalisieren. Ferret verwendet eine neuartige Hybrid-Darstellung, die kontinuierliche Merkmale und diskrete Koordinaten kombiniert, um Bildregionen darzustellen. Sein räumlich-bewusster visueller Sampler kann mit variierender Spärlichkeit in Formen umgehen, sodass es verschiedene Regioneneingaben wie freie Formen, Begrenzungsboxen und Punkte verarbeiten kann.

Ferrets Ansatz ermöglicht es ihm, in klassischen Grounding- und Referenzaufgaben hervorragend zu sein und andere MLLMs in lokalisierungsintensiven und regionbasierten multimodalen Kommunikationen zu übertreffen. Dieser Artikel geht auf Ferrets Architektur und Methodik ein und hebt seine beeindruckende Leistung in verschiedenen multimodalen Sprachaufgaben hervor. Lassen Sie uns dies genauer betrachten.

Ferret: Überlegene Leistung bei Referenzen und Grounding-Aufgaben

Referenzen in einem Modell sind eine Fähigkeit, die es dem Modell ermöglicht, die Semantik gegebener spezifischer Regionen genau zu verstehen, während Grounding es dem Modell ermöglicht, semantische Beschreibungen zu verwenden, um die Regionen zu lokalisieren. Obwohl sie in ihren Aufgaben unterschiedlich sein können, haben beide Referenzen und Grounding das gleiche grundlegende Konzept: die Ausrichtung räumlicher Semantik und Informationen. Allerdings lernen bestehende Modelle Grounding und Referenzen individuell. Obwohl diese Methode funktioniert, stellt sie ein Hindernis dar, um menschliche Fähigkeiten zu erreichen, da Menschen aus einer Aufgabe lernen und diese Erkenntnisse nahtlos auf andere Aufgaben anwenden können und problemlos Grounding-/Referenzfähigkeiten mit Argumentation und alltäglichem Dialog integrieren können. Das Ferret-Framework schöpft aus der oben genannten Lücke in bestehenden MLLM-Frameworks und untersucht drei Hauptfragen:

1. Wie kann man Grounding- und Referenzfähigkeiten im Framework vereinen, und wie können sie einander zugute kommen?
2. Menschen verwenden vielfältige Arten von Regionen wie Boxen, Punkte, Skizzen, freie Formen für Referenzen. Wie kann man diese vielfältigen Regionen darstellen?
3. Wie kann man Grounding und Referenzanweisungen anweisungsorientiert, robust und offenes Vokabular machen, was für ihre praktischen und Echtzeitanwendungen entscheidend ist?

Das Ferret-Framework ist ein neuartiges Referenz- und Grounding-Multimodales Large Language Model, das diese Fragen zu beantworten versucht. Das Ferret-Framework wählt ein Multimodales Large Language Model als Grundlage aufgrund ihrer bemerkenswerten globalen Sicht und Sprachverständnisfähigkeiten. Darüber hinaus verwendet das Ferret-Framework, um die Grounding- und Referenzfähigkeiten zu vereinen, die Koordinaten von Regionen in natürlicher Sprache numerischer Form dar. Allerdings ist es in der Praxis ineffizient, Boxkoordinaten oder sogar einzelne Punkte zu verwenden, um vielfältige Regionenformen wie Skizzen, Striche oder komplexe Polygone darzustellen, da diese Formen für eine verbesserte Genauigkeit und universellere Mensch-Modell-Interaktion entscheidend sind. Um dieses Problem zu lösen, verwendet das Ferret-Framework einen räumlich-bewussten visuellen Sampler, der visuelle Regionen für Regionen unabhängig von der Form erfasst, wodurch es mit variierender Spärlichkeit in diesen Formen umgehen kann. Das Framework kombiniert dann die kontinuierlichen visuellen Merkmale mit diskreten Koordinaten, um die visuellen Regionen in der Eingabe darzustellen, was zur Erstellung einer Hybrid-Regionendarstellung in Ferret führt.

Das Ferret-Framework setzt die oben genannten Methoden ein, um Eingaben zu lösen, die freien Text mit referenzierten Regionen mischen, und kann problemlos die Koordinaten für jedes grundbare Objekt erzeugen, indem es Text erzeugt, um die erwähnten Objekte in der Ausgabe zu lokalisieren. Indem es dies tut, ist Ferret das erste Framework, das in Multimodalen Large Language Models Eingaberegionen in freier Form verarbeiten kann. Darüber hinaus absorbiert das Ferret-Framework bemerkenswerte offene Vokabularfähigkeiten der räumlichen Lokalisierung und des Verständnisses, was es dem Framework ermöglicht, eine überlegene Leistung zu erzielen, wenn es auf herkömmlichen Grounding- und Referenzaufgaben bewertet wird.

Weiterhin schöpft das Ferret-Framework Inspiration aus drei bestehenden KI-Frameworks, einschließlich Multimodaler Large Language Modelle, MLLMs für Referenzen und Grounding sowie der Vereinigung von Grounding und visuellem Verständnis.

Die Einführung von Large Language Models wie GPT, DALL-E, PaLM, LLaMA und BLOOM hat das Landschaftsbild der NLP-Forschung verändert und zu erheblichen Fortschritten bei multimodalen Sprachmodellen geführt. Die früheren multimodalen Sprachmodelle konzentrierten sich hauptsächlich auf die groß angelegte Bild-Text-Generierung, wobei einige bemerkenswerte Beispiele PaLI, SimVLM, GIT, BLIP-2, FLAMINGO, CM3 und PaLI-X sind. Allerdings hat das Flamingo-Framework eine effiziente Integration von LLMs mit einem vorgebildeten CLIP-Bild-Encoder durch Kreuzgatter-Blöcke erreicht, was zu bemerkenswerten multimodalen Few-Shot-Lernfähigkeiten führte. Die aktuelle Forschung sucht nach Möglichkeiten, vorgebildete Large Language Modelle für visuelle Anweisungstuning zu nutzen, wobei einige bemerkenswerte Beispiele MiniGPT-4, Otter, InstructBLIP und mehr sind. Was mehr ist, haben kürzlich entwickelte Modelle wie Emu und GILL bemerkenswerten Erfolg bei der Verwendung von MLLMs für Bildgenerierung und Bildabruf gezeigt. Das Ferret-Framework bezieht sich auch auf vorherige Forschung, die sich auf die Vereinigung von Text und Begrenzungsbox-Ausgabe für Vision Language Modelle konzentriert.

Ferret: Methodik und Architektur

Hybrid-Regionendarstellungen

Punkt, Box und freie Formen sind die drei dominanten Formate, die ein Sprachmodell verwendet, wenn es auf bestimmte Regionen verweist. Einerseits können Punkt und Box durch Koordinaten genau dargestellt werden, während die Abbildung von freien Formen etwas herausfordernder ist, da freie Formen vielfältig sind. Als vielfältige Formen können sie eine breite Palette von Regionen umfassen, einschließlich Masken, Polygone und Skizzen. Die Verwendung von Koordinaten, um freie Formen darzustellen, ist eine komplexe Aufgabe, die die Fähigkeit des Modells behindert, eine Korrelation zwischen den Regionen und den entsprechenden Koordinaten zu etablieren. Darüber hinaus ist die Verwendung von Koordinaten für freie Formen rechenintensiv und unübersichtlich.

Um dieses Problem zu lösen und um über alle drei Formate zu verallgemeinern, schlägt das Ferret-Framework eine Hybrid-Regionendarstellung vor, die kontinuierliche visuelle Merkmale mit diskreten Koordinaten kombiniert, um auf eine bestimmte Region zu verweisen.

Für kontinuierliche visuelle Merkmale erstellt das Ferret-Framework zunächst eine 2D-Binärmaske der gleichen Größe wie das Bild und markiert einen Wert 1 innerhalb der Zielregion, während es außerhalb der Region einen Wert 0 zuweist. Das Modell extrahiert dann die Binärmaske zusammen mit der extrahierten Bildmerkmalskarte und sendet sie an den räumlich-bewussten visuellen Sampler.

Architektur

Die Architektur des Ferret-Modells besteht aus drei Hauptkomponenten

1. Ein Bild-Encoder, um Bild-Embeddings zu extrahieren.
2. Ein räumlich-bewusster visueller Sampler, um regionale kontinuierliche Merkmale zu extrahieren.
3. Ein Large Language Model, um Text, Bild und Regionenmerkmale gemeinsam zu modellieren.

Das Bild wird zunächst in den vorgebildeten visuellen Encoder eingespeist, um Bild-Embeddings zu extrahieren. Für Texteingaben verwendet das Framework zunächst einen vorgebildeten LLM-Tokenizer, um die Textsequenz zu tokenisieren, und projiziert dann diese Token in Text-Embeddings. Für referenzierte Regionen fügt Ferret ein spezielles Token und die Koordinaten als Platzhalter für kontinuierliche Merkmale nach dem Regionennamen hinzu. Wenn der Name der Region unbekannt ist oder komplex zu beschreiben ist, da er mehrere Objekte enthält, verwendet das Framework einfach den Bereich oder den Regionennamen.

Eine der größten Herausforderungen bei der Arbeit mit referenzierten Regionen besteht darin, dass ihre Form sehr variabel sein kann, was bedeutet, dass sie verschiedene Formen haben können und nicht nur auf rechteckige Boxen oder Punkte beschränkt sind. Referenzierte Regionen mit unregelmäßigen Formen können nicht mit herkömmlichen Methoden wie Grid-basiertem Verarbeiten, einschließlich Patch-Attention oder Convolution-Techniken, verarbeitet werden. Um dieses Problem zu lösen, schlägt das Ferret-Framework einen räumlich-bewussten visuellen Sampler vor. Für eine gegebene extrahierte Merkmalskarte mit einer binären Regionenmaske sampelt das Ferret-Modell zunächst N Punkte innerhalb der binären Regionenmaske.

Für jeden einzelnen Punkt erhält das Modell seine Merkmale durch bilineare Interpolation. Die N Punkte werden dann in eine Kaskade von Blöcken eingespeist, von denen jeder drei verschiedene Stadien durchläuft: Sampling, Gathering und Pooling. Im Sampling-Phase werden eine feste Anzahl von Punkten aus N Punkten mithilfe des FPS- oder Farthest-Point-Sampling-Algorithmus ausgewählt, der eine angemessene Abdeckung garantiert. Im zweiten Schritt sucht das Framework für jeden Sample-Punkt nach seinen k nächsten Nachbarn aus der verfügbaren Menge von N Punkten. Für jede Gruppe fusioniert das Modell dann die Merkmale des Sample-Punkts mit den Merkmalen seiner Nachbarn. Im letzten Schritt führt das Ferret-Framework ein Max-Pooling durch, um die k Nachbarnmerkmale in ein Merkmal zu fusionieren, das als Repräsentation für den Sample-Punkt dient. Durch die Durchführung dieser drei Schritte bleibt das Ferret-Framework mit weniger Punkten, aber einem höheren Merkmalraum, da es nicht nur die Merkmale der lokalen Nachbarn, sondern auch ihre relativen Positionen integriert.

GPT-Assisted Visual Data Generation

Dialogue-Instruction-Tuning-Daten sind für Multimodale Large Language Modelle von entscheidender Bedeutung, da sie nicht nur dabei helfen, bestehende Datensätze durch Vorlagen zu konvertieren, sondern auch dem Modell helfen, menschliche Absichten zu verstehen und angemessene Antworten zu generieren. Die meisten MLLMs verwenden eine Few-Shot-Prompting-Methode, um visuelle Anweisungstuning-Daten zu erhalten, bei der das Modell textuelle Beschreibungen von Szenen im Bild zusammen mit menschlich annotierten Dialogen als Few-Shot-Demonstrationen bereitstellt. Allerdings konzentrieren sich bestehende Anweisungstuning-Methoden hauptsächlich auf die Beschreibung des gesamten Bildes, ohne explizit räumliche Informationen anzugeben. Das Ferret-Framework betont regionbasiertes Wissen, um Referenz- und Grounding-Anweisungstuning-Daten in drei Schritten zu sammeln.

1. Zusätzlich zu globalen Bildunterschriften und Objekten stellt das Framework eine symbolische Szenenbeschreibung bereit, die die physische Beziehung zwischen den Regionenbeschreibungen und Objekten sowie ihre Koordinaten beschreibt.
2. Für menschlich annotierte Dialoge fügt das Framework Koordinaten nach grundbaren Objekten oder Regionen in der Eingabe oder Ausgabe oder beidem hinzu, wobei die Dialoge hauptsächlich auf bestimmte Regionen fokussieren, was dem Sprachmodell implizit hilft, ähnliche Muster für die neue Dialoggenerierung zu befolgen.
3. Es ist möglich, dass die durch das Framework generierten Dialoge nicht den Regeln und Mustern folgen, die durch Few-Shot-Beispiele und Systemprompts angegeben werden. Um dieses Problem zu lösen, verwendet das Framework erneut ein Sprachmodell, um die durch das Modell initial generierten Dialoge zu verfeinern.

Räumliche Negative Mining

Vorherige Forschung hat gezeigt, dass multimodale Large Language Modelle eine hohe Wahrscheinlichkeit haben, zu halluzinieren, wenn sie auf Ja- oder Nein-Fragen reagieren. Um sicherzustellen, dass das Ferret-Modell in ähnlichen Situationen nicht halluziniert, verwendet das Framework einen räumlichen Negativ-Mining-Ansatz mit Bild-konditionierter Kategorisierung und Semantik-konditionierter Kategorisierung. Beide Methoden fordern das Modell auf, bestimmte Objektkategorien zu lokalisieren, was es dem Modell ermöglicht, das Fehlen bestimmter Objekte im Bild zu erkennen.

Ferret: Ergebnisse und Experimente

Um seine Leistung zu analysieren, wird das Ferret-Framework auf herkömmlichen Grounding- und Referenz-Benchmarks bewertet, nachdem es auf einem komplexeren multimodalen Chat-Aufgaben bewertet wurde und seine Referenz- und Grounding-Fähigkeiten getestet wurden.

Die Fähigkeit des Modells, Referenzen zu verstehen, wird durch die Genauigkeit bewertet, mit der das Modell die Semantik der referenzierten Region gegeben einer referenzierten Region im Bild oder der Frage verstehen kann. Um die Genauigkeit des Modells zu messen, werden Objekte, die grundlegendste Semantik, zunächst in Betracht gezogen, da sie nicht nur grundlegend, sondern auch leicht zu definieren sind. Um menschliche Vielseitigkeit zu imitieren, ersetzt das Framework die Position des Objekts innerhalb des Bildes durch eine freie Form, eine Box und einen Punkt. Für eine freie Form generiert das Modell zufällig Striche innerhalb des Ground-Truth-Objekts zur Simulation. Für eine Box verwendet das Ferret-Framework die Ground-Truth-Begrenzungsbox, die durch die LVIS-Komponente bereitgestellt wird. Schließlich verwendet das Modell für einen Punkt zufällig einen Punkt innerhalb des Ground-Truth-Objekts, der auch in der Nähe der Grenze des Ground-Truth-Objekts liegt. Die Ergebnisse für die drei Arten von Referenzen werden in dem folgenden Bild demonstriert.

Das Ferret-Framework zeigt eine bemerkenswerte Leistung in referenziellen Dialogaufgaben, was Raum für die Integration mit verschiedenen visuellen Lernaufgaben, insbesondere solchen mit Grounding-Ausgaben, lässt. Um seine Grounding-Fähigkeit zu bewerten, unterzieht sich das Ferret-Framework zunächst Benchmark-Visuellen-Grounding-Aufgaben mit einem generativen Paradigma. Das Framework bewertet dann seine Fähigkeit in grundbaren Beschreibungsaufgaben, um die Ausrichtung zwischen den Regionen und den Wörtern zu messen.

In visuellen Grounding-Aufgaben zielt das Framework darauf ab, Sprachabfragen in ausgerichtete Regionen des Bildes zu lokalisieren, und wie es im folgenden Bild zu sehen ist, zeigt das Ferret-Framework eine bemerkenswerte Leistung über alle Benchmarks hinweg, und die Leistung ist vergleichbar mit der, die durch spezielle Feinabstimmungsmethoden erreicht wird.

Für grundbare Beschreibungsaufgaben muss das Modell eine Beschreibung generieren und dann die generierten Nomen-Phrasen auf Bildregionen lokalisieren. Die endgültige Vorhersage des Modells besteht aus drei Komponenten: visuelle Regionen als Boxen, Text-Beschreibungen und Grounding-Ausrichtungen zwischen Boxen und Wörtern. Die Ergebnisse werden im folgenden Bild demonstriert, und wie es zu sehen ist, liefert das Framework eine Leistung, die mit den State-of-the-Art-Methoden vergleichbar ist.

Schließlich ist multimodales Chatten eine der begehrtesten Fähigkeiten in einem MLLM, und bestehende MLLMs bewerten detaillierte Beschreibungen, Konversationen und komplexe Argumentationen mit dem Sprachmodell als Richter. Allerdings gibt es keine Daten, die multimodales Chatten mit obligatorischen Referenz- oder Grounding-Aktionen bewerten, was eine Lücke hinterlässt. Um diese Lücke zu schließen, deckt das Ferret-Framework drei regionbasierte Fragen ab, um seine Referenz- und Grounding-Fähigkeiten in multimodalen Chat-Aufgaben zu bewerten. Die Ergebnisse werden im folgenden Bild demonstriert.

Schließlich wird das Ferret-Framework direkt mit dem State-of-the-Art-GPT-Framework verglichen, und die Ergebnisse werden unten demonstriert.

Letzte Gedanken

In diesem Artikel haben wir über Ferret gesprochen, ein multimodales Large Language Model, das bemerkenswerte Grounding- und Referenzfähigkeiten zeigt. Das Ferret-Framework kann auf Bildregionen verweisen, unabhängig von ihrer Form, und kann Grounding für Text vorhersagen, den das Modell automatisch vorhersagt. Ferret verwendet einen räumlich-bewussten visuellen Sampler, der in der Lage ist, variierende Spärlichkeit, die von verschiedenen Formen angezeigt wird, zu handhaben, um die kontinuierlichen Merkmale von vielfältigen Regionen zu extrahieren. Als Ergebnis kann das Ferret-Framework verschiedene Regioneneingaben, einschließlich freier Formen, Begrenzungsboxen und Punkte, verarbeiten.