Mit der jüngsten Verbesserung der Methoden für die visuelle Anweisungstuning haben Multimodale Große Sprachmodelle (MLLMs) bemerkenswerte allgemeine visuell-sprachliche Fähigkeiten demonstriert. Diese Fähigkeiten machen sie zu wichtigen Bausteinen für moderne allgemeine visuelle Assistenten. Aktuelle Modelle, einschließlich MiniGPT-4, LLaVA, InstructBLIP und andere, zeigen beeindruckende visuelle Argumentations- und Anweisungsfolgefähigkeiten. Obwohl die meisten von ihnen auf Bild-Text-Paaren für die Bild-Level-Visuell-Sprach-Alignment angewiesen sind, zeigen sie gute Leistungen in diesem Bereich. Allerdings ist ihre Abhängigkeit von Box-Level- und Bild-Level-Verständnis der Hauptgrund, warum MLLMs bei der Nachbildung ihrer Leistung bei feinkörnigen visuell-sprachlichen Alignment-Aufgaben auf Pixel-Ebene versagen. Darüber hinaus stellt die begrenzte Verfügbarkeit von maskenbasierten Anweisungsdaten für die Ausbildung eine Herausforderung bei der weiteren Verbesserung von MLLMs dar.

Osprey ist eine maskenbasierte Anweisungsausbildungsmethode, deren Hauptziel darin besteht, MLLMs zu erweitern. Sie integriert feinkörnige maskierte Regionen in Sprachanweisungen, um ein pixelweises visuell-sprachliches Verständnis zu erreichen. Um dies zu erreichen, kuratiert die Osprey-Plattform ein maskenbasiertes Region-Text-Datenset mit über 700.000 Samples. Sie injiziert pixelweises Repräsentation in Large Language Models (LLMs), um ein visuell-sprachliches Modell zu entwerfen. Bemerkenswerterweise adoptiert die Osprey-Plattform ein konvolutionales CLIP-Modell als ihren Sehencoder und integriert einen maskenbewussten visuellen Extraktor in ihre Architektur. Dies ermöglicht eine präzise Extraktion von visuellen Maskenmerkmalen aus hochauflösenden Eingaben.

In diesem Artikel werden wir die Osprey-Plattform und ihre Architektur genauer betrachten. Wir werden auch das kuratierte Region-Text-Datenset mit über 700.000 Samples untersuchen und seine Leistung in verschiedenen Region-Verständnis-Aufgaben vergleichen. Also, fangen wir an.

Osprey: Pixelweises Verständnis mit visueller Anweisungstuning

Multimodale Große Sprachmodelle wie MiniGPT-4, Otter, Qwen-LV, InstructBLIP und andere sind die Vorreiter bei der Entwicklung allgemeiner visueller Assistenten und sind für ihre außergewöhnlichen multimodalen und visuell-generativen Fähigkeiten bekannt. Allerdings leiden Multimodale Große Sprachmodelle unter einer großen Herausforderung, da sie unzureichende Ergebnisse bei feinkörnigen Bildverständnis-Aufgaben wie Beschriftung, Region-Klassifizierung und Argumentation liefern. Ein wichtiger Grund für die unterdurchschnittliche Leistung bei feinkörnigen Bildverständnis-Aufgaben ist das Fehlen von Ausrichtung auf Region-Ebene. Aktuelle MLLMs wie GPT4RoI, Shikra und andere zielen darauf ab, ein Region-Level-Verständnis in visuell-sprachlichen Modellen zu ermöglichen, indem sie Regionen mit Bounding-Boxen verarbeiten und visuelle Anweisungstuning mit räumlichen Merkmalen auf Objekt-Ebene nutzen.

Obwohl der Ansatz, um ein Region-Level-Verständnis zu ermöglichen, die Leistung verbessern kann, kann die Verwendung von spärlichen Bounding-Boxen als direkte Eingabe-Region irrelevante Hintergrundmerkmale einführen, was zu ungenauer Region-Text-Paar-Ausrichtung für visuelle Anweisungstuning auf großen Sprachmodellen führen kann. Während des Inferenzprozesses kann die boxbasierte Eingabe-Region möglicherweise nicht in der Lage sein, das Objekt genau zu erkennen und zu repräsentieren, was zu semantischer Abweichung führen kann, wie in dem folgenden Bild demonstriert wird.

Im Vergleich dazu kann die Verwendung von feinkörnigen Masken anstelle von groben Bounding-Boxen als Eingabe-Region es ermöglichen, Objekte mit größerer Präzision darzustellen. Das kürzlich entwickelte SAM- oder Segment-Anything-Modell wird auf Milliarden von hochwertigen Masken trainiert und zeigt bemerkenswerte Segmentierungsqualität bei Zero-Shot-Objekten und unterstützt die Verwendung von Punkten oder einfachen Bounding-Boxen als Prompts. Allerdings kann das SAM-Modell keine primären semantischen Labels generieren, noch kann es detaillierte semantische Beschriftungen und Attribute liefern. Als Ergebnis fehlt es existingen Modellen an inhärenten multimodalen feinkörnigen Informationen, und sie haben ein begrenztes Verständnis von Szenen in der realen Welt.

Um die Herausforderungen, denen sich die bestehenden MLLMs gegenübersehen, zu meistern, zielt Osprey, eine neue maskenbasierte Anweisungsausbildungsmethode, darauf ab, die Fähigkeiten multimodaler großer Sprachmodelle für feinkörniges Verständnis auf Pixel-Ebene zu erweitern. Die Osprey-Plattform führt einen maskenbewussten visuellen Extraktor ein, der visuelle Maskenmerkmale mit variierender Granularität genau erfassen kann. Die Plattform verwebt dann die visuellen Merkmale mit Sprachanweisungen, um die Eingabesequenz für das große Sprachmodell zu generieren, und nutzt eine konvolutionale CLIP-Architektur, um die Verwendung von hochauflösenden Eingaben zu ermöglichen. Aufgrund ihrer Konstruktion und Architektur kann die Osprey-Plattform ein feinkörniges semantisches Verständnis für Objekt-Level- und Teil-Level-Regionen erreichen und detaillierte Objektattribute sowie primäre Objektkategorien und erweiterte Beschreibungen komplexer Szenen liefern.

Indem die Osprey-Plattform die Fähigkeiten der visuellen Anweisungstuning nutzt, ermöglicht sie neue Fähigkeiten jenseits von Bild-Level- und Box-Level-Verständnis von Szenen, da die Osprey-Plattform feinkörnige Semantik mithilfe von klassenunabhängigen Masken von SAMs generieren kann. Darüber hinaus zeigt Osprey bemerkenswerte Fähigkeiten bei der Objekt-Klassifizierung, der offenen Vokabular-Erkennung, der regionalen Beschriftung und der detaillierten Region-Beschreibung.

Osprey: Methodik und Architektur

Das folgende Bild zeigt die Architekturübersicht der Osprey-Plattform, bestehend aus einem großen Sprachmodell, einem pixelweisen maskenbewussten visuellen Extraktor und einem Bild-Level-Sehencoder.

Für ein gegebenes Bild, die Eingabesprache und die referenzierten Masken-Regionen, führt die Plattform eine Umwandlung und Tokenisierung durch, um Einbettungen zu generieren, bevor sie die Sprach-Einbettungssequenzen und die verflochtenen Maskenmerkmale an das große Sprachmodell sendet, um feinkörnige semantische Verständnisse zu erhalten.

Konvolutionales CLIP-Sehencoder

Der in der Mehrheit der multimodalen großen Sprachmodelle eingesetzte Sehencoder wird durch ein ViT-basiertes CLIP-Modell exemplifiziert. Als Ergebnis adoptiert die Plattform eine Bildauflösung von entweder 224×224 Pixeln oder 336 x 336 Pixeln. Allerdings macht die Verwendung des ViT-basierten CLIP-Modells es schwierig für das Modell, ein feinkörniges Bildverständnis von pixelweisen Repräsentationen zu erreichen, ein Problem, das sich in kleinen Regionen noch weiter verschärft. Darüber hinaus behindert die mit der ViT-Architektur verbundene Rechenlast die Möglichkeit, die Eingabe-Bildauflösung zu erhöhen.

Um diese Herausforderung zu meistern, implementiert die Osprey-Plattform einen konvolutionalen CLIP-Modell als Sehencoder in ihrer Architektur. Traditionell haben konvolutionale Neuralen Netze basierte CLIP-Modelle bemerkenswerte Generalisierungsfähigkeiten bei verschiedenen Eingabe-Auflösungen im Vergleich zu visionstransformer-basierten CLIP-Modellen gezeigt. Die Implementierung eines CNN-basierten CLIP-Modells schafft Raum für schnelle Inferenz und effizientes Training ohne Kompromisse bei der Modellleistung. Darüber hinaus kann ein CNN-basiertes CLIP-Modell mehrskalige Merkmalskarten generieren, die die Plattform dann direkt für die Merkmalsextraktion in jeder nachfolgenden Objekt-Region verwendet.

Maskenbewusster visueller Extraktor

Im Gegensatz zu bestehenden regionbasierten Modellen, die spärliche Bounding-Boxen als Eingabe-Region verwenden, verwendet die Osprey-Plattform detaillierte Masken-Regionen, um objektbasierte Repräsentationen zu implementieren. Die Osprey-Plattform verwendet einen maskenbewussten visuellen Extraktor-Modul, um pixelweise Merkmale innerhalb jeder Objekt-Region zu erfassen.

Um dies zu implementieren, verwendet die Osprey-Plattform zunächst die multi-level-Bildmerkmale, die vom Sehencoder generiert werden, um die Masken-Pooling-Operation zu adoptieren, und für jedes einzelne Level-Merkmal poolt die Plattform alle Merkmale, die innerhalb der Masken-Region liegen. Die Plattform kodiert dann die Merkmale über verschiedene Schichten, indem sie jedes Merkmal durch eine lineare Projektionsschicht sendet, die regionale Einbettungen generiert, und verbindet multi-level-Merkmale durch Summierung. Die Plattform verwendet dann eine MLP-Schicht, um das visuelle Masken-Token zu produzieren. Darüber hinaus bewahrt die Osprey-Plattform die räumliche Geometrie der Objekt-Region, indem sie die pixelweisen Positionsbeziehungen durch die Implementierung einer binären Maske für jede Objekt-Region kodiert. Am Ende schließt die Osprey-Plattform das visuelle Masken-Token und seine jeweiligen räumlichen Token für jede Masken-Region-Einbettung ein.

LLM-Tokenisierung

Wie bereits erwähnt, extrahiert das Modell die Bild-Level-Einbettungen eines Bildes, indem es es in einen vorge trainierten CNN-basierten visuellen Sehencoder einfügt. Für textuelle Informationen verwendet das Modell zunächst vorge trainierte LLM-Tokenizer, um Textsequenzen zu tokenisieren, und projiziert dann diese tokenisierten Textsequenzen in Text-Einbettungen. Für maskenbasierte Regionen definiert das Modell ein spezielles Token als Platzhalter und ersetzt es dann durch ein räumliches Token zusammen mit einem Masken-Token. Wenn das Modell auf eine Objekt-Region in der Text-Eingabe verweist, fügt es den Platzhalter nach dem Region-Namen hinzu, was es ermöglicht, dass die Masken-Regionen mit Texten gut vermischt werden, was zu vollständigen Sätzen ohne Tokenisierungsraum führt. Darüber hinaus schließt das Modell neben den Benutzeranweisungen auch einen Prefix-Prompt ein, ein spezielles Token, das als Platzhalter dient, das dann durch die Bild-Level-Einbettungen des Sehencoders ersetzt wird. Schließlich verwebt die Plattform die regionale und Bild-Level-visuellen Token zusammen mit Text-Token und füttert sie in das große Sprachmodell, um die Benutzeranweisungen und das Bild mit verschiedenen Regionen im Objekt zu verstehen.

Osprey: Drei-Stufen-Ausbildungsprozess

Die Osprey-Plattform setzt einen drei-Stufen-Ausbildungsprozess ein, bei dem jede der Ausbildungsphasen durch die Minimierung eines Next-Token-Vorhersage-Verlusts überwacht wird.

Stufe 1: Bild-Text-Ausrichtungsausbildung

In der ersten Stufe setzt die Osprey-Plattform den CNN-basierten CLIP-Sehencoder ein, um die Bild-Level-Merkmale und den Sprach-Connector zu trainieren, um das Modell für die Bild-Text-Merkmalsausrichtung zu trainieren. In der ersten Stufe verwendet die Plattform drei Komponenten: ein vorge trainiertes großes Sprachmodell, einen vorge trainierten Sehencoder und einen Bild-Level-Projektor. Die Plattform adoptiert auch eine MLP-Schicht, die als vision-sprachlicher Connector dient, um die multimodalen generativen Fähigkeiten von Osprey zu verbessern.

Stufe 2: Masken-Text-Ausrichtungs-Vorverarbeitung

In der zweiten Stufe lädt die Osprey-Plattform die in der ersten Stufe trainierten Gewichte und verwendet ihren maskenbewussten visuellen Extraktor-Modul, um pixelweise Region-Merkmale zu erfassen. In der zweiten Stufe trainiert die Plattform nur den maskenbewussten visuellen Extraktor, um Sprach-Einbettungen mit maskenbasierten Region-Merkmalen auszurichten. Darüber hinaus sammelt das Modell pixelweise Masken-Paare und kurze Texte von Teil-Level- und öffentlich verfügbaren Objekt-Level-Datensätzen und konvertiert sie in Anweisungsfolge-Daten, um das Modell weiter zu trainieren.

Stufe 3: End-to-End-Feinabstimmung

In der dritten und letzten Stufe fixiert das Modell die Gewichte des Sehencoders und feinabstimmt das große Sprachmodell, den maskenbasierten Region-Merkmal-Extraktor und den Bild-Level-Projektor in seiner Architektur. Das primäre Ziel der Ausbildung in der dritten Stufe ist es, die Fähigkeit des Modells zu erweitern, um Benutzeranweisungen genau zu folgen und pixelweises Region-Verständnis-Aufgaben effizient auszuführen.

Nach der Implementierung der drei Ausbildungsstufen ist die Osprey-Plattform in der Lage, komplexe Szenarien zu verstehen, die durch Benutzeranweisungen definiert sind und auf pixelweisen Masken-Regionen basieren.

Osprey: Experimentelle Ergebnisse

Um ihre Leistung zu bewerten, führen die Osprey-Entwickler eine Vielzahl von Experimenten durch, um die Fähigkeiten des Modells in Klassifizierung, pixelweiser Region-Erkennung und komplexen Beschreibungen zu demonstrieren.

Offen-Vokabular-Segmentierung

Das primäre Ziel der offenen Vokabular-Segmentierung ist es, maskenbasierte Region-Erkennung und ihre jeweilige Kategorie explizit zu generieren. Um die offene Vokabular-Segmentierung zu erreichen, verwendet die Osprey-Plattform zunächst einen Text-Prompt, gefolgt von der Verwendung von Ground-Truth-Masken-Regionen für die Modell-Interferenz, um die Leistung des Modells in offenen Vokabular-Erkennungsaufgaben zu bewerten. Auf der Grundlage der Satzantwort, die vom multimodalen großen Sprachmodell generiert wird, berechnet die Osprey-Plattform die semantische Ähnlichkeit zwischen der Vokabular-Liste und der Ausgabe jedes Datensatzes. Das folgende Bild vergleicht die Osprey-Plattform mit den aktuellen multimodalen großen Sprachmodellen.

Wie zu sehen ist, übertrifft die Osprey-Plattform die bestehenden Methoden um einen erheblichen Betrag auf beiden Cityscapes- und ADE20K-150-Datensätzen. Die Ergebnisse zeigen die Fähigkeit der Osprey-Plattform, bestehende Ansätze zu überbieten und ein robustes Verständnis und eine Erkennung auf feinkörnigen Objekt-Regionen zu erreichen.

Referenz-Objekt-Klassifizierung

In der Referenz-Objekt-Klassifizierungsaufgabe muss das Modell das Objekt innerhalb einer bestimmten Region eines Bildes klassifizieren. Um ihre Klassifizierungsfähigkeiten zu bewerten, verwendet die Osprey-Plattform zwei semantische Relevanzmetriken, einschließlich semantischer IoU oder S-IoU und semantischer Ähnlichkeit oder SS. Semantische IoU stellt die Überlappung von Wörtern zwischen den Ground-Truth- und den Vorhersage-Labels dar, während semantische Ähnlichkeit die Ähnlichkeit zwischen den Vorhersage- und/oder Ground-Truth-Labels in einem semantischen Raum misst. Das folgende Bild demonstriert die Leistung der Osprey-Plattform in der Referenz-Objekt-Klassifizierungsaufgabe im Vergleich zu Modellen, die boxbasierte und bildbasierte Ansätze verwenden.

Detaillierte Region-Beschreibung

In der detaillierten Region-Beschreibungsaufgabe bewertet das Modell ihre Leistung bei der Anweisungsfolge-Detailliertheit und anderen regionbasierten Ansätzen. Das Modell wählt zufällig einen Eingabe-Prompt aus einer Liste von vordefinierten Prompts aus und nutzt das GPT-4-LLM-Framework, um die Qualität der Antwort zu messen, die vom Modell gegen die Eingabe-Regionen umfassend generiert wird. Mit Hilfe der Anweisungs-Generierungs-Pipeline generiert das Modell Fragen und sucht nach Antworten von GPT-4, woraufhin das LLM die Korrektheit der Semantik und die Präzision des referenziellen Verständnisses bewertet. Das folgende Bild zeigt die Leistung der Osprey-Plattform im Vergleich zu den aktuellen Modellen bei der detaillierten Region-Beschreibung.

Region-Level-Beschriftung

Die Osprey-Plattform übertrifft auch die aktuellen Ansätze bei der Region-Level-Beschriftung, wie in dem folgenden Bild zu sehen ist.

Final Thoughts

In diesem Artikel haben wir über Osprey, eine maskenbasierte Anweisungsausbildungsmethode, gesprochen, deren primäres Ziel darin besteht, MLLMs zu erweitern, indem feinkörnige maskierte Regionen in Sprachanweisungen integriert werden, um ein pixelweises visuell-sprachliches Verständnis zu erreichen. Um dies zu erreichen, kuratiert die Osprey-Plattform ein maskenbasiertes Region-Text-Datenset mit über 700.000 Samples und injiziert pixelweises Repräsentation in LLM, um ein visuell-sprachliches Modell zu entwerfen. Die Osprey-Plattform zielt darauf ab, MLLMs für feinkörniges visuelles Verständnis erheblich zu verbessern, und durch die Implementierung eines CNN-basierten CLIP-Modells und eines maskenbewussten visuellen Extraktors erreicht die Osprey-Plattform die Fähigkeit, Bilder auf Teil-Level- und Objekt-Level-Regionen zu verstehen.