Met de recente verbetering van visuele instructieafstemmingmethoden hebben Multimodale Grote Taalmodellen (MLLM’s) opmerkelijke algemene visuele taalvaardigheden laten zien. Deze vaardigheden maken hen tot belangrijke bouwstenen voor moderne algemene visuele assistenten. Recent ontwikkelde modellen, waaronder MiniGPT-4, LLaVA, InstructBLIP en anderen, laten indrukwekkende visuele redenering en instructievolging zien. Hoewel de meeste van hen afhankelijk zijn van beeld-tekstparen voor beeldniveau visuele taalafstemming, presteren ze goed in dit domein. Echter, hun afhankelijkheid van boxniveau en beeldniveau begrip is de belangrijkste reden waarom MLLM’s tekortschieten in het repliceren van hun prestaties op fijne visuele taalafstemmingstaken op pixelniveau. Bovendien vormt de beperkte beschikbaarheid van maskergebaseerde instructiedata voor training een uitdaging voor het verder verbeteren van MLLM’s.

Osprey is een masker-tekstinstructietrainingsmethode met als hoofddoel het uitbreiden van MLLM’s. Het omvat fijne maskergebieden in taalinstructies om pixelniveau visueel-taalbegrip te bereiken. Om dit te bereiken, curateert het Osprey-kader een maskergebaseerd regio-tekstdataset met meer dan 700.000 samples. Het injecteert pixelniveau-representatie in Grote Taalmodellen (LLM’s) om een visueel-taalmodel te ontwerpen. Opvallend is dat het Osprey-kader een convolutionaal CLIP-model als visie-encoder en een maskerbewuste visuele extractor in zijn architectuur integreert. Dit stelt Osprey in staat om beelden te begrijpen op zowel partniveau als objectniveau.

In dit artikel zullen we het Osprey-kader bespreken en dieper ingaan op zijn architectuur. We zullen ook de gecurateerde regio-tekstdataset met meer dan 700.000 samples onderzoeken en zijn prestaties in verschillende regio-begrijpingstaken vergelijken. Laten we beginnen.

Osprey: Pixelniveau begrip met visuele instructieafstemming

Multimodale Grote Taalmodellen zoals MiniGPT-4, Otter, Qwen-LV, InstructBLIP en anderen zijn de koplopers bij het ontwikkelen van algemene visuele assistenten en zijn bekend om hun uitzonderlijke multimodale en visuele generatieve vaardigheden. Echter, Multimodale Grote Taalmodellen hebben te maken met een grote uitdaging, aangezien ze onbevredigende resultaten leveren op fijne beeldbegrijpingstaken zoals onderschriften, regio-classificatie en redenering. Een belangrijke reden voor de ondermaatse prestaties op fijne beeldbegrijpingstaken is het gebrek aan afstemming op regioniveau. Recent ontwikkelde MLLM’s zoals GPT4RoI, Shikra en anderen hebben als doel regio-niveau begrip te ermöglichen in visueel-taalmodellen door gebieden te verwerken die zijn gespecificeerd door begrenzingsboxen en visuele instructieafstemming met ruimtelijke functies op objectniveau.

Hoewel de aanpak om regio-niveau begrip te ermöglichen de prestaties kan verbeteren, kan het gebruik van schaarse begrenzingsboxen als verwijzingsinputgebied rechtstreeks onnodige achtergrondfuncties introduceren, waardoor onnauwkeurige regio-tekstpaarafstemming optreedt voor visuele instructieafstemming op grote taalmodellen. Tijdens het inferentieproces kan de boxniveau-verwijzingsinput mogelijk geen object nauwkeurig detecteren en representeren, wat kan leiden tot semantische afwijking, zoals wordt aangetoond in de volgende afbeelding.

In vergelijking kan het gebruik van fijne maskers in plaats van grove begrenzingsboxen als verwijzingsinput mogelijk objecten met meer precisie representeren. Onlangs ontwikkelde SAM of Segment Anything Model wordt getraind op miljarden hoge-kwaliteitmaskers, laat opmerkelijke segmentatiekwaliteit zien op zero-shotobjecten en ondersteunt het gebruik van punten of eenvoudige begrenzingsboxen als prompts. Echter, het SAM-kader kan geen primaire semantische labels genereren, noch kan het gedetailleerde semantische onderschriften en attributen bieden. Als gevolg hiervan ontbreken bestaande modellen inherent multimodaal fijne informatie en hebben ze een beperkt begrip van scènes in de echte wereld.

Om de uitdagingen aan te pakken die bestaande MLLM’s tegenkomen, heeft Osprey, een novelle masker-tekstinstructietrainingsmethode, als doel het uitbreiden van de mogelijkheden van multimodale grote taalmodellen voor fijne begrijping op pixelniveau. Het Osprey-kader introduceert een maskerbewuste visuele extractor die visuele maskerfuncties met variabele granulariteit nauwkeurig vastlegt. Het kader verweeft vervolgens de visuele functies met taalinstructies om de invoersequentie voor de grote taalmodel te genereren en maakt gebruik van een convolutionaal CLIP-architectuur om het gebruik van hoge resolutie-invoer te faciliteren. Als gevolg van zijn ontwerp en architectuur is het Osprey-kader in staat om fijne semantische begrijping te bereiken voor objectniveau- en partniveau-regio’s en biedt het gedetailleerde objectattributen samen met de primaire objectcategorie en verbeterde beschrijvingen van complexe scènes.

Door de mogelijkheden van visuele instructieafstemming te benutten, ermöglicht het Osprey-kader nieuwe mogelijkheden die verder gaan dan beeldniveau- en boxniveau-begrip van scènes, aangezien het Osprey-kader fijne semantiek kan genereren met behulp van klasse-agnostische maskers vanuit de fabriek SAM’s. Bovendien toont Osprey opmerkelijke mogelijkheden in verwijzingsobjectclassificatie, open-vocabulaire-herkenning, regioniveau-onderschriften en gedetailleerde regio-beschrijvingstaken.

Osprey: Methodologie en Architectuur

De volgende figuur toont de architectuur-overzicht van het Osprey-kader, bestaande uit een grote taalmodel, pixelniveau-maskerbewuste visuele extractor en een beeldniveau-visie-encoder.

Voor een gegeven beeld, de invoer-taal en de verwijzingsmaskerregio’s, voert het kader conversie en tokenisatie uit om embeddings te genereren voordat het de taal-embeddingssequentie en de verweven maskerfuncties naar het grote taalmodel stuurt om fijne semantische begrijping te verkrijgen.

Convolutionaal CLIP-Visie-Encoder

De visie-encoder die wordt gebruikt in de meeste multimodale grote taalmodellen wordt geïllustreerd met een ViT-gebaseerd CLIP-model. Als gevolg hiervan past het kader een beeldresolutie van 224×224 pixels of 336 x 336 pixels toe. Echter, het gebruik van het ViT-gebaseerde CLIP-model maakt het moeilijk voor het model om fijne beeldbegrijping van pixelniveaurepresentaties te bereiken, een probleem dat verder wordt verergerd in kleine regio’s. Bovendien verhindert de computationele overload die is geassocieerd met de ViT-architectuur de mogelijkheid om de invoerbeeldresolutie te verhogen.

Om deze uitdaging aan te pakken, implementeert het Osprey-kader een convolutionaal CLIP-model als visie-encoder in zijn architectuur. Traditioneel hebben convolutionale neurale netwerken op basis van CLIP-modellen opmerkelijke generalisatiecapaciteiten laten zien over verschillende invoerresoluties in vergelijking met visietransformator-gebaseerde CLIP-modellen. Het implementeren van een CNN-gebaseerd CLIP-model maakt ruimte voor snelle inferentie en efficiënte training zonder compromissen te doen over de prestaties van het model. Bovendien kan een CNN-gebaseerd CLIP-model multi-schaal-functiekaarten genereren die het kader vervolgens rechtstreeks gebruikt voor functie-extractie in elke daaropvolgende objectregio.

Maskerbewuste Visuele Extractor

In tegenstelling tot bestaande regio-gebaseerde modellen die schaarse begrenzingsboxen als verwijzingsinput gebruiken, gebruikt het Osprey-kader gedetailleerde maskerregio’s om objectgebaseerde representaties te implementeren. Het Osprey-model gebruikt een maskerbewuste visuele extractor-component om pixelniveau-functies binnen elke objectregio vast te leggen.

Om dit te implementeren, gebruikt Osprey eerst de multi-niveau-beeldfuncties gegenereerd door de visie-encoder om de masker-pooloperatie te adopteren en voor elk enkelvoudig niveau-functie, poolt het kader alle functies die binnen het maskergebied liggen. Het model codeert vervolgens de functies over verschillende lagen door elk functie door een lineaire projectielaag te sturen die regio-niveau-embeddings genereert en verbindt multi-niveau-functies door sommatie uit te voeren. Het model gebruikt vervolgens een MLP-laag om het visuele maskertoken te produceren. Bovendien bewaart Osprey de ruimtelijke geometrie van de objectregio door de pixelniveau-positierelatie te coderen door een binaire masker te implementeren voor elke objectregio. Uiteindelijk omvat Osprey het visuele maskertoken en de bijbehorende spatiale tokens voor elke maskerregio-embedding.

LLM-Tokenisatie

Zoals eerder vermeld, extracteert het model de beeldniveau-embeddings van een beeld door het in een vooraf getrainde CNN-gebaseerde visuele encoder te voeren. Voor tekstuele informatie, gebruikt het model eerst vooraf getrainde LLM-tokenizers om tekstsequentieën te tokeniseren en projecteert vervolgens deze getokeniseerde tekstsequentieën in tekstembeddings. Voor masker-gebaseerde regio’s, definieert het model een speciaal token als placeholder en vervangt het vervolgens met een spatiaal token samen met een maskertoken. Wanneer het model naar een objectregio in de tekstinput verwijst, voegt het de placeholder toe na de regionaam, waardoor de maskerregio’s goed mengen met teksten, resulterend in complete zinnen zonder tokenisatieruimte. Bovendien, naast gebruikersinstructies, omvat het model ook een prefix-prompt, een speciaal token dat fungeert als placeholder, die vervolgens wordt vervangen door de beeldniveau-embeddings van de visuele encoder. Ten slotte, verweeft het kader de regio-niveau- en beeldniveau-visuele tokens samen met teksttokens en voert het in het grote taalmodel in om de gebruikersinstructies en het beeld met verschillende regio’s in het object te begrijpen.

Osprey: Drie-fasentrainingproces

Het Osprey-kader gebruikt een drie-fasentrainingproces, waarbij elke trainingsfase wordt gesuperviseerd door het minimaliseren van een next-token-predictieloss.

Fase 1: Beeld-Tekst-Afstemmingstraining

In de eerste fase, gebruikt het Osprey-kader de CNN-gebaseerde CLIP-visie-encoder om de beeldniveau-functies en de taalconnector te trainen om het model voor beeld-tekstfunctieafstemming te trainen. In de eerste fase, gebruikt het kader drie componenten: een vooraf getraind groot taalmodel, een vooraf getrainde visie-encoder en een beeldniveau-projector. Het kader gebruikt ook een MLP-laag om te dienen als de visie-taalconnector die helpt bij het verbeteren van de multimodale generatieve capaciteiten van Osprey.

Fase 2: Masker-Tekst-Afstemming-Pretraining

In de tweede fase, laadt Osprey de gewichten getraind in de eerste fase en gebruikt het zijn maskerbewuste visuele extractor-component om pixelniveau-regiofuncties vast te leggen. In de tweede fase, traint het kader alleen de maskerbewuste visuele extractor om taal-embeddings af te stemmen met masker-gebaseerde regiofuncties. Bovendien, verzamelt het model pixelniveau-maskerparen en korte teksten van partniveau en openbaar beschikbare objectniveau-datasets en converteert ze in instructie-volgend data om het model verder te trainen.

Fase 3: Eind-tot-Eind-Fijne-Afstemming

In de derde en laatste fase, fixeert het model de gewichten van de visie-encoder en finetuned het grote taalmodel, de masker-gebaseerde regiofunctie-extractor en de beeldniveau-projector-componenten in zijn architectuur. Het primaire doel van training in de derde fase is om de capaciteit van het model uit te breiden om gebruikersinstructies nauwkeurig te volgen en efficiënt pixelniveau-regio-begrijpingstaken uit te voeren.

Na het implementeren van de drie trainingsfases, is het Osprey-kader in staat om complexe scenario’s te begrijpen die zijn gedefinieerd door gebruikersinstructies en zijn gebaseerd op pixelniveau-maskerregio’s.

Osprey: Experimentele Resultaten

Om zijn prestaties te evalueren, voeren de ontwikkelaars van Osprey een breed scala aan experimenten uit om de capaciteiten van het model te demonstreren in classificatie, pixelniveau-regio-herkenning en complexe beschrijvingen.

Open-Vocabulaire-Segmentatie

Het primaire doel van open-vocabulaire-segmentatie is om masker-gebaseerde regio-herkenning en de bijbehorende categorie expliciet te genereren. Om open-vocabulaire-segmentatie te bereiken, gebruikt Osprey eerst een invoer-tekstprompt, waarna het model de grondwaarheidsmaskerregio’s voor modelinterferentie gebruikt om de prestaties van het model in open-vocabulaire-herkenningstaken te beoordelen. Op basis van de zinrespons gegenereerd door het multimodale grote taalmodel, berekent Osprey de semantische gelijkenis tussen de vocabulaire-lijst en de output van elke dataset. De volgende figuur vergelijkt Osprey met state-of-the-art multimodale grote taalmodellen.

Zoals te zien is, presteert het Osprey-kader beter dan bestaande methoden met een aanzienlijke marge op zowel de Cityscapes- als de ADE20K-150-dataset. De resultaten geven aan dat Osprey in staat is om bestaande benaderingen te overtreffen en robuust begrip en herkenning te bereiken op fijne objectregio’s.

Verwijzingsobject-Classificatie

In de verwijzingsobjectclassificatie-taak, moet het model het object binnen een specifiek gebied van een beeld classificeren. Om zijn classificatiecapaciteiten te evalueren, gebruikt het Osprey-kader twee semantische relevantie-metrics, waaronder Semantische IoU of S-IoU en Semantische Gelijkenis of SS. Semantische IoU vertegenwoordigt de overlap van woorden tussen de grondwaarheid en de voorspellinglabels, terwijl Semantische Gelijkenis de gelijkenis tussen de voorspelling en de grondwaarheid in een semantische ruimte meet. De volgende afbeelding toont de prestaties van Osprey in de verwijzingsobjectclassificatie-taak in vergelijking met modellen die boxniveau- en beeldniveau-benaderingen gebruiken.

Gedetailleerde-Regio-Beschrijving

In de gedetailleerde-regio-beschrijving-taak, evalueert het model zijn prestaties op instructie-volgende gedetailleerde beschrijvingscapaciteiten samen met andere regio-niveau-benaderingen. Het model selecteert willekeurig een invoer-inferentieprompt uit een lijst van vooraf gedefinieerde prompts en gebruikt het GPT-4 LLM-kader om de kwaliteit van de respons gegenereerd door het model tegen de invoer-verwijzingsregio’s te meten. Met behulp van de instructie-generatiepijplijn, genereert het model vragen en zoekt het GPT-4’s antwoorden, waarna het LLM de correctheid van de semantiek en de precisie van de verwijzingsbegrijping evalueert. De volgende tabel toont de prestaties van Osprey in vergelijking met state-of-the-art-modellen op gedetailleerde-regio-beschrijvingstaken.

Regio-Niveau-Onderschriften

Het Osprey-kader presteert ook beter dan bestaande benaderingen op regio-niveau-onderschriften-taken, met resultaten die zijn opgenomen in de volgende afbeelding.

Slotgedachten

In dit artikel hebben we het over Osprey, een masker-tekstinstructietrainingsmethode met als doel het uitbreiden van MLLM’s door fijne maskergebieden in taalinstructies op te nemen om pixelniveau visueel-taalbegrip te bereiken. Om dit doel te bereiken, curateert het Osprey-kader een masker-gebaseerde regio-tekstdataset met meer dan 700.000 samples en injecteert het pixelniveau-representatie in Grote Taalmodellen om een visueel-taalmodel te ontwerpen. Het Osprey-kader heeft als doel het uitbreiden van de capaciteiten van multimodale grote taalmodellen voor fijne visuele begrijping en bereikt, door het implementeren van een CNN-gebaseerd CLIP-model en een maskerbewuste visuele extractor, de capaciteit om beelden te begrijpen op zowel partniveau als objectniveau.