Visuele ontwerp-tools en visuele taalmodellen hebben een breed toepassingsgebied in de multimedia-industrie. Ondanks de significante vooruitgang in de afgelopen jaren, is een solide begrip van deze tools nog steeds noodzakelijk voor hun werking. Om de toegankelijkheid en controle te vergroten, neemt de multimedia-industrie steeds vaker tekst-geleide of instructie-gebaseerde afbeeldingsbewerkingstechnieken over. Deze technieken gebruiken natuurlijke taalopdrachten in plaats van traditionele regionale masks of uitgebreide beschrijvingen, waardoor flexibele en gecontroleerde afbeeldingsmanipulatie mogelijk wordt. Echter, instructie-gebaseerde methoden bieden vaak korte instructies die moeilijk voor bestaande modellen zijn om volledig te begrijpen en uit te voeren. Bovendien zijn diffusiemodellen, bekend om hun vermogen om realistische afbeeldingen te creëren, in hoog aanzien binnen de afbeeldingsbewerkingsector.

Bovendien hebben multimodale grote taalmodellen (MLLM’s) indrukwekkende prestaties laten zien in taken die visueel-bewuste responsen en cross-modale begrip betreffen. MLLM-geleide afbeeldingsbewerking (MGIE) is een onderzoek dat door MLLM’s is geïnspireerd en hun capaciteiten evalueert en analyseert hoe ze bewerking ondersteunen via tekst of geleide instructies. Deze benadering omvat het leren van expliciete instructies en het afleiden van expressieve instructies. Het MGIE-bewerkingsmodel begrijpt visuele informatie en voert bewerkingen uit via end-to-end training. In dit artikel zullen we diep ingaan op MGIE, waarbij we zijn impact op globale afbeeldingsoptimalisatie, Photoshop-achtige modificaties en lokale bewerking beoordelen. We zullen ook de betekenis van MGIE in instructie-gebaseerde afbeeldingsbewerkingstaken bespreken die afhankelijk zijn van expressieve instructies. Laten we onze verkenning beginnen.

MLLM-geleide afbeeldingsbewerking of MGIE: Een inleiding

Multimodale grote taalmodellen en diffusiemodellen zijn twee van de meest gebruikte AI- en ML-kaders in de huidige tijd, vanwege hun opmerkelijke generatieve capaciteiten. Aan de ene kant heb je diffusiemodellen, die het beste bekend staan om het produceren van hoogwaardige en visueel aantrekkelijke afbeeldingen, terwijl aan de andere kant multimodale grote taalmodellen bekend staan om hun uitzonderlijke vaardigheid in het genereren van een breed scala aan inhoud, waaronder tekst, taal, spraak en afbeeldingen/video’s.

Diffusiemodellen wisselen de latent cross-modale kaarten uit om visuele manipulatie uit te voeren die de verandering van de invoerdoelomschrijving weerspiegelt, en ze kunnen ook een geleide masker gebruiken om een specifiek gebied van de afbeelding te bewerken. Maar de belangrijkste reden waarom diffusiemodellen breed worden gebruikt voor multimedia-toepassingen, is dat ze in plaats van uitgebreide beschrijvingen of regionale masks, diffusiemodellen instructie-gebaseerde bewerkingsbenaderingen gebruiken die gebruikers in staat stellen om te specificeren hoe de afbeelding moet worden bewerkt door middel van tekstuele instructies of opdrachten. Verdergaand, grote taalmodellen hebben geen introductie nodig, aangezien ze aanzienlijke vooruitgang hebben laten zien in een breed scala aan diverse taaltaken, waaronder tekstsamenvatting, machinetaal, tekstgeneratie en vraagbeantwoording. Grote taalmodellen worden meestal getraind op een grote en diverse hoeveelheid trainingsdata, waardoor ze visuele creativiteit en kennis verwerven, waardoor ze verschillende visuele taaltaken kunnen uitvoeren. Gebouwd op grote taalmodellen, kunnen multimodale grote taalmodellen (MLLM’s) afbeeldingen als natuurlijke invoer gebruiken en passende visueel-bewuste antwoorden bieden.

Dat gezegd hebbende, hoewel diffusiemodellen en MLLM-kaders breed worden gebruikt voor afbeeldingsbewerkingstaken, bestaan er enkele richtlijnproblemen met tekstuele instructies die de algehele prestatie belemmeren, wat leidt tot de ontwikkeling van MGIE of MLLM-geleide afbeeldingsbewerking, een AI-gebaseerd kader dat bestaat uit een diffusiemodel en een MLLM-model, zoals weergegeven in de volgende afbeelding.

Binnen het MGIE-architectuur, is het diffusiemodel eind-tot-eind getraind om afbeeldingsbewerking uit te voeren met latent imaginaire van het beoogde doel, terwijl het MLLM-kader leert om precieze expressieve instructies te voorspellen. Samen nemen het diffusiemodel en het MLLM-kader de inherente visuele afleiding, waardoor het in staat is om ambiguïteiten in menselijke opdrachten aan te pakken, wat resulteert in realistische bewerking van afbeeldingen, zoals weergegeven in de volgende afbeelding.

Het MGIE-kader put inspiratie uit twee bestaande benaderingen: instructie-gebaseerde afbeeldingsbewerking en visuele grote taalmodellen.

Instructie-gebaseerde afbeeldingsbewerking kan de toegankelijkheid en controle van visuele manipulatie aanzienlijk verbeteren door menselijke opdrachten te volgen. Er zijn twee hoofdkaders die worden gebruikt voor instructie-gebaseerde afbeeldingsbewerking: GAN-kaders en diffusiemodellen. GAN of generatieve tegenstrijdige netwerken zijn in staat om afbeeldingen te wijzigen, maar zijn beperkt tot specifieke domeinen of produceren onrealistische resultaten. Aan de andere kant kunnen diffusiemodellen met grote-schaaltraining de cross-modale aandachtkaarten voor globale kaarten controleren om afbeeldingsbewerking en transformatie te bereiken. Instructie-gebaseerde bewerking werkt door rechtstreekse opdrachten als invoer te ontvangen, vaak niet beperkt tot regionale masks en uitgebreide beschrijvingen. Echter, er is een kans dat de verstrekte instructies ambigu of niet precies genoeg zijn om opdrachten voor bewerkingstaken te volgen.

Visuele grote taalmodellen zijn bekend om hun tekstgeneratieve en generalisatiecapaciteiten over verschillende taken, en ze hebben vaak een robuuste tekstuele begrip, en ze kunnen verder uitvoerbare programma’s of pseudocode produceren. Deze capaciteit van grote taalmodellen stelt MLLM’s in staat om afbeeldingen te begrijpen en passende antwoorden te bieden met visuele functiealignering en instructietuning, waarbij recente modellen MLLM’s adopteren om afbeeldingen te genereren die verband houden met de chat of de invoertekst. Echter, wat MGIE onderscheidt van MLLM’s of VLLM’s, is het feit dat terwijl de laatste afbeeldingen kan produceren die afwijken van invoer van scratch, MGIE de capaciteiten van MLLM’s benut om afbeeldingsbewerkingscapaciteiten te verbeteren met afgeleide instructies.

MGIE: Architectuur en Methodologie

Traditioneel worden grote taalmodellen gebruikt voor natuurlijke taalverwerkingstaken. Maar sinds MLLM’s mainstream werden, werden LLM’s geëmpowerd met de capaciteit om redelijke antwoorden te bieden door afbeeldingen te begrijpen. Conventioneel wordt een multimodaal groot taalmodel geïnitialiseerd vanuit een voorgetraind LLM, en het bevat een visuele encoder en een adapter om visuele functies te extraheren en projecteren in taalmodus. Als gevolg hiervan is het MLLM-kader in staat om visuele invoer te begrijpen, hoewel de uitvoer nog steeds beperkt is tot tekst.

Het voorgestelde MGIE-kader heeft als doel dit probleem op te lossen en een MLLM in staat te stellen om een invoerafbeelding te bewerken tot een uitvoerafbeelding op basis van de gegeven tekstuele instructie. Om dit te bereiken, bevat het MGIE-kader een MLLM en leert het om concies en expliciete expressieve tekstuele instructies af te leiden. Bovendien voegt het MGIE-kader speciale afbeeldingstokens toe in zijn architectuur om de kloof tussen visie en taalmodus te overbruggen, en het neemt de edithead over voor de transformatie van de modaliteiten. Deze modaliteiten dienen als de latent visuele imaginaire van het multimodale grote taalmodel en leiden het diffusiemodel om de bewerkingstaken uit te voeren. Het MGIE-kader is vervolgens in staat om visuele perceptietaken uit te voeren voor redelijke afbeeldingsbewerking.

Concise Expressieve Instructie

Traditioneel kunnen multimodale grote taalmodellen visueel-gerelateerde antwoorden bieden met hun cross-modale perceptie vanwege instructietuning en functiealignering. Om afbeeldingen te bewerken, gebruikt het MGIE-kader een tekstuele prompt als de primaire taalinhoud met de afbeelding en leert het om een gedetailleerde uitleg voor de bewerkingsopdracht af te leiden. Echter, deze uitleg kan vaak te lang of herhalende beschrijvingen bevatten, waardoor misverstane bedoelingen ontstaan, waardoor MGIE een voorgetrainde samenvatter moet toepassen om samenhangende verhalen te verkrijgen, waardoor de MLLM samengevatte uitvoer kan genereren. Het kader behandelt de concies maar expliciete instructie als een expressieve instructie en past de cross-entropieverlies toe om het multimodale grote taalmodel te trainen met leraarafdwinging.

Het gebruik van een expressieve instructie biedt een concretere idee in vergelijking met de tekstuele instructie, aangezien het de kloof overbrugt voor redelijke afbeeldingsbewerking, waardoor de efficiëntie van het kader verder wordt verbeterd. Bovendien leert het MGIE-kader tijdens de inferentieperiode concies expressieve instructies in plaats van lange verhalen te produceren en externe samenvatting te gebruiken. Als gevolg hiervan kan het MGIE-kader de visuele imaginaire van de bewerkingsintenties begrijpen, maar is nog steeds beperkt tot de taalmodus. Om deze hindernis te overwinnen, voegt het MGIE-model een bepaald aantal visuele tokens toe na de expressieve instructie met trainbare woordembeddings, waardoor de MLLM ze kan genereren met zijn LM- of taalmodelkop.

Afbeeldingsbewerking met Latente Imaginaire

In de volgende stap neemt het MGIE-kader de edithead over om de afbeeldingsinstructie om te zetten in daadwerkelijke visuele instructie. De edithead is een sequentie-naar-sequentie-model dat helpt bij het toewijzen van de sequentiële visuele tokens van de MLLM naar de betekenisvolle latent semantisch als zijn bewerkingsinstructie. Om specifieker te zijn, kan de transformatie over de woordembeddings worden geïnterpreteerd als een algemene representatie in de visuele modus en gebruikt een instance-aware visuele imaginaire component voor de bewerkingsintenties. Bovendien om afbeeldingsbewerking te leiden met visuele imaginaire, embedt het MGIE-kader een latent diffusiemodel in zijn architectuur dat een variatie-autoencoder bevat en de denoising-diffusie in de latent ruimte adresseert. Het primaire doel van het latent diffusiemodel is om het latent doel te genereren door het latent invoer te behouden en de bewerkingsinstructie te volgen. Het diffusieproces voegt ruis toe aan het latent doel over regelmatige tijdsintervallen en de ruisniveau neemt toe met elke tijdstap.

Leren van MGIE

De volgende figuur vat de algoritme van het leerproces van het voorgestelde MGIE-kader samen.

Zoals te zien is, leert de MLLM om concies expressieve instructies af te leiden met de instructieverlies. Met de latente imaginaire van de invoerafbeeldingsinstructies, transformeert het kader de modus van de edithead en leidt het latent diffusiemodel om de resulterende afbeelding te synthetiseren en past het de bewerkingsverlies toe voor diffusietraining. Ten slotte, bevriest het kader de meeste gewichten, waardoor parameter-efficiënte eind-tot-eindtraining mogelijk wordt.

MGIE: Resultaten en Evaluatie

Het MGIE-kader gebruikt de IPr2Pr-dataset als zijn primaire voortrainingsdata, die meer dan 1 miljoen CLIP-gefilterde data bevat met instructies die zijn geëxtraheerd uit het GPT-3-model en een Prompt-to-Prompt-model om afbeeldingen te synthetiseren. Bovendien behandelt het MGIE-kader het InsPix2Pix-kader, gebouwd op de CLIP-tekstencoder met een diffusiemodel, als zijn baseline voor instructie-gebaseerde afbeeldingsbewerkingstaken. Bovendien houdt het MGIE-model rekening met een LLM-geleide afbeeldingsbewerkingmodel dat wordt overgenomen voor expressieve instructies van instructie-only-invoer, maar zonder visuele perceptie.

Kwantitatieve Analyse

De volgende figuur vat de bewerkingsresultaten samen in een zero-shot-setting met de modellen die alleen zijn getraind op de IPr2Pr-dataset. Voor GIER- en EVR-gegevens met betrekking tot Photoshop-achtige modificaties, kunnen de expressieve instructies concrete doelen onthullen in plaats van ambiguïteiten, waardoor de bewerkingsresultaten de bewerkingsintenties beter weerspiegelen.

Hoewel zowel de LGIE als de MGIE zijn getraind op dezelfde data als het InsPix2Pix-model, kunnen ze gedetailleerde uitleg bieden via leren met het grote taalmodel, maar is de LGIE nog steeds beperkt tot een enkele modus. Bovendien kan het MGIE-kader een aanzienlijke prestatieverbetering bieden, aangezien het toegang heeft tot afbeeldingen en deze kan gebruiken om expliciete instructies af te leiden.

Om de prestatie te evalueren op instructie-gebaseerde afbeeldingsbewerkingstaken voor specifieke doeleinden, fine-tunen ontwikkelaars verschillende modellen op elke dataset, zoals samengevat in de volgende tabel.

Zoals te zien is, na het aanpassen van de Photoshop-achtige bewerkingstaken voor EVR en GIER, demonstreren de modellen een prestatieverbetering. Echter, het is de moeite waard om op te merken dat, aangezien fine-tuning expressieve instructies meer domeinspecifiek maakt, het MGIE-kader een enorme prestatieverbetering ziet, aangezien het ook domein-gerelateerde instructies leert, waardoor het diffusiemodel concrete bewerkte scènes kan demonstreren van het fine-tuned grote taalmodel, waardoor zowel lokale modificatie als lokale optimalisatie worden gebaat. Bovendien, aangezien de visueel-bewuste instructie meer in overeenstemming is met de beoogde bewerkingsdoelen, levert het MGIE-kader consistent betere resultaten dan de LGIE.

De volgende figuur toont de CLIP-S-score over de invoer- of grondwaarheidsdoelafbeeldingen en expressieve instructie. Een hogere CLIP-score geeft de relevantie van de instructies met de bewerkingsbron aan, en zoals te zien is, heeft de MGIE een hogere CLIP-score in vergelijking met de LGIE-modellen over zowel de invoer- als de uitvoerafbeeldingen.

Kwalitatieve Resultaten

De volgende afbeelding vat de kwalitatieve analyse van het MGIE-kader perfect samen.

Zoals we weten, is het LGIE-kader beperkt tot een enkele modus vanwege het feit dat het een enkel taalgebonden inzicht heeft en vatbaar is voor het afleiden van verkeerde of irrelevante uitleg voor het bewerken van de afbeelding. Echter, het MGIE-kader is multimodaal en, met toegang tot afbeeldingen, voltooit het de bewerkingstaken en biedt expliciete visuele imaginaire die goed overeenkomen met het doel.

Slotgedachten

In dit artikel hebben we het over MGIE of MLLM-geleide afbeeldingsbewerking gehad, een MLLM-geïnspireerd onderzoek dat is bedoeld om multimodale grote taalmodellen te evalueren en te analyseren hoe ze bewerking ondersteunen via tekst of geleide instructies, terwijl het leert om expliciete instructies af te leiden door expressieve instructies af te leiden. Het MGIE-bewerkingsmodel begrijpt visuele informatie en voert bewerkingen uit via eind-tot-eindtraining. In plaats van ambiguïteiten en korte instructies, produceert het MGIE-kader expliciete visueel-bewuste instructies die resulteren in redelijke afbeeldingsbewerking.