Narzędzia projektowania wizualnego i modele języka wizji mają szerokie zastosowanie w branży multimedialnej. Pomimo znaczących postępów w ostatnich latach, solidne zrozumienie tych narzędzi jest nadal niezbędne do ich obsługi. Aby poprawić dostępność i kontrolę, branża multimedialna coraz częściej przyjmuje techniki edycji obrazu oparte na tekście lub instrukcjach. Te techniki wykorzystują polecenia języka naturalnego zamiast tradycyjnych masek regionalnych lub szczegółowych opisów, umożliwiając bardziej elastyczną i kontrolowaną manipulację obrazem. Jednak metody oparte na instrukcjach często zapewniają krótkie instrukcje, które mogą być trudne do pełnego pojęcia i wykonania przez istniejące modele. Ponadto, modele dyfuzyjne, znane z ich zdolności do tworzenia realistycznych obrazów, są w dużym popycie w sektorze edycji obrazu.

Moreover, Wielomodalne Duże Modele Językowe (MLLM) wykazały imponujące wyniki w zadaniach związanych z generowaniem odpowiedzi wizualnych i zrozumieniem cross-modalnym. MLLM Sterowanie Edycją Obrazu (MGIE) to studium zainspirowane MLLM, które ocenia ich możliwości i analizuje, jak wspierają edycję za pomocą tekstu lub instrukcji. Podejście to polega na uczeniu się dostarczania wyraźnych instrukcji i pochodzenia instrukcji ekspresyjnych. Model edycji MGIE rozumie informacje wizualne i wykonuje edycję za pomocą szkolenia end-to-end. W tym artykule będziemy głęboko analizować MGIE, oceniając jego wpływ na optymalizację obrazu na świecie, modyfikacje w stylu Photoshop oraz edycję lokalną. Omówimy również znaczenie MGIE w zadaniach edycji obrazu opartych na instrukcjach, które polegają na instrukcjach ekspresyjnych. Zacznijmy naszą eksplorację.

MLLM Sterowanie Edycją Obrazu lub MGIE: Wprowadzenie

Wielomodalne Duże Modele Językowe i Modele Dyfuzyjne to dwa najczęściej stosowane ramy AI i ML, ze względu na ich zdolności generatywne. Z jednej strony, mamy Modele Dyfuzyjne, najlepiej znane z produkcji wysokiej jakości i wizualnie atrakcyjnych obrazów, podczas gdy z drugiej strony, mamy Wielomodalne Duże Modele Językowe, znane z ich wyjątkowych umiejętności generowania szerokiej gamy treści, w tym tekstu, języka, mowy i obrazów/wideo.

Modele Dyfuzyjne wymieniają mapy cross-modalne, aby wykonać manipulację wizualną, odzwierciedlając zmianę wejściowego celu podpisu, i mogą również używać maski przewodnika do edycji określonej części obrazu. Ale głównym powodem, dla którego Modele Dyfuzyjne są powszechnie stosowane w aplikacjach multimedialnych, jest to, że zamiast polegać na szczegółowych opisach lub maskach regionalnych, Modele Dyfuzyjne zastosowują podejście edycji oparte na instrukcjach, które pozwalają użytkownikom wyrazić, jak edytować obraz, używając poleceń tekstowych lub komend. Przechodząc dalej, Duże Modele Językowe nie potrzebują wprowadzenia, ponieważ wykazały znaczące postępy w różnych zadaniach językowych, w tym podsumowaniu tekstu, tłumaczeniu maszynowym, generowaniu tekstu i odpowiedziach na pytania. LLM są zwykle szkolone na dużej i zróżnicowanej ilości danych szkoleniowych, co wyposaża je w kreatywność wizualną i wiedzę, umożliwiając im wykonywanie kilku zadań języka wizji. Budując na LLM, MLLM lub Wielomodalne Duże Modele Językowe mogą używać obrazów jako naturalnych wejść i dostarczać odpowiednie odpowiedzi wizualnie świadome.

Mówiąc prościej, chociaż Modele Dyfuzyjne i ramy MLLM są powszechnie stosowane w zadaniach edycji obrazu, istnieją pewne problemy z instrukcjami opartymi na tekście, które utrudniają ogólny wynik, prowadząc do rozwoju MGIE lub MLLM Sterowanie Edycją Obrazu, sztucznie inteligentnej ramy składającej się z modelu dyfuzyjnego i modelu MLLM, jak pokazano na poniższym obrazie.

W ramach architektury MGIE, model dyfuzyjny jest szkolony end-to-end, aby wykonać edycję obrazu z wyobraźnią latentną zamierzonego celu, podczas gdy rama MLLM uczy się przewidywać precyzyjne instrukcje ekspresyjne. Razem, model dyfuzyjny i rama MLLM wykorzystują wewnętrzną pochodzenie wizualne, umożliwiając im rozwiązywanie niejasnych poleceń ludzkich, prowadząc do realistycznej edycji obrazu, jak pokazano na poniższym obrazie.

Rama MGIE czerpie inspirację z dwóch istniejących podejść: Edycja Obrazu oparta na Instrukcjach i Wielkie Modele Języka Wizji.

Edycja obrazu oparta na instrukcjach może znacznie poprawić dostępność i kontrolę manipulacji wizualnej, przestrzegając poleceń ludzkich. Istnieją dwa główne ramy stosowane w edycji obrazu opartej na instrukcjach: ramy GAN i Modele Dyfuzyjne. GAN lub Sieci Przeciwstawne są w stanie modyfikować obrazy, ale są ograniczone do określonych domen lub produkują nierzeczywiste wyniki. Z drugiej strony, Modele Dyfuzyjne z dużą skalą szkolenia mogą kontrolować mapy cross-modalne, aby osiągnąć edycję i transformację obrazu. Edycja oparta na instrukcjach działa poprzez otrzymywanie prostych poleceń jako wejścia, często nieograniczonych do masek regionalnych i szczegółowych opisów. Jednak istnieje prawdopodobieństwo, że podane instrukcje są albo niejasne, albo niewystarczająco precyzyjne, aby wykonać polecenia edycji.

Wielkie Modele Języka Wizji są znane ze swoich zdolności generatywnych i uogólniających w różnych zadaniach, i często mają silne zrozumienie tekstowe, i mogą dalej produkować wykonywalne programy lub pseudokod. Ta zdolność dużych modeli językowych pozwala MLLM postrzegać obrazy i dostarczać odpowiednie odpowiedzi, używając wyrównania cech wizualnych z dostosowaniem instrukcji, z ostatnimi modelami przyjmującymi MLLM do generowania obrazów związanych z czatem lub wejściowym tekstem. Jednak to, co odróżnia MGIE od MLLM lub VLLM, jest to, że podczas gdy te ostatnie mogą produkować obrazy odrębne od wejścia od podstaw, MGIE wykorzystuje zdolności MLLM do poprawy możliwości edycji obrazu z pochodnymi instrukcjami.

MGIE: Architektura i Metodologia

Tradycyjnie, duże modele językowe były stosowane w zadaniach generatywnych przetwarzania języka naturalnego. Ale odkąd MLLM stały się popularne, LLM zostały wyposażone w zdolność dostarczania rozsądkowych odpowiedzi, postrzegając obrazy wejściowe. Konwencjonalnie, Wielomodalny Duży Model Językowy jest inicjowany z wstępnie wyszkolonego LLM, i zawiera kodujący wizualny i adapter, aby wyodrębnić cechy wizualne i przenieść cechy wizualne do modalności języka odpowiednio. Dzięki temu, rama MLLM jest w stanie postrzegać wejścia wizualne, chociaż wyjście jest nadal ograniczone do tekstu.

Proponowana rama MGIE ma na celu rozwiązać ten problem i umożliwić MLLM edycję wejściowego obrazu w obraz wyjściowy na podstawie podanego tekstu instrukcji. Aby to osiągnąć, rama MGIE zawiera MLLM i jest szkolona, aby pochodną krótkie i wyraźne instrukcje tekstowe. Ponadto, rama MGIE dodaje specjalne tokeny obrazu w swojej architekturze, aby pomostować lukę między modalnością wizji a języka, i przyjmuje głowę edycji do transformacji modalności. Te modalności służą jako latentna wyobraźnia wizualna z Wielomodalnego Dużego Modelu Językowego, i prowadzą model dyfuzyjny do wykonania zadań edycji. Rama MGIE jest w stanie wykonywać zadania percepcji wizualnej do rozsądkowej edycji obrazu.

Wyraźna Instrukcja

Tradycyjnie, Wielomodalne Duże Modele Językowe mogą dostarczać odpowiedzi związane z wizją z ich percepcją cross-modalną, dzięki dostosowaniu instrukcji i wyrównaniu cech. Aby edytować obrazy, rama MGIE używa podstawowego wejścia języka z obrazem, i pochodzi szczegółowego wyjaśnienia dla polecenia edycji. Jednak te wyjaśnienia mogą często być zbyt długie lub zawierać powtarzające się opisy, prowadząc do niezrozumianych intencji, zmuszając MGIE do zastosowania wstępnie wyszkolonego podsumowującego, aby uzyskać zwięzłe narracje, pozwalając MLLM generować podsumowane wyjścia. Rama traktuje krótką, ale wyraźną instrukcję jako instrukcję ekspresyjną, i stosuje stratę cross-entropy, aby wyszkolić Wielomodalny Duży Model Językowy, używając nauczyciela wymuszającego.

Używanie instrukcji ekspresyjnej dostarcza bardziej konkretnego pomysłu w porównaniu z instrukcją tekstową, ponieważ pomostuje lukę dla rozsądkowej edycji obrazu, zwiększając wydajność ramy. Ponadto, rama MGIE podczas okresu inferencji pochodzi krótkich instrukcji ekspresyjnych, zamiast produkowania długich narracji i polegania na zewnętrznej sumaryzacji. Dzięki temu, rama MGIE jest w stanie pochwycić wyobraźnię wizualną intencji edycji, ale nadal jest ograniczona do modalności języka. Aby pokonać tę przeszkodę, model MGIE dołącza określoną liczbę tokenów wizualnych po instrukcji ekspresyjnej, z trenowanymi osadzeniami słów, pozwalając MLLM generować je, używając swojej głowy LM lub Language Model.

Edycja Obrazu z Latentną Wyobraźnią

W następnym kroku, rama MGIE przyjmuje głowę edycji, aby przekształcić instrukcję obrazu w rzeczywistą wskazówkę wizualną. Głowa edycji jest modelem sekwencyjnym, który pomaga w mapowaniu sekwencyjnych tokenów wizualnych z MLLM do znaczących latentnie semantycznie, jako jego wskazówka edycji. Aby być bardziej szczegółowym, transformacja nad osadzeniami słów może być interpretowana jako ogólne przedstawienie w modalności wizualnej, i używa składnika wyobraźni wizualnej zorientowanej na instancję do intencji edycji. Ponadto, aby prowadzić edycję obrazu z wyobraźnią wizualną, rama MGIE osadza model dyfuzyjny latentny w swojej architekturze, który zawiera autoencoder wariancji i zajmuje się dyfuzyjnym hałasem w przestrzeni latentnej. Głównym celem modelu dyfuzyjnego latentnego jest wygenerowanie celu latentnego, zachowując wejściowy latent i postępując zgodnie z wskazówką edycji. Proces dyfuzyjny dodaje hałas do celu latentnego w regularnych odstępach czasu, i poziom hałasu zwiększa się z każdym krokiem czasowym.

Uczenie się MGIE

Poniższy rysunek podsumowuje algorytm procesu uczenia się proponowanej ramy MGIE.

Jak można zauważyć, MLLM uczy się pochodzić krótkie instrukcje ekspresyjne, używając straty instrukcji. Używając wyobraźni latentnej z instrukcji obrazu wejściowego, rama przekształca modalność głowy edycji, i prowadzi model dyfuzyjny latentny do syntezy wynikowego obrazu, i stosuje stratę edycji do szkolenia dyfuzyjnego. Na koniec, rama zamyka większość wag, prowadząc do efektywnego szkolenia end-to-end.

MGIE: Wyniki i Ocena

Rama MGIE używa zestawu danych IPr2Pr jako swoich podstawowych danych szkoleniowych, i zawiera ponad 1 milion danych przefiltrowanych przez CLIP, z instrukcjami wyodrębnionymi z modelu GPT-3, i modelem Prompt-to-Prompt, aby wygenerować obrazy. Ponadto, rama MGIE traktuje ramę InsPix2Pix zbudowaną na encodorze tekstu CLIP z modelem dyfuzyjnym jako swoją bazę do zadań edycji obrazu opartych na instrukcjach. Rama MGIE bierze również pod uwagę model edycji obrazu oparty na LLM, przyjęty do instrukcji ekspresyjnych z wejść opartych tylko na instrukcjach, ale bez percepcji wizualnej.

Analiza Ilościowa

Poniższy rysunek podsumowuje wyniki edycji w ustawieniu zero-shot, z modelami szkolonymi tylko na zestawie danych IPr2Pr. Dla danych GIER i EVR, dotyczących modyfikacji w stylu Photoshop, instrukcje ekspresyjne mogą ujawnić konkretny cel, zamiast niejasnych poleceń, co pozwala wynikom edycji bardziej przypominać intencje edycji.

Chociaż zarówno LGIE, jak i MGIE są szkolone na tych samych danych, co model InsPix2Pix, mogą one dostarczać szczegółowe wyjaśnienia, ucząc się z dużym modelem językowym, ale LGIE jest nadal ograniczona do jednej modalności. Ponadto, rama MGIE może dostarczyć znaczną poprawę wyników, ponieważ ma dostęp do obrazów i może używać ich do pochodzenia wyraźnych instrukcji.

Aby ocenić wyniki w zadaniach edycji obrazu opartych na instrukcjach do określonych celów, deweloperzy dostosowują kilka modeli do każdego zestawu danych, jak podsumowano w poniższej tabeli.

Jak można zauważyć, po dostosowaniu zadań edycji w stylu Photoshop do EVR i GIER, modele demonstrują poprawę wyników. Jednak warto zauważyć, że dostosowanie sprawia, że instrukcje ekspresyjne stają się bardziej związane z domeną, a rama MGIE doświadcza znaczącej poprawy wyników, ponieważ również uczy się instrukcji związanych z domeną, pozwalając modelowi dyfuzyjnemu demonstrować konkretnie edytowane sceny z dostosowanego dużego modelu językowego, korzystając zarówno modyfikacji lokalnej, jak i optymalizacji lokalnej. Ponadto, ponieważ wskazówka wizualna jest bardziej zgodna z zamierzonymi celami edycji, rama MGIE dostarcza lepsze wyniki w sposób ciągły w porównaniu z LGIE.

Poniższy rysunek demonstruje wynik CLIP-S wśród obrazów wejściowych lub podstawowych i instrukcji ekspresyjnych. Wyższy wynik CLIP wskazuje na zgodność instrukcji z edycją źródłową, i jak można zauważyć, MGIE ma wyższy wynik CLIP w porównaniu z modelem LGIE, zarówno w obrazach wejściowych, jak i wyjściowych.

Wyniki Jakościowe

Poniższy obraz idealnie podsumowuje analizę jakościową ramy MGIE.

Jak wiemy, rama LGIE jest ograniczona do jednej modalności, co powoduje, że ma tylko wgląd językowy, i jest podatna na pochodzenie niepoprawnych lub nieistotnych wyjaśnień do edycji obrazu. Jednak rama MGIE jest wielomodalna, i z dostępem do obrazów, wykonuje zadania edycji, i dostarcza wyraźną wyobraźnię wizualną, która dobrze odpowiada celowi.

Końcowe Myśli

W tym artykule, omówiliśmy MGIE lub MLLM Sterowanie Edycją Obrazu, studium zainspirowane MLLM, które ocenia możliwości Wielomodalnych Dużych Modeli Językowych i analizuje, jak wspierają edycję za pomocą tekstu lub instrukcji, ucząc się dostarczania wyraźnych instrukcji i pochodzenia instrukcji ekspresyjnych jednocześnie. Model edycji MGIE pochwyca informacje wizualne i wykonuje edycję lub manipulację, używając szkolenia end-to-end. Zamiast niejasnych i krótkich instrukcji, rama MGIE produkuje wyraźne instrukcje wizualnie świadome, które prowadzą do rozsądkowej edycji obrazu.