Poprawa dokładności edycji obrazów za pomocą sztucznej inteligencji

Chociaż model latent diffusion (LDM) Adobe Firefly jest prawdopodobnie jednym z najlepszych dostępnych obecnie, użytkownicy programu Photoshop, którzy wypróbowali jego funkcje generatywne, zauważyli, że nie jest on w stanie łatwo edytować istniejące obrazy – zamiast tego całkowicie zastępuje wybrany przez użytkownika obszar obrazem opartym na podanym przez użytkownika tekście (chociaż Firefly jest zdolny do integrowania wynikowego wygenerowanego fragmentu z kontekstem obrazu).

W obecnej wersji beta programu Photoshop można co najmniej uwzględnić obraz odniesienia jako częściowy podpowiedź obrazu, co pozwala flagowemu produktowi Adobe dorównać do funkcjonalności, z której korzystają użytkownicy Stable Diffusion od ponad dwóch lat, dzięki frameworkom takim jak Controlnet:

Obecna wersja beta programu Adobe Photoshop pozwala na użycie obrazów odniesienia podczas generowania nowych treści wewnątrz selekcji – choć na razie jest to sprawa losowa.

To ilustruje otwarty problem w badaniach nad syntezą obrazu – trudność, jaką modele dyfuzyjne mają w edytowaniu istniejących obrazów bez wdrożenia pełnowymiarowej „przemyślenia” selekcji wskazanej przez użytkownika.

Chociaż ten dyfuzyjny inpaint spełnia polecenie użytkownika, całkowicie reinwentuje temat źródłowy, nie biorąc pod uwagę oryginalnego obrazu (z wyjątkiem połączenia nowej generacji z otoczeniem). Źródło: https://arxiv.org/pdf/2502.20376

Ten problem występuje, ponieważ LDM generuje obrazy za pomocą iteratywnej denoisingu, gdzie każdy etap procesu jest warunkowany przez podany przez użytkownika tekst. Z tekstem przekonwertowanym na embedding tokens i z modelem hyperskali, takim jak Stable Diffusion lub Flux, zawierającym setki tysięcy (lub miliony) prawie dopasowanych embeddings powiązanych z poleceniem, proces ma obliczoną warunkową dystrybucję do celu; i każdy krok jest krokiem w kierunku tego „celu warunkowej dystrybucji”.

Więc to jest tekst do obrazu – sytuacja, w której użytkownik „liczy na najlepsze”, ponieważ nie ma sposobu, aby dokładnie określić, jaki będzie wynik.

Zamiast tego wiele osób próbowało wykorzystać potężną generatywną możliwość LDM do edycji istniejących obrazów – ale wymaga to balansu między wiernymi a elastycznymi.

Podczas gdy obraz jest projekowany do przestrzeni latentnej modelu za pomocą metod, takich jak DDIM inversion, celem jest odzyskanie oryginału jak najdokładniej, jednocześnie umożliwiając znaczące edycje. Problem polega na tym, że im bardziej obraz jest odtwarzany, tym bardziej model przylega do swojej oryginalnej struktury, utrudniając znaczące modyfikacje.

Wspólnie z wieloma innymi ramami edycji obrazu opartymi na dyfuzji zaproponowanymi w ostatnich latach, architektura Renoise ma trudności z wprowadzeniem jakichkolwiek realnych zmian w wyglądzie obrazu, z tylko powierzchownym wskazaniem na krawat pojawiającym się u podstawy gardła kota.

Z drugiej strony, jeśli proces priorytetowo traktuje edytowalność, model luzuje swoją kontrolę nad oryginałem, ułatwiając wprowadzenie zmian – ale kosztem ogólnej spójności z obrazem źródłowym:

Misja wykonana – ale jest to transformacja, a nie dostosowanie, dla większości ram edycji obrazu opartych na sztucznej inteligencji.

Ponieważ jest to problem, z którym nawet ogromne zasoby Adobe mają trudności, możemy uznać, że wyzwanie jest znaczące i może nie pozwolić na łatwe rozwiązania, jeśli w ogóle.

Ciasna inwersja

Dlatego przykłady w nowym artykule opublikowanym w tym tygodniu zwróciły moją uwagę, ponieważ praca ta oferuje godne uwagi i godne uwagi ulepszenie obecnego stanu sztuki w tej dziedzinie, udowadniając, że jest w stanie wprowadzić subtelne i wyrafinowane edycje do obrazów projektych do latentnej przestrzeni modelu – bez tego, że edycje są nieznaczące lub zdominowane przez oryginalną zawartość w obrazie źródłowym:

Z ciasną inwersją zastosowaną do istniejących metod inwersji, wybór źródłowy jest brany pod uwagę w znacznie bardziej szczegółowy sposób, a transformacje są zgodne z oryginalnym materiałem, zamiast go nadpisywać.

Hobbyści i praktycy LDM mogą rozpoznać ten rodzaj wyniku, ponieważ wiele z nich można utworzyć w złożonym przepływie pracy przy użyciu zewnętrznych systemów, takich jak Controlnet i IP-Adapter.

W rzeczywistości nowa metoda – nazwana Ciasną inwersją – wykorzystuje również IP-Adapter, a także dedykowany model oparty na twarzach, dla przedstawień ludzi.

Z oryginalnego artykułu z 2023 roku IP-Adapter, przykłady tworzenia odpowiednich edycji materiału źródłowego. Źródło: https://arxiv.org/pdf/2308.06721

Największym osiągnięciem Ciasnej inwersji jest więc proceduralizacja złożonych technik w pojedynczy moduł, który można zastosować do istniejących systemów, w tym wielu popularnych dystrybucji LDM.

Oczywiście, oznacza to, że Ciasna inwersja (TI), podobnie jak systemy pomocnicze, które wykorzystuje, używa obrazu źródłowego jako czynnika warunkującego dla swojej edytowanej wersji, zamiast polegać wyłącznie na dokładnych podpowiedziach tekstowych:

Kolejne przykłady zdolności Ciasnej inwersji do wprowadzania prawdziwie połączonych edycji do materiału źródłowego.

Chociaż autorzy przyznają, że ich podejście nie jest pozbawione tradycyjnego i ciągłego napięcia między wiernością a edytowalnością w technice edycji obrazu opartej na dyfuzji, donoszą o wynikach na poziomie stanu sztuki, gdy TI jest wstrzykiwany do istniejących systemów, w porównaniu z ich podstawową wydajnością.

Nowa praca opublikowana nosi tytuł Ciasna inwersja: inwersja warunkowana obrazem dla edycji rzeczywistych obrazów i pochodzi od pięciu badaczy z Uniwersytetu w Tel Awiwie i Snap Research.

Metoda

Początkowo duży model językowy (LLM) jest używany do wygenerowania zestawu różnych podpowiedzi tekstowych, z których obraz jest generowany. Następnie stosowana jest inwersja DDIM do każdego obrazu z trzema warunkami tekstowymi: podpowiedź tekstowa użyta do wygenerowania obrazu; skrócona wersja tej samej; i pusta (pusta) podpowiedź.

Z odwróconym szumem zwróconym z tych procesów, obrazy są ponownie generowane z tym samym warunkiem, i bez kierowania bez klasyfikatora (CFG).

Wyniki inwersji DDIM w różnych metrykach z różnymi ustawieniami podpowiedzi.

Jak widać z powyższego wykresu, wyniki w różnych metrykach są poprawione przy zwiększonej długości tekstu. Użyte metryki to maksymalny współczynnik sygnału do szumu (PSNR); odległość L2; wskaźnik podobieństwa strukturalnego (SSIM); oraz nauczone podobieństwo patchów obrazu (LPIPS).

Świadomość obrazu

Skutecznie Ciasna inwersja zmienia sposób, w jaki model dyfuzyjny edytuje rzeczywiste obrazy, warunkując proces inwersji na samym obrazie, a nie tylko na tekście.

Zwykle odwrócenie obrazu w przestrzeń szumu modelu dyfuzyjnego wymaga oszacowania początkowego szumu, który, gdy jest odszumiony, odtwarza wejście. Standardowe metody używają podpowiedzi tekstowej do kierowania tym procesem; ale niedoskonała podpowiedź może prowadzić do błędów, utraty szczegółów lub zmiany struktur.

Ciasna inwersja zamiast tego używa IP Adapter, aby wprowadzić informacje wizualne do modelu, tak aby odtworzył obraz z większą dokładnością, konwertując obrazy źródłowe na tokeny warunkujące i projektując je do potoku inwersji.

Te parametry są edytowalne: zwiększanie wpływu obrazu źródłowego sprawia, że odtworzenie jest prawie idealne, podczas gdy zmniejszanie go pozwala na bardziej kreatywne zmiany. To sprawia, że Ciasna inwersja jest przydatna zarówno do subtelnych modyfikacji, takich jak zmiana koloru koszuli, jak i do bardziej znaczących edycji, takich jak zamiana obiektów – bez typowych skutków ubocznych innych metod inwersji, takich jak utrata drobnych szczegółów lub nieoczekiwane aberracje w zawartości tła.

Autorzy stwierdzają:

‘Zauważamy, że Ciasna inwersja może być łatwo zintegrowana z poprzednimi metodami inwersji (np. Edytuj przyjazny DDPM, ReNoise) przez [zastąpienie rdzenia dyfuzyjnego modelem zmienionym przez IP Adapter], [i] Ciasna inwersja konsekwentnie poprawia takie metody pod względem zarówno odtworzenia, jak i edytowalności.’

Dane i testy

Badacze ocenili TI pod kątem jego zdolności do odtworzenia i edycji rzeczywistych obrazów źródłowych. Wszystkie eksperymenty używały Stable Diffusion XL z planistą DDIM, jak opisano w oryginalnym artykule o Stable Diffusion; i wszystkie testy używały 50 kroków denoisingu przy domyślnym współczynniku kierowania 7,5.

Dla warunkowania obrazu użyto IP-Adapter-plus sdxl vit-h. Dla testów z kilkoma krokami badacze użyli SDXL-Turbo z planistą Eulera, i również przeprowadzili eksperymenty z FLUX.1-dev, warunkując model w tym przypadku na PuLID-Flux, używając RF-Inversion przy 28 krokach.

PuLID został użyty wyłącznie w przypadkach z twarzami ludzkimi, ponieważ jest to domena, której PuLID został przeszkolony do rozwiązania – i chociaż jest to godne uwagi, że specjalistyczny podsystem jest używany dla tego jednego możliwego typu podpowiedzi, nasz nieprawdopodobny interes w generowaniu twarzy ludzkich sugeruje, że poleganie wyłącznie na ogólnych wagach modelu podstawowego, takiego jak Stable Diffusion, może nie być wystarczające do standardów, jakie wymagamy dla tej konkretnie zadania.

Testy odtworzenia zostały przeprowadzone do celów jakościowych i ilościowych. Na poniższym obrazie widać przykłady jakościowe dla inwersji DDIM:

Wyniki jakościowe dla inwersji DDIM. Każdy wiersz pokazuje bardzo szczegółowy obraz obok jego wersji odtworzonych, z każdym krokiem używającym coraz bardziej precyzyjnych warunków podczas inwersji i denoisingu. Im warunki stają się bardziej dokładne, tym jakość odtworzenia się poprawia. Prawa kolumna pokazuje najlepsze wyniki, gdzie sam obraz jest używany jako warunek, osiągając najwyższą wierność. CFG nie został użyty na żadnym etapie. Proszę odnieść się do dokumentu źródłowego, aby uzyskać lepszą rozdzielczość i szczegóły.

Artykuł stwierdza:

‘Te przykłady pokazują, że warunkowanie procesu inwersji na obrazie znacznie poprawia odtworzenie w regionach o wysokiej szczegółowości.

‘Godne uwagi jest to, że w trzecim przykładzie [poniższego obrazu], nasza metoda pomyślnie odtwarza tattoo na plecach prawego boksera. Ponadto, pozycja nogi boksera jest bardziej dokładnie zachowana, a tattoo na nodze staje się widoczne.’

Kolejne wyniki jakościowe dla inwersji DDIM. Opisowe warunki poprawiają inwersję DDIM, z warunkowaniem obrazu przewyższającym tekst, szczególnie w przypadku złożonych obrazów.

Autorzy również przetestowali Ciasną inwersję jako moduł wstawiany do istniejących systemów, zestawiając wersje zmodyfikowane z ich podstawową wydajnością.

Trzy testowane systemy to wspomniana inwersja DDIM i RF-Inversion; oraz ReNoise, który dzieli niektórych autorów z omawianym artykułem. Ponieważ wyniki DDIM nie mają problemu z osiągnięciem 100% odtworzenia, badacze skupili się wyłącznie na edytowalności.

(Obrazy wyników jakościowych są sformatowane w sposób trudny do odtworzenia tutaj, więc odsyłamy czytelnika do oryginalnego PDF, aby uzyskać pełne pokrycie i lepszą rozdzielczość, pomimo że niektóre wybory są przedstawione poniżej)

Po lewej, wyniki jakościowe odtworzenia dla Ciasnej inwersji z SDXL. Po prawej, odtworzenie z Flux. Układ tych wyników w opublikowanej pracy utrudnia ich odtworzenie, więc prosimy o odniesienie się do oryginalnego PDF, aby uzyskać prawdziwe wrażenie z różnic uzyskanych.

Tutaj autorzy komentują:

‘Jak widać, integracja Ciasnej inwersji z istniejącymi metodami konsekwentnie poprawia odtworzenie. Na przykład nasza metoda dokładnie odtwarza poręcz na lewym przykładzie i mężczyznę w niebieskiej koszuli w prawym przykładzie [w figurze 5 artykułu].’

Autorzy również przetestowali system ilościowo. Zgodnie z poprzednimi pracami, użyli zestawu walidacyjnego MS-COCO, i zauważają, że wyniki (pokazane poniżej) poprawiły odtworzenie we wszystkich metrykach dla wszystkich metod.

Porównanie metryk wydajności systemów z i bez Ciasnej inwersji.

Następnie autorzy przetestowali zdolność systemu do edycji zdjęć, zestawiając go z wersjami podstawowymi poprzednich podejść prompt2prompt; Edytuj przyjazny DDPM; LED-ITS++; i RF-Inversion.

Poniżej przedstawiono wybór wyników jakościowych z artykułu dla SDXL i Flux (i odsyłamy czytelnika do oryginalnego PDF, aby uzyskać lepszą rozdzielczość i klarowność).

Wybór wyników jakościowych rozproszonych po artykule. Odsyłamy czytelnika do oryginalnego PDF, aby uzyskać lepszą rozdzielczość i klarowność.

Autorzy twierdzą, że Ciasna inwersja konsekwentnie przewyższa istniejące techniki inwersji, osiągając lepszy balans między odtworzeniem a edytowalnością. Standardowe metody, takie jak inwersja DDIM i ReNoise, mogą odzyskać obraz, twierdzą autorzy, często mają trudności z zachowaniem drobnych szczegółów, gdy są stosowane edycje.

W przeciwieństwie do tego Ciasna inwersja wykorzystuje warunkowanie obrazu, aby zakotwiczyć wyjście modelu bliżej oryginału, zapobiegając niepożądanym zniekształceniom. Autorzy twierdzą, że nawet gdy podejścia konkurencyjne produkują odtworzenia, które wyglądają dokładnie, wprowadzenie edycji często prowadzi do artefaktów lub nieścisłości strukturalnych, i że Ciasna inwersja łagodzi te problemy.

W końcu wyniki ilościowe zostały uzyskane przez ocenę Ciasnej inwersji wobec MagicBrush, używając inwersji DDIM i LEDITS++, zmierzonej z CLIP Sim.

Porównania ilościowe Ciasnej inwersji z MagicBrush.

Autorzy kończą:

‘W obu wykresach widoczna jest kompromis między zachowaniem obrazu a zgodnością z edycją docelową.  Ciasna inwersja zapewnia lepszą kontrolę nad tym kompromisem i lepiej zachowuje obraz wejściowy, jednocześnie dostosowując się do edycji [podpowiedzi]. ‘

‘Zauważ, że podobieństwo CLIP powyżej 0,3 między obrazem a podpowiedzią tekstową wskazuje na prawdopodobne dopasowanie między obrazem a podpowiedzią.’

Wnioski

Chociaż nie reprezentuje przełomu w jednym z najbardziej uciążliwych wyzwań w syntezie obrazu opartej na LDM, Ciasna inwersja konsoliduje szereg uciążliwych podejść pomocniczych w zjednoczoną metodę edycji obrazu opartej na sztucznej inteligencji.

Chociaż napięcie między edytowalnością a wiernością nie zniknęło w tej metodzie, jest ono znacznie zmniejszone, zgodnie z wynikami. Biorąc pod uwagę, że podstawowe wyzwanie, które ta praca rozwiązuje, może okazać się ostatecznie nierozwiązywalne, jeśli zajmie się nim samodzielnie (zamiast szukać poza architekturami opartymi na LDM w przyszłych systemach), Ciasna inwersja reprezentuje mile widzianą stopniową poprawę stanu sztuki.

Pierwotnie opublikowane w piątek, 28 lutego 2025