Przywracanie i edycja obrazów ludzi za pomocą sztucznej inteligencji

Nowa współpraca między Uniwersytetem Kalifornijskim w Merced a firmą Adobe przyniosła postęp w dziedzinie kompletowania obrazów ludzi – dobrze zbadanym zadaniem „odkrywania” zakrytych lub ukrytych części obrazów ludzi, stosowanym w celach takich jak wirtualna próba, animacja i edycja zdjęć.

Poza naprawianiem uszkodzonych obrazów lub zmianą ich według uznania użytkownika, systemy kompletowania obrazów ludzi, takie jak CompleteMe, mogą również nakładać nowe ubrania (za pomocą dodatkowego obrazu odniesienia, jak w środkowej kolumnie w tych dwóch przykładach) na istniejące obrazy. Przykłady te pochodzą z obszernego suplementu PDF do nowego artykułu. Źródło: https://liagm.github.io/CompleteMe/pdf/supp.pdf

Nowe podejście, zatytułowane CompleteMe: kompletowanie obrazów ludzi na podstawie odniesienia, wykorzystuje dodatkowe obrazy wejściowe, aby „polecenie” systemowi, jaki zawartość powinna zastąpić ukrytą lub brakującą sekcję przedstawienia ludzkiego (stąd zastosowanie w ramach trybu próby na odzież):

System CompleteMe może dostosować zawartość odniesienia do zakrytej lub zakrytej części obrazu ludzkiego.

Nowy system wykorzystuje podwójną architekturę U-Net i bloki uwagi ukierunkowanej na region (RFA), które kierują zasobami do odpowiedniej części instancji restauracji obrazu.

Badacze przedstawili również nowy i wymagający system benchmarkowy zaprojektowany do oceny zadań kompletowania opartych na odniesieniu (ponieważ CompleteMe jest częścią istniejącego i ciągle rozwijanego nurtu badań w dziedzinie widzenia komputerowego, choć nie miał jeszcze schematu benchmarkowego).

W testach i w dobrze skalibrowanym badaniu użytkowników nowa metoda okazała się lepsza w większości wskaźników i ogólnie. W niektórych przypadkach rywalizujące metody były całkowicie zdezorientowane przez podejście oparte na odniesieniu:

Z materiału uzupełniającego: metoda AnyDoor ma szczególne trudności z interpretacją obrazu odniesienia.

W artykule napisano:

‘Ogromne doświadczenia na naszym benchmarku dowodzą, że CompleteMe przewyższa metody stanu sztuki, zarówno oparte na odniesieniu, jak i nie, pod względem wskaźników ilościowych, wyników jakościowych i badań użytkowników.

‘Szczególnie w wymagających scenariuszach, w których występują złożone pozy, skomplikowane wzory odzieży i charakterystyczne akcesoria, nasz model konsekwentnie osiąga wyższą wierność wizualną i spójność semantyczną.’

Niestety, obecność projektu GitHub nie zawiera kodu, ani nie obiecuje go, a inicjatywa, która ma również skromną stronę projektu, wydaje się opracowana jako architektura własna.

Kolejny przykład subiektywnej wydajności nowego systemu w porównaniu z poprzednimi metodami. Więcej szczegółów później w artykule.

Metoda

Ramę CompleteMe wspiera Reference U-Net, który zajmuje się integracją materiału pomocniczego z procesem, oraz spójny U-Net, który zapewnia szerszy zakres procesów w celu uzyskania wyniku końcowego, jak pokazano na poniższym schemacie pojęciowym:

Schemat pojęciowy CompleteMe. Źródło: https://arxiv.org/pdf/2504.20042

System najpierw koduje zakryty obraz wejściowy w latentną reprezentację. Równocześnie Reference U-Net przetwarza wiele obrazów odniesienia – każdy pokazujący różne części ciała – w celu wyodrębnienia szczegółowych cech przestrzennych.

Cechy te przechodzą przez blok uwagi ukierunkowanej na region (RFA) osadzony w „kompletnym” U-Net, gdzie są selektywnie maskowane przy użyciu odpowiednich masek regionu, zapewniając, że model koncentruje się tylko na istotnych obszarach obrazów odniesienia.

Zamaskowane cechy są następnie integrowane z globalnymi cechami semantycznymi pochodzącymi z CLIP za pomocą rozdzielonej uwagi krzyżowej, co pozwala modelowi odtwarzać brakującą zawartość z zarówno drobnymi szczegółami, jak i spójnością semantyczną.

Aby poprawić realizm i niezawodność, proces maskowania wejściowego łączy losowe maski siatkowe z maskami kształtu ciała ludzkiego, każda z równym prawdopodobieństwem, zwiększając złożoność brakujących obszarów, które model musi uzupełnić.

Tylko do odniesienia

Poprzednie metody kompletowania obrazów opartych na odniesieniu zazwyczaj opierały się na poziomie semantycznym kodowania. Przykładami są CLIP i DINOv2, które wyodrębniają globalne cechy z obrazów odniesienia, ale często tracą drobne szczegóły przestrzenne niezbędne do dokładnego zachowania tożsamości.

Z artykułu o starszym podejściu DINOv2, które jest uwzględnione w testach porównawczych nowego badania: kolorowe nałożenia pokazują pierwsze trzy główne składniki z analizy składowych głównych (PCA) zastosowanej do fragmentów obrazu w każdej kolumnie, podkreślając, jak DINOv2 grupuje podobne części obiektów w różnych obrazach. Źródło: https://arxiv.org/pdf/2304.07193

CompleteMe rozwiązuje ten problem za pomocą specjalizowanego Reference U-Net zainicjowanego z Stable Diffusion 1.5, ale działającego bez szumów dyfuzyjnych*.

Każdy obraz odniesienia, pokazujący różne części ciała, jest zakodowany w szczegółowe cechy latentne za pomocą tego U-Net. Globalne cechy semantyczne są również wyodrębniane oddzielnie za pomocą CLIP, a oba zestawy cech są buforowane w celu wydajnego użycia podczas integracji opartej na uwadze. W ten sposób system może elastycznie obsługiwać wiele obrazów odniesienia, zachowując przy tym drobne informacje o wyglądzie.

Orkiestracja

Spójny U-Net zarządza ostatecznymi etapami procesu kompletowania. Zainspirowany wariantem inpainting Stable Diffusion 1.5, przyjmuje jako dane wejściowe zakryty obraz źródłowy w postaci latentnej, wraz z szczegółowymi cechami przestrzennymi wyciągniętymi z obrazów odniesienia i globalnymi cechami semantycznymi wyciągniętymi przez kodujący CLIP.

Te różne dane wejściowe są połączone za pomocą bloku RFA, który odgrywa krytyczną rolę w kierowaniu uwagą modelu w stronę najbardziej istotnych obszarów materiału odniesienia.

Przed wejściem do mechanizmu uwagi cechy odniesienia są jawnie maskowane w celu usunięcia niezwiązanych obszarów, a następnie łączone z latentną reprezentacją obrazu źródłowego, zapewniając, że uwaga jest skierowana tak precyzyjnie, jak to możliwe.

Aby poprawić tę integrację, CompleteMe wykorzystuje mechanizm uwagi krzyżowej z ramy IP-Adapter:

IP-Adapter, część którego jest wbudowana w CompleteMe, jest jednym z najbardziej udanych i często wykorzystywanych projektów z ostatnich trzech burzliwych lat rozwoju architektur modeli dyfuzyjnych. Źródło: https://ip-adapter.github.io/

To pozwala modelowi przetwarzać szczegółowe cechy wizualne i szerszy kontekst semantyczny za pomocą oddzielnych strumieni uwagi, które są później łączone, w wyniku czym powstaje spójna rekonstrukcja, która, zdaniem autorów, zachowuje zarówno tożsamość, jak i drobne szczegóły.

Benchmarking

Wobec braku odpowiedniego zestawu danych do kompletowania ludzi na podstawie odniesienia, badacze opracowali własny. (Bezimienny) benchmark został zbudowany przez wyselekcjonowanie par obrazów z zestawu danych WPose opracowanego dla projektu Adobe Research z 2023 roku UniHuman.

Przykłady pozycji z projektu Adobe Research z 2023 roku UniHuman. Źródło: https://github.com/adobe-research/UniHuman?tab=readme-ov-file#data-prep

Badacze ręcznie narysowali maski źródłowe, aby wskazać obszary inpainting, ostatecznie uzyskując 417 grup tripartytowych składających się z obrazu źródłowego, maski i obrazu odniesienia.

Dwa przykłady grup pochodzących początkowo z zestawu danych odniesienia WPose, a następnie starannie wyselekcjonowane przez autorów nowego artykułu.

Autorzy wykorzystali LLaVA duży model językowy (LLM), aby wygenerować tekstowe prompty opisujące obrazy źródłowe.

Wskaźniki użyte w badaniu były bardziej szczegółowe niż zwykle; poza standardowym wskaźnikiem sygnału do szumu (PSNR), wskaźnikiem podobieństwa strukturalnego (SSIM) i wskaźnikiem podobieństwa percepcyjnego (LPIPS, w tym przypadku do oceny obszarów maskowanych), badacze wykorzystali DINO do oceny podobieństwa; DreamSim do oceny wyników generowania; oraz CLIP.

Dane i testy

Aby przetestować pracę, autorzy wykorzystali zarówno domyślny model Stable Diffusion V1.5, jak i model inpainting 1.5. Kodujący obrazów wykorzystał model CLIP Vision, wraz z warstwami projekcyjnymi – skromnymi sieciami neuronowymi, które przekształcają lub dopasowują dane wyjściowe CLIP do wymiarów cech wewnętrznych używanych przez model.

Trening odbywał się przez 30 000 iteracji na ośmiu procesorach graficznych NVIDIA A100^†, nadzorowanych przez błąd średniokwadratowy (MSE), przy rozmiarze partii 64 i stopy uczenia 2×10^-5. Różne elementy były losowo pomijane podczas treningu, aby zapobiec przeuczeniu systemu na danych.

Zestaw danych został zmodyfikowany z zestawu danych Parts to Whole, który z kolei oparty jest na zestawie danych DeepFashion-MultiModal.

Przykłady z zestawu danych Parts to Whole, wykorzystane w tworzeniu danych opracowanych dla CompleteMe. Źródło: https://huanngzh.github.io/Parts2Whole/

Autorzy stwierdzili:

‘Aby spełnić nasze wymagania, odbudowaliśmy pary treningowe, wykorzystując obrazy zakryte z wieloma obrazami odniesienia, które ujmują różne aspekty wyglądu ludzi, wraz z ich krótkimi etykietami tekstowymi.

‘Każdy próbek w naszych danych treningowych obejmuje sześć typów wyglądu: górne części odzieży, dolne części odzieży, całe części odzieży, włosy lub nakrycia głowy, twarz i buty. Dla strategii maskowania stosujemy losowe maskowanie siatkowe w 50% przypadków, natomiast w pozostałych 50% wykorzystujemy maskę kształtu ciała ludzkiego, aby zwiększyć złożoność maskowania.

‘Po zbudowaniu potoku konstrukcyjnego uzyskaliśmy 40 000 par obrazów do treningu.’

Porównywane wcześniejsze metody nieoparte na odniesieniu to duże kompletowanie obrazów ludzi (LOHC) i model inpainting BrushNet; metody oparte na odniesieniu to Paint-by-Example; AnyDoor; LeftRefill; oraz MimicBrush.

Autorzy rozpoczęli od porównania ilościowego na wcześniej wymienionych wskaźnikach:

Wyniki początkowego porównania ilościowego.

Co się tyczy oceny ilościowej, autorzy zauważają, że CompleteMe osiąga najwyższe wyniki w większości wskaźników percepcyjnych, w tym CLIP-I, DINO, DreamSim i LPIPS, które mają na celu uchwycenie zgodności semantycznej i wierności wyglądu między wynikiem a obrazem odniesienia.

Jednak model nie przewyższa wszystkich punktów odniesienia we wszystkich aspektach. W szczególności BrushNet osiąga najwyższy wynik w CLIP-T, LeftRefill przewyższa w SSIM i PSNR, a MimicBrush nieznacznie przewyższa w CLIP-I.

Chociaż CompleteMe wykazuje ogólnie silne wyniki, różnice w wydajności są niewielkie w niektórych przypadkach, a pewne wskaźniki nadal przewyższają je w przypadku wcześniejszych metod. Można powiedzieć, że autorzy słusznie przedstawiają te wyniki jako dowód zrównoważonej siły CompleteMe zarówno w wymiarze strukturalnym, jak i percepcyjnym.

Ilustracje testów jakościowych przeprowadzonych w ramach badania są zbyt liczne, aby je tutaj odtworzyć, i odsyłamy czytelnika nie tylko do samego artykułu, ale także do obszernego suplementu PDF, który zawiera wiele dodatkowych przykładów jakościowych:

Podkreślamy główne przykłady jakościowe przedstawione w głównym artykule, wraz z wybranymi dodatkowymi przypadkami pochodzącymi z puli obrazów uzupełniających wprowadzonych wcześniej w tym artykule:

Początkowe wyniki jakościowe przedstawione w głównym artykule. Prosimy o odniesienie się do oryginalnego artykułu w celu uzyskania lepszej rozdzielczości.

Co się tyczy wyników jakościowych przedstawionych powyżej, autorzy komentują:

‘Dla zakrytych danych wejściowych te metody nieoparte na odniesieniu generują prawdopodobną zawartość dla zakrytych obszarów, wykorzystując priory image lub prompty tekstowe.

‘Jednak, jak wskazano w czerwonej ramce, nie mogą one odtworzyć szczegółowych informacji, takich jak tatuaże lub unikalne wzory odzieży, ponieważ brakuje im obrazów odniesienia, które mogłyby nakierować odtworzenie identycznych informacji.’

Drugie porównanie, którego część jest pokazana poniżej, koncentruje się na czterech metodach opartych na odniesieniu: Paint-by-Example, AnyDoor, LeftRefill i MimicBrush. Tym razem dostarczono tylko jeden obraz odniesienia i prompty tekstowe.

Porównanie jakościowe z metodami opartymi na odniesieniu. CompleteMe wytwarza bardziej realistyczne uzupełnienia i lepiej zachowuje szczegóły z obrazu odniesienia. Czerwone ramki wskazują obszary szczególnego zainteresowania.

Autorzy stwierdzili:

‘Dla zakrytego obrazu ludzkiego i obrazu odniesienia inne metody mogą generować prawdopodobną zawartość, ale często nie udaje im się zachować informacji kontekstowych z odniesienia w sposób dokładny.

‘W niektórych przypadkach generują one nieistotną zawartość lub błędnie mapują odpowiadające części z obrazu odniesienia. W przeciwieństwie do tego CompleteMe skutecznie uzupełnia zakryty obszar, zachowując identyczne informacje i poprawnie mapując odpowiadające części ciała ludzkiego z obrazu odniesienia.’

Aby ocenić, jak dobrze modele odpowiadają percepcji ludzkiej, autorzy przeprowadzili badanie użytkowników, w którym wzięło udział 15 annotatorów i 2 895 par próbek. Każda para porównywała wynik CompleteMe z jednym z czterech metod opartych na odniesieniu: Paint-by-Example, AnyDoor, LeftRefill lub MimicBrush.

Annotatorzy oceniali każdy wynik na podstawie jakości wizualnej uzupełnionego obszaru i stopnia, w jakim zachował on cechy tożsamości z obrazu odniesienia – i tutaj, oceniając ogólną jakość i tożsamość, CompleteMe uzyskał bardziej definitywny wynik:

Wyniki badania użytkowników.

Wnioski

Jeśli cokolwiek, to wyniki jakościowe w tym badaniu są osłabione przez ich ogromną ilość, ponieważ dokładne zbadanie wskazuje, że nowy system jest najbardziej skutecznym wprowadzeniem w tej dość wąskiej, ale intensywnie prowadzonej dziedzinie edycji obrazów neuronowych.

Jednakże, aby docenić, jak dobrze system adaptuje materiał odniesienia do zakrytego obszaru w porównaniu (w niemal wszystkich przypadkach) z poprzednimi metodami, wymaga to nieco więcej staranności i powiększenia oryginalnego PDF.

Zdecydowanie zalecamy czytelnikom staranne zbadanie początkowo mylącej, a nawet przytłaczającej lawiny wyników przedstawionych w materiale uzupełniającym.

* Warto zauważyć, jak teraz już przestarzała wersja V1.5 pozostaje ulubioną wśród badaczy – częściowo ze względu na testy legacy like-on-like, ale także dlatego, że jest najmniej ocenzurowana i prawdopodobnie najłatwiej szkolona ze wszystkich iteracji Stable Diffusion, i nie dzieli ocenzurowania wersji FOSS Flux.

^† Specyfikacja VRAM nie jest podana – mogłaby to być albo 40 GB, albo 80 GB na kartę.

Publikacja po raz pierwszy we wtorek, 29 kwietnia 2025