Sztuczne “lepsze” ciała dzięki sztucznej inteligencji

Nowe badania przeprowadzone przez Akademię Alibaba DAMO oferują opracowany z wykorzystaniem sztucznej inteligencji proces automatyzacji zmiany kształtu obrazów ciał – rzadki wysiłek w sektorze widzenia komputerowego, który obecnie zajmuje się manipulacjami twarzy takimi jak deepfakes i edycja twarzy oparta na GAN.

Wstawione w kolumny ‘wynik’, wygenerowane mapy uwagi, które określają obszary do zmiany. Źródło: https://arxiv.org/pdf/2203.04670.pdf

Architektura badaczy wykorzystuje estymację pozy szkieletu, aby rozwiązać problem większej złożoności, z którym systemy syntezy i edycji obrazów mają do czynienia przy konceptualizacji i parametryzacji istniejących obrazów ciał, co najmniej do poziomu szczegółowości, który pozwala na znaczącą i selektywną edycję.

Oszacowane mapy szkieletu pomagają w indywidualizacji i skupieniu uwagi na obszarach ciała, które najprawdopodobniej zostaną retuszowane, takich jak obszar ramienia.

System ostatecznie umożliwia użytkownikowi ustalenie parametrów, które mogą zmienić wygląd wagi, masy mięśniowej lub rozkładu wagi w pełnych lub półpełnych fotografiach ludzi i jest w stanie generować dowolne transformacje sekcji ciała ubranego lub nieubranego.

Po lewej, obraz wejściowy; w środku, mapa cieplna pochodzących obszarów uwagi; po prawej, przekształcony obraz.

Motywacją do tej pracy jest rozwój zautomatyzowanych procesów, które mogą zastąpić uciążliwe manipulacje cyfrowe podejmowane przez fotografów i artystów graficznych w różnych dziedzinach mediów, od mody do stylu magazynowego i materiałów promocyjnych.

Ogólnie, autorzy uznają, że te transformacje są zwykle stosowane z użyciem technik “warp” w programie Photoshop i innych tradycyjnych edytorach bitmapowych i są prawie wyłącznie stosowane w obrazach kobiet. W związku z tym, niestandardowy zestaw danych opracowany w celu ułatwienia nowego procesu składa się głównie z obrazów osób płci żeńskiej:

‘Ponieważ retusz ciała jest głównie pożądany przez kobiety, większość naszej kolekcji to zdjęcia kobiet, biorąc pod uwagę różnorodność wieku, ras (afrykańska:azjatycka:biała = 0,33:0,35:0,32), poz, i odzieży.’

Artykuł artykuł nosi tytuł Structure-Aware Flow Generation for Human Body Reshaping i pochodzi od pięciu autorów związanych z globalną Akademią Alibaba DAMO.

Opracowanie zbioru danych

Jak zwykle ma to miejsce w przypadku systemów syntezy i edycji obrazów, architektura projektu wymagała niestandardowego zestawu danych szkoleniowych. Autorzy zleciли trzem fotografom wykonanie standardowych manipulacji programu Photoshop na odpowiednich obrazach ze strony stockowej Unsplash, w wyniku czego powstał zestaw danych – zatytułowany BR-5K* – 5 000 wysokiej jakości obrazów w rozdzielczości 2K.

Badacze podkreślają, że celem szkolenia na tym zestawie danych nie jest wytworzenie “ideałów” i uogólnionych cech związanych z indeksem atrakcyjności lub pożądanego wyglądu, ale raczej wyodrębnienie podstawowych map cech związanych z profesjonalnymi manipulacjami obrazów ciał.

Jednakże, przyznają, że manipulacje ostatecznie odzwierciedlają procesy transformacyjne, które mapują postęp od “rzeczywistego” do wstępnie określonej koncepcji “ideału”:

‘Zapraszamy trzech profesjonalnych artystów do retuszu ciał przy użyciu programu Photoshop niezależnie, z celem osiągnięcia smukłych sylwetek, które spełniają popularne kanony estetyczne, i wybieramy najlepszy jako wzorzec.’

Ponieważ ramy nie zajmują się twarzami w ogóle, zostały one rozmyte przed włączeniem do zestawu danych.

Architektura i podstawowe pojęcia

Przepływ pracy systemu obejmuje wprowadzenie wysokiej rozdzielczości portretu, zmniejszenie rozdzielczości do niższej, która może pomieścić się w dostępnych zasobach obliczeniowych, oraz wyodrębnienie oszacowanej mapy szkieletu (drugi obraz z lewej na poniższym obrazie), a także pól powinowactwa części (PAF), które zostały wynalezione w 2016 roku przez Instytut Robotyki na Uniwersytecie Carnegie Mellon (zobacz film wideo osadzony bezpośrednio poniżej).

Pola powinowactwa części pomagają określić orientację kończyn i ogólny związek z szerszą ramą szkieletu, zapewniając nowemu projektowi dodatkowe narzędzie uwagi/lokalizacji.

Z 2016 roku, przewidywane pola powinowactwa części kodują orientację kończyn jako część 2D wektora, który zawiera również ogólną pozycję kończyny. Źródło: https://arxiv.org/pdf/1611.08050.pdf

Pomimo ich pozornie nieistotnego wpływu na wygląd wagi, mapy szkieletu są przydatne w kierowaniu ostatecznymi procesami transformacyjnymi do części ciała, które mają być zmienione, takich jak górne partie ramion, tył i uda.

Następnie wyniki są wprowadzane do strukturalnego modułu uwagi sieciowej (SASA) w centralnym gardle procesu (zobacz obraz poniżej).

Moduł SASA reguluje spójność generatora przepływu, który napędza proces, a wyniki są następnie przekazywane do modułu zginania (drugi z prawej na powyższym obrazie), który stosuje transformacje nauczane podczas szkolenia na ręcznych rewizjach zawartych w zestawie danych.

Moduł strukturalnej uwagi sieciowej (SASA) alokuje uwagę do istotnych części ciała, pomagając uniknąć zbędnych lub nieistotnych transformacji.

Obraz wyjściowy jest następnie powiększany z powrotem do oryginalnej rozdzielczości 2K, przy użyciu procesów nieodległych od standardowej, 2017 roku architektury deepfake, z której później wywodzą się popularne pakiety takie jak DeepFaceLab; proces powiększania jest również powszechny w ramach edycji GAN.

Sieć uwagi schematu jest modelowana na Compositional De-Attention Networks (CODA), współpracy akademickiej z 2019 roku pomiędzy Amazon AI i Microsoft.

Testy

Oparty na przepływie framework został przetestowany w porównaniu z poprzednimi metodami opartymi na przepływie FAL i Animating Through Warping (ATW), a także architektury tłumaczenia obrazu Pix2PixHD i GFLA, z SSIM, PSNR i LPIPS jako metryki oceny.

Wyniki wstępnych testów (kierunek strzałki w nagłówkach wskazuje, czy niższe czy wyższe wartości są lepsze).

Na podstawie tych przyjętych metryk, system autorów przewyższa poprzednie architektury.

Wybrane wyniki. Proszę odnieść się do oryginalnego pliku PDF dołączonego do tego artykułu, aby uzyskać wyższą rozdzielczość porównań.

Ponadto, badacze przeprowadzili badanie użytkowników (ostatnia kolumna tabeli wyników przedstawiona wcześniej), w którym 40 uczestników zostało pokazanych 30 pytań losowo wybranych z puli 100 pytań związanych z obrazami wygenerowanymi za pomocą różnych metod. 70% respondentów preferowało nową technikę jako bardziej “wizualnie atrakcyjną”.

Wyzwania

Nowy artykuł reprezentuje rzadki wyjście w kierunku manipulacji ciałem opartej na sztucznej inteligencji. Sektor syntezy obrazu jest obecnie znacznie bardziej zainteresowany albo generowaniem edytowalnych ciał za pomocą metod takich jak Neural Radiance Fields (NeRF), albo jest skupiony na eksplorowaniu latentnego przestrzeni GAN i potencjału autoencoderów do manipulacji twarzą.

Inicjatywa autorów jest obecnie ograniczona do wprowadzania zmian w postrzeganej wadze, a oni nie zaimplementowali żadnej techniki inpainting, która mogłaby przywrócić tło, które jest nieuniknienie ujawnione, gdy slim down obrazu osoby.

Jednakże, proponują, że matowanie portretu i mieszanie tła za pomocą inferencji teksturalnej mogłoby trywialnie rozwiązać problem przywrócenia części świata, które były wcześniej ukryte w obrazie przez “niedoskonałość” ludzką.

Proponowane rozwiązanie dla przywrócenia tła, które jest ujawnione przez sztuczną inteligencję redukującą tłuszcz.

* Chociaż preprint odnosi się do materiału uzupełniającego, który dostarcza więcej szczegółów na temat zestawu danych, a także dalszych przykładów z projektu, lokalizacja tego materiału nie jest dostępna w artykule, a odpowiedni autor jeszcze nie odpowiedział na naszą prośbę o dostęp.

Pierwotnie opublikowane 10 marca 2022.