Tworzenie pełnopostaciowych deepfake’ów poprzez łączenie wielu NeRF

Badania nad syntezą obrazu są gęsto usiane nowymi propozycjami systemów zdolnych do tworzenia pełnopostaciowych filmów wideo i zdjęć młodych ludzi – głównie młodych kobiet – w różnych rodzajach strojów. Większość wygenerowanych obrazów jest statyczna; okazjonalnie, przedstawienia nawet poruszają się, choć zwykle niezbyt dobrze.

Tempo tego konkretnego nurtu badań jest glacialne w porównaniu z bieżącym oszałamiającym poziomem postępu w pokrewnych dziedzinach, takich jak modele dyfuzji latentnej; jednak grupy badawcze, większość w Azji, nieprzerwanie i bez ustanku pracują nad rozwiązaniem problemu.

Jeden z dziesiątek, jeśli nie setek proponowanych lub półuruchomionych systemów ‘wirtualnej przymiarki’ z ostatnich 10-15 lat, gdzie ciała są oceniane za pomocą rozpoznawania obiektów opartego na uczeniu maszynowym i dostosowane do proponowanych przedmiotów odzieży. Źródło: https://www.youtube.com/watch?v=2ZXrgGyhbak

Celem jest stworzenie nowych systemów umożliwiających ‘wirtualne przymiarki’ dla rynku mody i odzieży – systemów, które mogą dostosować się zarówno do klienta, jak i do konkretnego produktu, który jest obecnie dostępny lub który zostanie wydany, bez niezręczności superpozycji w czasie rzeczywistym odzieży, lub konieczności proszenia klientów o wysłanie nieco nieodpowiednich zdjęć do potoku renderowania opartego na uczeniu maszynowym.

Żadna z popularnych architektur syntez nie wydaje się łatwo przystosowalna do tego zadania: przestrzeń latentna Generative Adversarial Networks (GAN) nie nadaje się do wytwarzania przekonywującej ruchu czasowego (lub nawet edycji w ogóle); chociaż zdolne do generowania realistycznych ruchów ludzkich, Neural Radiance Fields (NeRF) są zwykle naturalnie odporne na rodzaj edycji, który byłby niezbędny do ‘wymiany’ ludzi lub odzieży według życzenia; autoenkodery wymagałyby uciążliwego szkolenia specyficznego dla osoby/odzieży; a modele dyfuzji latentnej, podobnie jak GAN, nie mają żadnych rodzimych mechanizmów czasowych, do generowania wideo.

EVA3D

Pomimo to, artykuły i propozycje nadal pojawiają się. Najnowszy jest niezwykle interesujący wśród innych niewyróżniających się i wyłącznie biznesowo zorientowanych badań.

EVA3D, z Nanyang Technological University w Singapurze, jest pierwszym wskaźnikiem podejścia, które długo się spodziewano – użycie wielu sieci Neural Radiance Field, z których każda jest poświęcona oddzielnemu części ciała, a które są następnie komponowane w złożoną i spójną wizualizację.

Młoda kobieta komponowana z wielu sieci NeRF, dla EVA3D. Źródło: https://hongfz16.github.io/projects/EVA3D.html

Wyniki, jeśli chodzi o ruch, są… w porządku. Chociaż wizualizacje EVA3D nie są poza doliną niezręczności, mogą przynajmniej zobaczyć zjazd z miejsca, w którym stoją.

To, co sprawia, że EVA3D jest wyjątkowy, to fakt, że badacze za nim, niemal wyjątkowo w sektorze pełnopostaciowej syntezji obrazu, zrozumieli, że pojedyncza sieć (GAN, NeRF lub inna) nie będzie w stanie obsłużyć edytowalnej i elastycznej generacji pełnopostaciowej dla ludzi przez kilka lat – częściowo ze względu na tempo badań, a częściowo ze względu na ograniczenia sprzętowe i logistyczne.

Dlatego zespół z Nanyang podzielił zadanie na 16 sieci i wiele technologii – podejście już przyjęte dla renderowania neuronowego środowisk miejskich w Block-NeRF i CityNeRF, i które wydaje się prawdopodobnie coraz bardziej interesujące i potencjalnie owocne półśrodkiem do osiągnięcia pełnopostaciowych deepfake’ów w ciągu najbliższych pięciu lat, w zależności od nowych koncepcyjnych lub rozwojowych.

Nie wszystkie wyzwania obecne w tworzeniu tego rodzaju ‘wirtualnej przymiarki’ są techniczne lub logistyczne, a artykuł opisuje niektóre z problemów związanych z danymi, szczególnie w odniesieniu do uczenia bez nadzoru:

‘[Modne] zestawy danych mają bardzo ograniczone ludzkie pozy (większość to podobne pozy stojące), i wysoko niesymetryczne kąty widzenia (większość to widoki frontowe). Ta niesymetryczna dystrybucja danych 2D może utrudnić uczenie bez nadzoru 3D GAN, prowadząc do trudności w syntezie nowych widoków/poz.

Przepływ pracy EVA3D dzieli ludzkie ciało na 16 odrębnych części, z których każda jest generowana za pomocą własnej sieci NeRF. Oczywiście, to tworzy wystarczająco ‘niezamrożone’ sekcje, aby móc zgalwanizować postać za pomocą danych ruchu lub innych typów danych ruchowych. Poza tym zaletą, system umożliwia również przypisanie maksymalnych zasobów do części ciała, które ‘sprzedają’ ogólne wrażenie.

Na przykład, ludzkie stopy mają bardzo ograniczony zakres artykulacji, podczas gdy autentyczność twarzy i głowy, poza jakością całego ruchu ciała w ogóle, jest prawdopodobnie najważniejszym tokenem autentyczności dla renderowania.

Jakościowe porównanie między EVA3D a poprzednimi metodami.

Podejście różni się radykalnie od projektu NeRF, z którym jest pojęciowo związane – A-NeRF z 2021 roku, z University of British Columbia i Reality Labs Research, który próbował dodać wewnętrzną kontrolę szkieletu do konwencjonalnej ‘jednej sztuki’ reprezentacji NeRF, co utrudniało przydział zasobów przetwarzania do różnych części ciała na podstawie potrzeby.

Poprzednie ruchy – A-NeRF wyposaża ‘upieczoną’ NeRF w rodzaj giętkiej i złożonej centralnej konstrukcji, którą przemysł VFX używa od dawna do animowania postaci CGI. Źródło: https://lemonatsu.github.io/anerf/

We wspólnym z większością podobnych projektów ludzkich, które próbują wykorzystać przestrzeń latentną popularnych podejść, EVA3D używa Skinned Multi-Person Linear Model (SMPL), ‘tradycyjną’ metodę CGI, aby dodać instrumenty do abstrakcji bieżących metod syntezowania. Wcześniej w tym roku, inny artykuł, tym razem z Zhejiang University w Hangzhou i School of Creative Media at the City University of Hong Kong, użył takich metod do neuralnego kształtowania ciała.

Jakościowe wyniki EVA3D na DeepFashion.

Metoda

Model SMPL użyty w procesie jest dostosowany do ludzkiej ‘przedniej’ – osoby, która jest poddawana głębokiej fałszyfikacji przez EVA3D, a jej wagi skóry negocjują różnice między przestrzenią kanoniczną (tj. ‘w spoczynku’ lub ‘neutralną’ pozycją modelu SMPL) a tym, jak ostateczny wygląd jest renderowany.

Konceptualny przepływ pracy dla EVA3D. Źródło: https://arxiv.org/pdf/2210.04888.pdf

Jak widać na ilustracji powyżej, pola ograniczające SMPL są używane jako definicje granic dla 16 sieci, które ostatecznie złożą ciało. Następnie odwrotny Linear Blend Skinning (LBS) algorytm SMPL jest używany do przeniesienia widocznych próbek promieni do przestrzeni kanonicznej (bierna pozycja). Następnie 16 podsieci jest zapytywanych na podstawie tych konfiguracji i ostatecznie ukształtowanych w ostateczny render.

Cała kompozycja NeRF jest następnie używana do zbudowania ramy GAN 3D.

Renderowania drugiego etapu ramy GAN będą ostatecznie szkolone przeciwko autentycznym kolekcjom obrazów 2D ludzi/mody.

Każda podsieć reprezentująca część ludzkiego ciała składa się ze stosowanych wielowarstwowych perceptronów (MLP) z SIREN (Sinusoidal Representation Networks) aktywacją. Chociaż SIREN rozwiązuje wiele problemów w takim przepływie pracy, i w podobnych projektach, tendencja jest do nadmiernego dopasowania zamiast uogólnienia, a badacze sugerują, że alternatywne biblioteki mogą być użyte w przyszłości (patrz koniec artykułu).

Dane, szkolenie i testy

EVA3D stoi w obliczu niezwykłych problemów z danymi, ze względu na ograniczenia i sformatowany styl pozycji, które są dostępne w zbiorach danych modowych, które tendencję brakuje alternatywnych lub nowych widoków, i są, być może celowo, powtarzalne, aby skupić uwagę na ubraniach, a nie na człowieku, który je nosi.

Ze względu na tę niesymetryczną dystrybucję pozycji, EVA3D używa ludzkich ‘przednich’ (patrz powyżej) opartych na geometrii szablonu SMPL, a następnie przewiduje Signed Distance Field (SDF) offset tej pozycji, zamiast prostego celu pozycji.

Dla wspierających eksperymentów, badacze wykorzystali cztery zestawy danych: DeepFashion; SHHQ; UBCFashion; i AIST Dance Video Database (AIST Dance DB).

Ostatnie dwa zawierają bardziej zróżnicowane pozy niż dwa pierwsze, ale reprezentują te same osoby powtarzalnie, co anuluje tę różnorodność; krótko mówiąc, dane są bardziej niż wyzwaniem, biorąc pod uwagę zadanie.

Przykłady z SSHQ. Źródło: https://arxiv.org/pdf/2204.11823.pdf

Bazy użyte były ENARF-GAN, pierwszy projekt, który renderował wizualizacje NeRF z zestawów danych 2D; Stanford i NVIDIA’s (NVDA ) EG3D; i StyleSDF, współpraca między University of Washington, Adobe (ADBE ) Research, a Stanford University – wszystkie metody wymagające bibliotek super-rozrostu, aby skalować się z natywnego do wysokiego rozdzielczości.

Metryki przyjęte były kontrowersyjna Frechet Inception Distance (FID) i Kernel Inception Distance (KID), wraz z Percentage of Correct Keypoints (PCKh@0.5).

W ilościowych ocenach, EVA3D prowadził we wszystkich metrykach w czterech zestawach danych:

Wyniki ilościowe.

Badacze zauważają, że EVA3D osiąga najniższy wskaźnik błędu dla renderowania geometrii, czynnika krytycznego w projekcie tego rodzaju. Zaznaczają również, że ich system może kontrolować wygenerowaną pozycję i osiągać wyższe wyniki PCKh@0.5, w przeciwieństwie do EG3D, jednej z konkurencyjnych metod, która uzyskała wyższy wynik w jednej kategorii.

EVA3D działa rodzinnie w rozdzielczości 512x512px, chociaż mógłby być łatwo i skutecznie skalowany do rozdzielczości HD, nakładając warstwy skalowania, jak to zrobił Google z jego ofertą wideo 1024 Imagen Video.

Metoda nie jest pozbawiona ograniczeń. Artykuł zauważa, że aktywacja SIREN może powodować artefakty kołowe, które mogą być naprawione w przyszłych wersjach przez użycie alternatywnej reprezentacji podstawowej, takiej jak EG3D, w połączeniu z dekodera 2D. Dodatkowo, trudno jest dopasować SMPL dokładnie do źródeł danych modowych.

Wreszcie, system nie może łatwo dostosować się do większych i bardziej płynnych przedmiotów odzieży, takich jak duże suknie; ubrania tego typu wykazują ten sam rodzaj dynamiki płynów, który sprawia, że tworzenie neuronalnie renderowanego włosów jest takim wyzwaniem. Prawdopodobnie, odpowiednie rozwiązanie mogłoby pomóc w rozwiązaniu obu problemów.

Pierwotnie opublikowane 12 października 2022.