Kąt Andersona
Przerabianie ludzkich typów ciała za pomocą sztucznej inteligencji

Kluczowe punktyNeuralReshaper wykorzystuje parametryczne modele SMPL, aby umożliwić precyzyjną…
Zobacz więcej
- NeuralReshaper wykorzystuje parametryczne modele SMPL, aby umożliwić precyzyjną kontrolę nad wagą, wzrostem i proporcjami ciała.
- Architektura bliźniaczych enkoderów osobno przetwarza przekształcanie sylwetki na pierwszym planie oraz wypełnianie tła, co zapewnia realistyczne rezultaty.
- Metody CGI oparte na SMPL pozostają niezbędne, ponieważ GAN-y i NeRF-y nie są jeszcze w stanie niezawodnie edytować parametrów kształtu ciała.
Nowe badanie przeprowadzone przez chińskich naukowców oferuje nową metodę przerabiania ludzkiego ciała na zdjęciach, wykorzystując dwa współpracujące neuronowe enkodery, sterowane modelem parametrycznym, który pozwala użytkownikowi modyfikować wagę, wysokość i proporcje ciała w interaktywnym interfejsie graficznym.

Parametryzowana modyfikacja kształtu ciała, z suwakami modyfikującymi trzy dostępne cechy. Źródło: https://arxiv.org/pdf/2203.10496.pdf
Praca ta wprowadza kilka ulepszeń względem niedawnego podobnego projektu firmy Alibaba: pozwala wiarygodnie zmieniać wzrost i proporcje ciała, a także wagę, oraz wykorzystuje osobną sieć neuronową do uzupełniania nieistniejącego w obrazie tła odsłanianego po wyszczupleniu sylwetki. Udoskonala również istotną wcześniejszą metodę parametryczną, eliminując potrzebę rozległej ingerencji człowieka przy przygotowywaniu przekształcenia.
Nazwany NeuralReshaper, nowy system dopasowuje parametryczny szablon 3D do obrazu źródłowego, a następnie wykorzystuje odkształcenia w szablonie, aby dostosować oryginalny obraz do nowych parametrów.
System może obsługiwać transformacje ciała na zdjęciach osób ubranych, a także półubranych (tj. w stroju kąpielowym).
Transformacje tego typu są obecnie przedmiotem intensywnego zainteresowania sektora sztucznej inteligencji w modzie, który wyprodukował wiele platform opartych na StyleGAN/CycleGAN i ogólnych sieciach neuronowych do wirtualnych przymiarek, które mogą dostosować dostępne ubrania do kształtu i typu ciała użytkownika, lub w inny sposób pomóc w zgodności wizualnej.
Artykuł pt. Single-image Human-body Reshaping with Deep Neural Networks, pochodzi od badaczy z Uniwersytetu Zhejiang w Hangzhou i Szkoły Mediów Kreatywnych na Uniwersytecie Miasta Hongkong.
Dopasowanie SMPL
NeuralReshaper wykorzystuje model Skinned Multi-Person Linear (SMPL) opracowany przez Instytut Maxa Plancka dla Systemów Inteligentnych i renomowaną firmę VFX Industrial Light and Magic w 2015 roku.

Parametryczne ludzkie kształty z kolaboracji Planck/ILM z 2015 roku. Źródło: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf
W pierwszym etapie procesu generowany jest model SMPL z obrazu źródłowego, do którego mają być wprowadzane transformacje ciała. Dostosowanie modelu SMPL do obrazu odbywa się zgodnie z metodologią metody Human Mesh Recovery (HMR) zaproponowanej przez uniwersytety w Niemczech i USA w 2018 roku.
Trzy parametry odkształcenia (waga, wysokość, proporcje ciała) są obliczane na tym etapie, wraz z uwzględnieniem parametrów kamery, takich jak ogniskowa. 2D punkty kluczowe i wygenerowana wyrównanie konturu zapewniają ograniczenie odkształcenia w postaci 2D konturu, dodatkowy środek optymalizacji, który zwiększa dokładność granic i pozwala na autentyczne wypełnienie tła w dalszej części procesu.

Etapy dopasowania SMPL: po lewej obraz źródłowy; drugi obraz to wynik optymalizacji według metody opisanej w badaniu z 2016 roku pod kierownictwem Instytutu Maxa Plancka; trzeci to bezpośredni wynik inferencji z modelu wytrenowanego do End-to-end Recovery of Human Shape and Pose; czwarty przedstawia wynik optymalizacji punktów kluczowych 2D; piąty — ostateczne dopasowanie po optymalizacji sylwetki (patrz wyżej).
Odkształcenie 3D jest następnie projekowane do przestrzeni obrazu, aby umożliwić gęste odkształcenie, które zdefiniuje odkształcenie. Proces ten trwa około 30 sekund na obraz.
Architektura NeuralReshaper
NeuralReshaper uruchamia dwie sieci neuronowe jednocześnie: enkoder pierwszego planu, która generuje przekształcony kształt ciała, oraz kodującą tło, która koncentruje się na wypełnianiu “odkrytego” tła (w przypadku np. wyszczuplania ciała – patrz poniżej).
Ramka w stylu U-net integruje dane wyjściowe z cech obu kodujących przed przekazaniem wyniku do wspólnego dekodera, który ostatecznie produkuje nowy obraz z dwóch wejść. Architektura posiada nowy mechanizm przewodzenia odkształcenia, aby umożliwić integrację.
Szkolenie i eksperymenty
NeuralReshaper jest wdrożony w PyTorch na jednej karcie graficznej NVIDIA (NVDA ) 1080ti z 11 GB pamięci VRAM. Sieć była trenowana przez 100 epok pod kontrolą optymalizatora Adam, z generatorem ustawionym na współczynnik uczenia 0,0001 i dyskryminatorem na współczynnik uczenia 0,0004. Trenowanie odbywało się na partii o rozmiarze 8 dla własnego zestawu danych zewnętrznych (pochodzącego z COCO, MPII i LSP), oraz 2 podczas trenowania na DeepFashion.
Poniżej znajdują się przykłady wyłącznie z zestawu DeepFashion, przeszkolonego dla NeuralReshaper, z oryginalnymi obrazami zawsze po lewej.
Trzy kontrolowane atrybuty są rozdzielone i mogą być stosowane oddzielnie.
Transformacje na pochodzącym zestawie danych zewnętrznych są bardziej wymagające, ponieważ często wymagają wypełniania skomplikowanych tłów i klarownego i przekonywującego wyznaczenia przekształconych typów ciała:
Parametryczna konieczność
Jak zauważa artykuł, transformacje w obrębie tego samego obrazu reprezentują niewłaściwie postawiony problem w syntezie obrazu. Wiele transformacyjnych sieci GAN i architektur enkoderowych może wykorzystywać sparowane obrazy (takie jak różne projekty zaprojektowane do wykonania transformacji szkic>foto i transformacji foto>szkic).
Jednak w tym przypadku wymagałoby to par obrazów przedstawiających tych samych ludzi w różnych konfiguracjach fizycznych, takich jak “przed i po” obrazy w reklamach dietetycznych lub chirurgii plastycznej – dane, które są trudne do uzyskania lub wygenerowania.
Alternatywnie, transformacyjne sieci GAN mogą być trenowane na znacznie bardziej zróżnicowanych danych i mogą wykonywać transformacje, szukając kierunku latentnego między obrazem źródłowym (oryginalnym kodem latentnym) a pożądaną klasą (w tym przypadku “gruby”, “chudy”, “wysoki” itp.). Jednakże, ten podejście jest obecnie zbyt ograniczone do celów precyzyjnego kształtowania ciała.
Podejścia Neural Radiance Fields (NeRF) są znacznie bardziej zaawansowane w symulacji pełnego ciała niż większość systemów opartych na GAN, ale pozostają specyficzne dla sceny i wymagające zasobów, z obecnie bardzo ograniczoną możliwością edycji typów ciała w sposób, w jaki NeuralReshaper i poprzednie projekty próbują rozwiązać (poza skalowaniem całego ciała w stosunku do jego otoczenia).
Przestrzeń latentna GAN jest trudna do zarządzania; VAE same nie rozwiązują jeszcze złożoności pełnej reprodukcji ciała; i możliwość NeRF do ciągłej i realistycznej przebudowy ludzkich ciał jest nadal w powijakach. Dlatego też włączanie “tradycyjnych” metod CGI, takich jak SMPL, wydaje się kontynuowane w sektorze syntezowania obrazu ludzkiego, jako sposób na kontrolowanie, konsolidację i ujednolicenie cech, klas i kodów latentnych, których parametry i wykorzystywanie nie są jeszcze w pełni zrozumiane w tych nowych technologiach.
Pierwotnie opublikowano 31 marca 2022 r.




















