Przerabianie ludzkich typów ciała za pomocą sztucznej inteligencji

Nowe badanie przeprowadzone przez chińskich naukowców oferuje nową metodę przerabiania ludzkiego ciała na zdjęciach, wykorzystując współrzędnie dwie sieci neuronowe, sterowane modelem parametrycznym, który pozwala użytkownikowi modyfikować wagę, wysokość i proporcje ciała w interaktywnym interfejsie graficznym.

Parametryzowana modyfikacja kształtu ciała, z suwakami modyfikującymi trze dostępne funkcje. Źródło: https://arxiv.org/pdf/2203.10496.pdf

Praca ta oferuje kilka ulepszeń w porównaniu z poprzednim projektem z Alibaba, ponieważ może przekonywająco modyfikować wysokość i proporcje ciała, a także posiada dedykowaną sieć neuronową do “wypełniania” tła (w przypadku np. zeszklonego ciała – patrz poniżej).

Nazwany NeuralReshaper, nowy system dopasowuje parametryczny szablon 3D do obrazu źródłowego, a następnie wykorzystuje odkształcenia w szablonie, aby dostosować oryginalny obraz do nowych parametrów.

System może obsługiwać transformacje ciała na zdjęciach osób ubranych, a także półubranych (tj. w stroju kąpielowym).

Transformacje tego typu są obecnie przedmiotem intensywnego zainteresowania sektora sztucznej inteligencji w modzie, który wyprodukował wiele platform opartych na StyleGAN/CycleGAN i ogólnych sieciach neuronowych do wirtualnych przymiarek, które mogą dostosować dostępne ubrania do kształtu i typu ciała użytkownika, lub w inny sposób pomóc w zgodności wizualnej.

Artykuł pt. Single-image Human-body Reshaping with Deep Neural Networks, pochodzi od badaczy z Uniwersytetu Zhejiang w Hangzhou i Szkoły Mediów Kreatywnych na Uniwersytecie Miasta Hongkong.

Dopasowanie SMPL

NeuralReshaper wykorzystuje model Skinned Multi-Person Linear (SMPL) opracowany przez Instytut Maxa Plancka dla Systemów Inteligentnych i renomowaną firmę VFX Industrial Light and Magic w 2015 roku.

Parametryczne ludzkie kształty z kolaboracji Planck/ILM z 2015 roku. Źródło: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

W pierwszym etapie procesu generowany jest model SMPL z obrazu źródłowego, do którego mają być wprowadzane transformacje ciała. Dostosowanie modelu SMPL do obrazu odbywa się zgodnie z metodologią metody Human Mesh Recovery (HMR) zaproponowanej przez uniwersytety w Niemczech i USA w 2018 roku.

Trzy parametry odkształcenia (waga, wysokość, proporcje ciała) są obliczane na tym etapie, wraz z uwzględnieniem parametrów kamery, takich jak ogniskowa. 2D punkty kluczowe i wygenerowana wyrównanie konturu zapewniają ograniczenie odkształcenia w postaci 2D konturu, dodatkowy środek optymalizacji, który zwiększa dokładność granic i pozwala na autentyczne wypełnienie tła w dalszej części procesu.

Etap dopasowania SMPL: po lewej, obraz źródłowy; drugi, wynik optymalizacji uzyskany z metody opisanej w badaniach z 2016 roku pod przewodnictwem Instytutu Maxa Plancka dla Systemów Inteligentnych; trzeci, wynik inferencji bezpośredniej z pre-trenowanego modelu do odzyskiwania kształtu i pozy ludzkiej; czwarty, wyniki uzyskane po optymalizacji 2D punktów kluczowych; i na koniec, piąty, ukończone dopasowanie po optymalizacji konturu (patrz powyżej).

Odkształcenie 3D jest następnie projekowane do przestrzeni obrazu, aby umożliwić gęste odkształcenie, które zdefiniuje odkształcenie. Proces ten trwa około 30 sekund na obraz.

Architektura NeuralReshaper

NeuralReshaper uruchamia dwie sieci neuronowe jednocześnie: kodującą przednią część ciała, która generuje przekształcony kształt ciała, oraz kodującą tło, która koncentruje się na wypełnianiu “odkrytego” tła (w przypadku np. zeszklonego ciała – patrz poniżej).

Ramka w stylu U-net integruje dane wyjściowe z cech obu kodujących przed przekazaniem wyniku do zjednoczonego kodującego, który ostatecznie produkuje nowy obraz z dwóch wejść. Architektura posiada nowy mechanizm przewodzenia odkształcenia, aby umożliwić integrację.

Szkolenie i eksperymenty

NeuralReshaper jest wdrożony w PyTorch na jednej karcie graficznej NVIDIA 1080ti z 11 GB pamięci VRAM. Sieć była trenowana przez 100 epok pod kontrolą optymalizatora Adam, z generatorem ustawionym na docelowa stratę 0,0001 i dyskryminatorem na docelowa stratę 0,0004. Trenowanie odbywało się na partii o rozmiarze 8 dla własnego zestawu danych zewnętrznych (pochodzącego z COCO, MPII i LSP), oraz 2 podczas trenowania na DeepFashion.

Po lewej, oryginalne obrazy, po prawej, wynik przekształcenia NeuralReshaper.

Poniżej znajdują się przykłady wyłącznie z zestawu DeepFashion, przeszkolonego dla NeuralReshaper, z oryginalnymi obrazami zawsze po lewej.

Trzy kontrolowane atrybuty są rozdzielone i mogą być stosowane oddzielnie.

Transformacje na pochodzącym zestawie danych zewnętrznych są bardziej wymagające, ponieważ często wymagają wypełniania skomplikowanych tłów i klarownego i przekonywującego wyznaczenia przekształconych typów ciała:

Parametryczna konieczność

Jak zauważa artykuł, takie same transformacje obrazu reprezentują niewłaściwie postawiony problem w syntezie obrazu. Wiele transformacyjnych sieci GAN i ram framework może wykorzystywać sparowane obrazy (takie jak różne projekty zaprojektowane do wykonania transformacji szkic>foto i transformacji foto>szkic).

Jednak w tym przypadku wymagałoby to par obrazów przedstawiających tych samych ludzi w różnych konfiguracjach fizycznych, takich jak “przed i po” obrazy w reklamach dietetycznych lub chirurgii plastycznej – dane, które są trudne do uzyskania lub wygenerowania.

Alternatywnie, transformacyjne sieci GAN mogą być trenowane na znacznie bardziej zróżnicowanych danych i mogą wykonywać transformacje, szukając kierunku latentnego między obrazem źródłowym (oryginalnym kodem latentnym) a pożądaną klasą (w tym przypadku “gruby”, “chudy”, “wysoki” itp.). Jednakże, ten podejście jest obecnie zbyt ograniczone do celów precyzyjnego kształtowania ciała.

Podejścia Neural Radiance Fields (NeRF) są znacznie bardziej zaawansowane w symulacji pełnego ciała niż większość systemów opartych na GAN, ale pozostają specyficzne dla sceny i wymagające zasobów, z obecnie bardzo ograniczoną możliwością edycji typów ciała w sposób, w jaki NeuralReshaper i poprzednie projekty próbują rozwiązać (poza skalowaniem całego ciała w stosunku do jego otoczenia).

Przestrzeń latentna GAN jest trudna do zarządzania; VAE same nie rozwiązują jeszcze złożoności pełnej reprodukcji ciała; i możliwość NeRF do ciągłej i realistycznej przebudowy ludzkich ciał jest nadal w powijakach. Dlatego też włączanie “tradycyjnych” metod CGI, takich jak SMPL, wydaje się kontynuowane w sektorze syntezowania obrazu ludzkiego, jako sposób na kontrolowanie, konsolidację i ujednolicenie cech, klas i kodów latentnych, których parametry i wykorzystywanie nie są jeszcze w pełni zrozumiane w tych nowych technologiach.

Pierwotnie opublikowano 31 marca 2022 r.