Kąt Andersona

Przebudowa twarzy w filmach wideo za pomocą uczenia maszynowego

Martin Anderson
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyNowa metoda przekształca twarze w filmie bez użycia CGI, wykorzystując parametryczne…
Zobacz więcej
  • Nowa metoda przekształca twarze w filmie bez użycia CGI, wykorzystując parametryczne modele 3D twarzy.
  • System unika migotliwych artefaktów, zastępując rzadkie mapowanie gęstymi funkcjami odległości ze znakiem.
  • Deformacja w czasie rzeczywistym pozostaje niewykonalna, ponieważ każda sekunda materiału wymaga ponad 16 sekund przetwarzania.

Współpraca badawcza między Chinami a Wielką Brytanią doprowadziła do opracowania nowej metody przekształcania twarzy w filmach wideo. Technika ta pozwala na przekonywujące poszerzanie i zwężanie struktury twarzy, z wysoką spójnością i brakiem artefaktów.

Z filmu wideo wykorzystanego jako materiał źródłowy przez badaczy, aktorka Jennifer Lawrence pojawia się jako osoba o bardziej wychudzonej twarzy (po prawej). Zobacz załączony film poniżej, aby zobaczyć więcej przykładów w lepszej rozdzielczości. Źródło: https://www.youtube.com/watch?v=tA2BxvrKvjE

Z filmu wideo wykorzystanego jako materiał źródłowy przez badaczy, aktorka Jennifer Lawrence pojawia się jako osoba o bardziej wychudzonej twarzy (po prawej). Zobacz załączony film poniżej, aby zobaczyć więcej przykładów w lepszej rozdzielczości. Źródło: https://www.youtube.com/watch?v=tA2BxvrKvjE

Ten rodzaj transformacji jest zwykle możliwy tylko przy użyciu tradycyjnych metod CGI, które wymagałyby całkowitego odtworzenia twarzy za pomocą szczegółowych i kosztownych procedur motion-capping, rigging i texturing.

Zamiast tego, CGI w tej technice jest zintegrowane z neuralnym potokiem jako parametryczna informacja 3D twarzy, która jest następnie wykorzystywana jako podstawa dla przepływu pracy z uczeniem maszynowym.

Tradycyjne parametryczne twarze są coraz częściej wykorzystywane jako wytyczne dla procesów transformacyjnych, które wykorzystują AI zamiast CGI. Źródło: https://arxiv.org/pdf/2205.02538.pdf

Tradycyjne parametryczne twarze są coraz częściej wykorzystywane jako wytyczne dla procesów transformacyjnych, które wykorzystują AI zamiast CGI. Źródło: https://arxiv.org/pdf/2205.02538.pdf

Autorzy stwierdzają:

‘Naszym celem jest wygenerowanie wysokiej jakości filmów wideo z przekształconymi twarzami poprzez edycję ogólnej struktury twarzy zgodnie z naturalnymi deformacjami twarzy w świecie rzeczywistym. Może to być wykorzystane w aplikacjach takich jak tworzenie estetycznie ukształtowanych twarzy w celu upiększania oraz wyolbrzymianie rysów twarzy na potrzeby efektów wizualnych.’

Chociaż 2D przekształcanie i odkształcanie twarzy jest dostępne dla konsumentów od czasu pojawienia się programu Photoshop (co doprowadziło do powstania dziwnych i często nieakceptowalnych subkultur związanych z odkształcaniem twarzy i dysmorfią ciała), jest to trudne do wykonania w filmie wideo bez użycia CGI.

Wymiary Marka Zuckerberga zostały rozszerzone i zwężone przy użyciu chińsko-brytyjskiej techniki.

Wymiary Marka Zuckerberga zostały rozszerzone i zwężone przy użyciu nowej chińsko-brytyjskiej techniki.

Przekształcanie ciała jest obecnie dziedziną intensywnego zainteresowania w sektorze wizji komputerowej, głównie ze względu na jego potencjał w modowym handlu elektronicznym, chociaż sprawienie, by ktoś wyglądał na wyższego lub miał inną budowę szkieletu, jest obecnie znacznym wyzwaniem.

Podobnie, zmiana kształtu głowy w filmie wideo w sposób spójny i przekonywujący była przedmiotem poprzednich badań przeprowadzonych przez autorów nowego artykułu, chociaż ta implementacja była dotknięta artefaktami i innymi ograniczeniami. Nowa metoda rozszerza możliwości tego poprzedniego badania z danych statycznych na dane wideo.

Nowy system został przeszkolony na komputerze stacjonarnym z procesorem AMD Ryzen 9 3950X i 32 GB pamięci, a do map ruchu wykorzystano algorytm optycznego przepływu z OpenCV, który został wygładzony za pomocą StructureFlow framework; sieć Facial Alignment Network (FAN) składnik do estymacji punktów charakterystycznych, który jest również wykorzystywany w popularnych pakietach deepfakes; oraz Ceres Solver do rozwiązywania problemów optymalizacji.

Ekstremalny przykład odkształcenia twarzy przy użyciu nowego systemu.

Ekstremalny przykład odkształcenia twarzy przy użyciu nowego systemu.

Artykuł nosi tytuł Parametryczne przekształcanie portretów w filmach wideo i pochodzi od trzech badaczy z Zhejiang University oraz jednego z University of Bath.

O twarzach

Pod nowym systemem, film wideo jest wyodrębniony w sekwencję obrazów, a następnie szacowane są położenie i orientacja każdej twarzy jako obiektu sztywnego. Następnie wspólnie oszacowanych jest kilka kolejnych klatek, aby utworzyć spójne parametry tożsamości na całej długości obrazów (tj. klatki filmu wideo).

Architektura systemu odkształcania twarzy.

Architektura systemu odkształcania twarzy.

Po tym, oceniany jest wyraz twarzy, co daje parametr przekształcenia, który jest implementowany za pomocą regresji liniowej. Następnie nowe podejście oparte na funkcji odległości ze znakiem (SDF) tworzy gęste mapowanie 2D rysów twarzy przed i po przekształceniu.

W końcu, przeprowadzana jest optymalizacja odkształcania uwzględniająca zawartość wynikowego wideo.

Parametryczne twarze

Proces ten wykorzystuje deformowalny model twarzy 3D (3DMM), który jest coraz bardziej popularnym dodatkiem do systemów syntezy twarzy opartych na neuronach i GAN, a także stosowanym w systemach wykrywania deepfakes.

Nie z tego artykułu, ale przykład 3D modelu twarzy (3DMM) – parametrycznego prototypu twarzy wykorzystywanego w nowym projekcie. Góra po lewej, aplikacja punktów charakterystycznych na twarzy 3DMM. Góra po prawej, wierzchołki siatki 3D izomapy. Dół po lewej pokazuje dopasowanie punktów charakterystycznych; dół-środek, izomapę wyodrębnionej tekstury twarzy; i dół po prawej, wynikowe dopasowanie i kształt.

Nie z nowego artykułu, ale przykład 3D modelu twarzy (3DMM) – parametrycznego prototypu twarzy wykorzystywanego w nowym projekcie. Góra po lewej, aplikacja punktów charakterystycznych na twarzy 3DMM. Góra po prawej, wierzchołki siatki 3D izomapy. Dół po lewej pokazuje dopasowanie punktów charakterystycznych; dół-środek, izomapę wyodrębnionej tekstury twarzy; i dół po prawej, wynikowe dopasowanie i kształt. Źródło: http://www.ee.surrey.ac.uk/CVSSP/Publications/papers/Huber-VISAPP-2016.pdf

Przepływ pracy nowego systemu musi uwzględniać przypadki zakrycia, takie jak sytuacja, w której osoba patrzy w bok. Jest to jeden z największych wyzwań w oprogramowaniu deepfake, ponieważ punkty charakterystyczne FAN mają niewielką możliwość uwzględnienia tych przypadków i tendencję do degradacji jakości, gdy twarz jest zakryta lub odwrócona.

Nowy system jest w stanie uniknąć tej pułapki, definiując energię konturu, która jest w stanie dopasować granicę między 3D twarzą (3DMM) a 2D twarzą (zdefiniowaną przez punkty charakterystyczne FAN).

Optymalizacja

Przydatnym zastosowaniem takiego systemu byłoby wdrożenie deformacji w czasie rzeczywistym, na przykład w filtrach wideokonferencyjnych. Obecna platforma nie umożliwia tego, a wymagane zasoby obliczeniowe uczyniłyby “na żywo” deformację znacznym wyzwaniem.

Zgodnie z artykułem, a zakładając cel 24 klatek na sekundę, operacje klatkowe w potoku reprezentują opóźnienie 16,344 sekund na sekundę filmu, z dodatkowymi jednorazowymi kosztami obliczeniowymi dla estymacji tożsamości i deformacji twarzy 3D (321 ms i 160 ms, odpowiednio).

Dlatego optymalizacja jest kluczem do postępu w kierunku obniżenia opóźnienia. Ponieważ wspólna optymalizacja we wszystkich klatkach dodałaby znaczne obciążenie procesowi, a optymalizacja stylu init (zakładając spójną tożsamość mówcy od pierwszej klatki) mogłaby prowadzić do anomalii, autorzy przyjęli schemat rzadki do obliczania współczynników klatek próbkowanych w praktycznych odstępach.

Wspólna optymalizacja jest następnie wykonywana na tym podzbiorze klatek, prowadząc do lżejszego procesu rekonstrukcji.

Odkształcanie twarzy

Technika odkształcania wykorzystywana w projekcie jest adaptacją pracy autorów z 2020 roku Deep Shapely Portraits (DSP).

Deep Shapely Portraits, przesłanie z 2020 roku do ACM Multimedia. Artykuł jest prowadzony przez badaczy z ZJU-Tencent Game and Intelligent Graphics Innovation Technology Joint Lab. Źródło: http://www.cad.zju.edu.cn/home/jin/mm2020/demo.mp4

Deep Shapely Portraits, przesłanie z 2020 roku do ACM Multimedia. Artykuł jest prowadzony przez badaczy z ZJU-Tencent Game and Intelligent Graphics Innovation Technology Joint Lab. Źródło: http://www.cad.zju.edu.cn/home/jin/mm2020/demo.mp4

Autorzy zauważają ‘Rozszerzamy tę metodę z przekształcania jednego obrazu monokularnego do przekształcania całej sekwencji obrazów.’

Testy

Artykuł stwierdza, że nie było porównywalnego materiału wcześniejszego, z którym można byłoby ocenić nową metodę. Dlatego autorzy porównali klatki swojego odkształconego wideo z wyjściem statycznym DSP.

Testowanie nowego systemu w porównaniu z obrazami statycznymi z Deep Shapely Portraits.

Testowanie nowego systemu w porównaniu z obrazami statycznymi z Deep Shapely Portraits.

Autorzy zauważają, że artefakty wynikają z metody DSP, ze względu na jej użycie mapowania rzadkiego – problem, który nowy system rozwiązuje za pomocą gęstego mapowania. Ponadto, wideo wyprodukowane przez DSP, jak twierdzi artykuł, demonstruje brak gładkości i spójności wizualnej.

Autorzy stwierdzają:

‘Wyniki pokazują, że nasze podejście może niezawodnie produkować spójne przekształcone filmy wideo z portretami, podczas gdy metoda oparta na obrazach może łatwo prowadzić do zauważalnych artefaktów migotania.’

Zobacz załączony film poniżej, aby zobaczyć więcej przykładów:

 

Pierwotnie opublikowane 9 maja 2022. Zmienione o 18:00 czasu wschodnioeuropejskiego (EET), zastąpione ‘pole’ przez ‘funkcję’ dla SDF.

Pisarz zajmujący się uczeniem maszynowym, specjalista w dziedzinie syntezy ludzkich obrazów. Były szef ds. treści badawczych w Metaphysic.ai, aż do jej rozwiązania w Brahma.ai firmy DNEG.
Strona internetowa: martinanderson.ai
Kontakt: martin@martinanderson.ai