Nowy system dla spójnych w czasie postaci z wykorzystaniem stabilnej dyfuzji

Nowa inicjatywa grupy Alibaba oferuje jeden z najlepszych sposobów, jakie widziałem, generowania pełnopostaciowych awatarów ludzkich z podstawowego modelu opartego na stabilnej dyfuzji.

Oznaczony jako MIMO (MIMicking z Object Interactions), system wykorzystuje szereg popularnych technologii i modułów, w tym modele ludzkich postaci oparte na CGI oraz AnimateDiff, aby umożliwić spójną w czasie wymianę postaci w filmach wideo – lub napędzać postać za pomocą szkieletowej pozycji zdefiniowanej przez użytkownika.

Oto widzimy postacie interpolowane z jednego źródłowego obrazu i napędzane przez wstępnie zdefiniowany ruch:

[Kliknij poniższy film, aby odtworzyć]

Z jednego źródłowego obrazu trzy różne postacie są napędzane przez sekwencję 3D (z lewej strony) przy użyciu systemu MIMO. Zobacz stronę projektu i dołączony film wideo (osadzony na końcu tego artykułu) dla więcej przykładów i lepszej rozdzielczości. Źródło: https://menyifang.github.io/projects/MIMO/index.html

Wygenerowane postacie, które również mogą być pobrane z klatek filmu wideo i w różnych innych sposobach, mogą być integrowane z prawdziwymi nagraniami.

MIMO oferuje nowy system, który generuje trzy dyskretne kodowania, po jednym dla postaci, sceny i zakrycia (tj. maskowania, gdy jakiś obiekt lub osoba przechodzi przed postacią, którą się przedstawia). Te kodowania są integrowane w czasie inferencji.

[Kliknij poniższy film, aby odtworzyć]

MIMO może zastąpić oryginalne postacie fotorealistycznymi lub stylizowanymi postaciami, które podążają za ruchem z docelowego filmu wideo. Zobacz stronę projektu i dołączony film wideo (osadzony na końcu tego artykułu) dla więcej przykładów i lepszej rozdzielczości.

System jest szkolony na modelu Stable Diffusion V1.5, przy użyciu niestandardowego zestawu danych opracowanego przez badaczy, składającego się w równych częściach z filmów wideo z prawdziwego świata i symulowanych.

Wielkim problemem filmów wideo opartych na dyfuzji jest stabilność czasowa, gdzie zawartość filmu wideo albo miga, albo “ewoluuje” w sposób niepożądany dla spójnej reprezentacji postaci.

MIMO zamiast tego skutecznie wykorzystuje jeden obraz jako mapę dla spójnego prowadzenia, który może być prowadzony i ograniczany przez interakcje SMPL modelu CGI.

Ponieważ odniesienie źródłowe jest spójne, a podstawowy model, nad którym system jest szkolony, został wzmocniony przykładami ruchu, możliwości systemu dla spójnej w czasie produkcji są znacznie powyżej ogólnego standardu dla awatarów opartych na dyfuzji.

[Kliknij poniższy film, aby odtworzyć]

Dalsze przykłady postaci MIMO napędzanych przez pozę. Zobacz stronę projektu i dołączony film wideo (osadzony na końcu tego artykułu) dla więcej przykładów i lepszej rozdzielczości.

Staje się coraz bardziej powszechne, że pojedyncze obrazy są używane jako źródło dla skutecznych reprezentacji neuronalnych, albo same, albo w sposób multimodalny, połączone z podpowiedziami tekstowymi. Na przykład popularny system LivePortrait może również generować bardzo prawdopodobne twarze z jednego obrazu twarzy.

Badacze uważają, że zasady użyte w systemie MIMO mogą być rozszerzone na inne i nowe typy systemów i ram generatywnych.

Nowy artykuł nosi tytuł MIMO: Kontrolowana synteza filmu wideo z modelem rozłożonym przestrzennie i pochodzi od czterech badaczy z Instytutu Komputingu Inteligentnego grupy Alibaba. Praca ma stronę projektu z filmami wideo i towarzyszący film wideo, który jest również osadzony na dole tego artykułu.

Metoda

MIMO osiąga automatyczne i nienadzorowane rozdzielenie trzech wymienionych składników przestrzennych w architekturze końcowej (tj. wszystkie podprocesy są zintegrowane z systemem, a użytkownik musi tylko dostarczyć materiał wejściowy).

Schemat konceptualny MIMO. Źródło: https://arxiv.org/pdf/2409.16160

Obiekty w filmach wideo źródłowych są tłumaczone z 2D na 3D, początkowo przy użyciu estymatora głębi monokularnej Depth Anything. Element ludzki w każdej klatce jest wyodrębniony przy użyciu metod dostosowanych z projektu Tune-A-Video.

Te cechy są następnie tłumaczone na wolumetryczne aspekty filmu wideo za pomocą architektury Segment Anything 2 od Facebook Research.

Warstwa sceny sama w sobie jest uzyskiwana przez usunięcie obiektów wykrytych w dwóch pozostałych warstwach, skutecznie zapewniając maskę w stylu rotoskopu automatycznie.

Dla ruchu zestaw wyodrębnionych kodów latentnych dla elementu ludzkiego jest kotwiczony do domyślnego modelu CGI opartego na SMPL, którego ruchy zapewniają kontekst dla wyrenderowanego ludzkiego treści.

2D mapa cech dla treści ludzkiej jest uzyskiwana za pomocą rastera różniczkowego pochodzącego z inicjatywy z 2020 roku od NVIDIA. Łącząc uzyskane dane 3D z SMPL z danymi 2D uzyskanymi za pomocą metody NVIDIA, kody latentne reprezentujące “neuronalną osobę” mają solidne odniesienie do ich ostatecznego kontekstu.

W tym momencie konieczne jest ustalenie odniesienia wspólnie potrzebnego w architekturach, które wykorzystują SMPL – pozycja kanoniczna. Jest to ogólnie podobne do “człowieka witruwiańskiego” Da Vinci, ponieważ reprezentuje szablon zerowej pozycji, który może zaakceptować treść, a następnie zostać zdeformowany, przywożąc (skutecznie) teksturę z nim.

Te deformacje, czyli “odchylenia od normy”, reprezentują ruch ludzki, podczas gdy model SMPL zachowuje kody latentne, które składają się na tożsamość ludzką, która została wyodrębniona, a tym samym reprezentuje wynikową awatar prawidłowo pod względem pozycji i tekstury.

Przykład pozycji kanonicznej w figurze SMPL. Źródło: https://www.researchgate.net/figure/Layout-of-23-joints-in-the-SMPL-models_fig2_351179264

W odniesieniu do problemu splątania (stopnia, w jakim szkolone dane mogą okazać się nieelastyczne, gdy rozciągasz je poza ich szkolone granice i skojarzenia), autorzy stwierdzają*:

‘Aby w pełni rozplątać wygląd z pozycjonowanymi klatkami wideo, idealnym rozwiązaniem jest nauczenie dynamicznej reprezentacji ludzkiej z monokularnego wideo i przekształcenie jej z pozycjonowanego obszaru w kanoniczny obszar.

‘Uwzględniając wydajność, zastosowaliśmy uproszczoną metodę, która bezpośrednio przekształca pozycjonowany obraz ludzki w kanoniczny wynik w standardowej pozycji A, przy użyciu wstępnie wytrenowanego modelu repozycjonowania ludzkiego. Zsyntetyzowany kanoniczny obraz wyglądu jest podawany do kodera ID w celu uzyskania kodu tożsamości.

‘Ten prosty projekt umożliwia pełne rozplątanie atrybutów tożsamości i ruchu. Podążając za Animate Anyone, kodery ID obejmują kodujący obraz CLIP i architekturę reference-net w celu osadzania globalnych i lokalnych cech [odpowiednio].’

Dla aspektów sceny i zakrycia wykorzystywany jest wspólny i stały Autoencoder (VAE – w tym przypadku pochodzący z publikacji z 2013 roku) w celu osadzania elementów sceny i zakrycia w przestrzeni latentnej. Niespójności są obsługiwane przez metodę wypełniania z projektu ProPainter z 2023 roku.

Gdy są tak zmontowane i poprawione, zarówno tło, jak i obiekty zakrywające w filmie wideo zapewnią maskę dla poruszającej się awatara ludzkiego.

Te rozłożone atrybuty są następnie wprowadzane do U-Net opartego na architekturze Stable Diffusion V1.5. Cały kod sceny jest łączony z rodzimym szumem latentnym systemu. Składnik ludzki jest integrowany za pomocą warstw uwagi własnej i warstw uwagi krzyżowej, odpowiednio.

Następnie odszumiony wynik jest wyjściem za pomocą dekodera VAE.

Dane i testy

Do szkolenia badacze stworzyli zestaw danych wideo ludzkich o nazwie HUD-7K, który składał się z 5 000 prawdziwych filmów wideo z postaciami i 2 000 syntetycznych animacji utworzonych przez system En3D. Prawdziwe filmy wideo nie wymagały adnotacji, ze względu na niesemantyczny charakter procedur ekstrakcji figur w architekturze MIMO. Dane syntetyczne były w pełni adnotowane.

Model został wytrenowany na ośmiu procesorach GPU NVIDIA A100 (chociaż artykuł nie określa, czy były to modele 40 GB czy 80 GB VRAM), przez 50 iteracji, przy użyciu 24 klatek wideo i rozmiaru partii czterech, aż do zbieżności.

Moduł ruchu systemu został wytrenowany na wagach AnimateDiff. Podczas procesu szkolenia wagi kodera/dekodera VAE oraz kodera obrazu CLIP były zamrożone (w przeciwieństwie do pełnego dostrojenia, które będzie miało znacznie szerszy wpływ na model podstawowy).

Chociaż MIMO nie został przetestowany wobec systemów analogicznych, badacze przetestowali go na trudnych sekwencjach ruchu poza dystrybucją, pochodzących z AMASS i Mixamo. Ruchy te obejmowały wspinaczkę, granie i taniec.

Przetestowali również system na filmach wideo z prawdziwego świata. W obu przypadkach artykuł podaje “wysoką wytrzymałość” na te niewidoczne sekwencje ruchu 3D z różnych punktów widzenia.

Chociaż artykuł oferuje wiele wyników statycznych obrazów, demonstrujących skuteczność systemu, prawdziwa wydajność MIMO jest najlepiej oceniana za pomocą obszernych wyników wideo dostarczonych na stronie projektu i w filmie wideo YouTube osadzonym poniżej (z którego filmy wideo na początku tego artykułu zostały pochodzone).

Autorzy kończą*:

‘Wyniki eksperymentalne [pokazują], że nasza metoda umożliwia nie tylko elastyczną kontrolę postaci, ruchu i sceny, ale także zaawansowaną skalowalność do dowolnych postaci, ogólność do nowych ruchów 3D i zastosowanie w interaktywnych scenach.

‘Uważamy również, że nasze rozwiązanie, które uwzględnia wrodzoną naturę 3D i automatycznie koduje 2D wideo w hierarchiczne składniki przestrzenne, mogłoby zainspirować przyszłe badania nad syntezą wideo 3D.

‘Ponadto nasza ramka jest nie tylko dobrze nadająca się do generowania filmów wideo z postaciami, ale może być również potencjalnie dostosowana do innych zadań syntezy wideo sterowalnej.’

Wnioski

To odświeżające widzieć system awatarów oparty na stabilnej dyfuzji, który wydaje się zdolny do takiej stabilności czasowej – nie tylko dlatego, że awatary Gaussa zdają się zyskiwać przewagę w tym konkretnym sektorze badań.

Stylizowane awatary reprezentowane w wynikach są skuteczne, a poziom fotorealistyczności, jaki MIMO może wyprodukować, nie jest obecnie równy temu, co jest w stanie osiągnąć Gaussian Splatting, ale różne zalety tworzenia spójnych w czasie ludzi w sieci dyfuzji opartej na semantyce (LDM) są znaczne.

* Moja konwersja cytowań wstawionych przez autorów do hiperlinków, a gdzie niezbędne, zewnętrzne hiperlinki wyjaśniające.

Pierwotnie opublikowane w środę, 25 września 2024