Mostowanie ‘przespace’ w generowaniu filmów

Nowe badania z Chin oferują ulepszoną metodę interpolacji przerwy między dwiema ramkami filmu oddalonymi w czasie – jednym z najważniejszych wyzwań w obecnej walce o realizm w generowaniu filmów AI, a także w kompresji filmu.

W poniższym filmie widzimy w lewej kolumnie ramkę „początkową” (powyżej po lewej) i „końcową” (poniżej po lewej). Zadanie, które muszą wykonać systemy konkursowe, polega na odgadnięciu, jak podmiot na dwóch zdjęciach przesunie się z ramki A do ramki B. W animacji proces ten nazywa się tweeningiem, i sięga do ery filmu niemego.

Kliknij, aby odtworzyć. W pierwszej, lewej kolumnie widzimy proponowane ramki początkowe i końcowe. W środkowej kolumnie i na górze trzeciej (najbardziej na prawo) kolumny widzimy trzy poprzednie podejścia do tego wyzwania. Na dole po prawej widzimy, że nowa metoda daje o wiele bardziej przekonywujący wynik, dostarczając ramki pośrednie. Źródło: https://fcvg-inbetween.github.io/

Nowa metoda zaproponowana przez chińskich badaczy nazywa się Generowanie filmu za pomocą warunków ramkowych (FCVG), a jej wyniki można zobaczyć w dolnej części prawej strony filmu powyżej, dostarczając gładkie i logiczne przejście z jednej nieruchomej ramki do następnej.

W przeciwieństwie do tego, możemy zobaczyć, że jeden z najbardziej cenionych frameworków do interpolacji filmu, projekt Frame Interpolation for Large Motion (FILM) firmy Google, miewa trudności, jak wiele innych podobnych prób, z interpretacją dużych i zdecydowanych ruchów.

Dwa pozostałe rywalizujące frameworki uwidocznione w filmie, Time Reversal Fusion (TRF) i Generative Inbetweening (GI), dają mniej skrzywioną interpretację, ale stworzyły frenetyczne i nawet komiczne ruchy taneczne, z których żaden nie szanuje niejawnej logiki dwóch dostarczonych ramek.

Kliknij, aby odtworzyć. Dwa niedoskonałe rozwiązania problemu tweeningu. Po lewej FILM traktuje dwie ramki jako proste cele morfologiczne. Po prawej TRF wie, że jakiś taniec musi być wstawiony, ale wymyśla niewykonalne rozwiązanie, które demonstruje anatomiczne anomalie.

Powyżej po lewej stronie możemy przyjrzeć się, jak FILM podchodzi do tego problemu. Chociaż FILM został zaprojektowany, aby móc obsłużyć duże ruchy, w przeciwieństwie do poprzednich podejść opartych na przepływie optycznym, nadal brakuje mu semantycznego zrozumienia tego, co powinno się dziać między dwiema dostarczonymi ramkami, i po prostu wykonuje morfologię w stylu lat 80. i 90. między ramkami. FILM nie ma semantycznej architektury, takiej jak model dyfuzji ukrytej, jak Stable Diffusion, aby pomóc w tworzeniu odpowiedniego mostu między ramkami.

Na prawo, w filmie powyżej, widzimy próbę TRF, gdzie Stable Video Diffusion (SVD) jest używany do bardziej inteligentnego „odgadnięcia”, jak ruch taneczny odpowiedni dla dwóch dostarczonych ramek użytkownika może być – ale zrobił śmiałe i niewiarygodne przybliżenie.

FCVG, widoczny poniżej, robi bardziej wiarygodną robotę w odgadnięciu ruchu i zawartości między dwiema ramkami:

Kliknij, aby odtworzyć. FCVG poprawia poprzednie podejścia, ale jest daleko od doskonałości.

Jeszcze są artefakty, takie jak niechciana morfologia rąk i tożsamości twarzy, ale ta wersja jest powierzchownie najbardziej przekonywująca – i każda poprawa stanu sztuki musi być rozważana wobec ogromnej trudności, jaką zadaje to zadanie; i wielkiego przeszkody, jakie stanowi to wyzwanie dla przyszłości filmu generowanego przez AI.

Dlaczego interpolacja ma znaczenie

Jak już wskazaliśmy, zdolność do wiarygodnego wypełniania zawartości filmu między dwiema dostarczonymi ramkami jest jednym z najlepszych sposobów utrzymania spójności czasowej w filmie generowanym, ponieważ dwie prawdziwe i następujące po sobie zdjęcia tej samej osoby będą naturalnie zawierać spójne elementy, takie jak ubranie, włosy i środowisko.

Kiedy używana jest tylko jedna ramka początkowa, ograniczony zakres uwagi systemu generowanego, który często bierze pod uwagę tylko pobliskie ramki, będzie tendencją do stopniowego „ewoluowania” cech przedmiotu, aż (na przykład) mężczyzna staje się innym mężczyzną (lub kobietą), lub okazuje się, że ma „morfologiczne” ubranie – wśród wielu innych rozpraszających elementów, które są powszechnie generowane w systemach T2V open source i w większości płatnych rozwiązań, takich jak Kling:

Kliknij, aby odtworzyć. Podanie nowej pracy dwóch (rzeczywistych) ramek źródłowych do Klinga z podpowiedzią „Mężczyzna tańczący na dachu” nie dało idealnego rozwiązania. Chociaż Kling 1.6 był dostępny w momencie tworzenia, wersja 1.5 jest najnowszą, która obsługuje ramki początkowe i końcowe użytkownika. Źródło: https://klingai.com/

Czy problem jest już rozwiązany?

W przeciwieństwie do tego, niektóre komercyjne, zamknięte i własnościowe systemy zdają się radzić sobie lepiej z tym problemem – szczególnie RunwayML, który był w stanie stworzyć bardzo przekonywujące wypełnianie dwóch ramek źródłowych:

Kliknij, aby odtworzyć. Interpolacja oparta na dyfuzji RunwayML jest bardzo skuteczna. Źródło: https://app.runwayml.com/

Powtarzając ćwiczenie, RunwayML wyprodukował drugi, równie wiarygodny wynik:

Kliknij, aby odtworzyć. Drugi przebieg sekwencji RunwayML.

Jednym z problemów jest to, że nie możemy niczego nauczyć się o wyzwaniach zaangażowanych, ani nie możemy poprawić stanu sztuki w systemach otwartych, z powodu systemu własnościowego. Nie możemy wiedzieć, czy lepsze renderowanie zostało osiągnięte dzięki unikalnym podejściom architektonicznym, danym (lub metodom kuracji danych, takim jak filtrowanie i adnotacja), czy jakiejkolwiek kombinacji tych i innych możliwych innowacji badawczych.

Po drugie, mniejsze firmy, takie jak studia efektów wizualnych, nie mogą w dłuższej perspektywie polegać na usługach API B2B, które mogą potencjalnie podważyć ich planowanie logistyczne z powodu jednego podniesienia ceny – szczególnie jeśli jedna usługa miałaby zdominować rynek i byłaby bardziej skłonna do zwiększania cen.

Gdy prawa są błędne

O wiele ważniejsze jest to, że jeśli dobrze działający model komercyjny jest szkolony na niezlicencjonowanych danych, jak się wydaje w przypadku RunwayML, każda firma korzystająca z takich usług mogłaby ryzykować narażenie się na odpowiedzialność prawną.

Ponieważ prawa (i niektóre procesy) trwają dłużej niż prezydenci, a ponieważ kluczowy rynek amerykański jest jednym z najbardziej procesowych na świecie, obecny trend w kierunku większej nadzoru ustawowego nad danymi szkoleniowymi AI wydaje się prawdopodobny do przetrwania „lekkiego” podejścia następnego okresu prezydenckiego Donalda Trumpa.

Dlatego sektor badań wizji komputerowej będzie musiał rozwiązać ten problem w sposób trudny, aby jakiekolwiek pojawiające się rozwiązania mogły przetrwać w dłuższej perspektywie.

FCVG

Nowa metoda z Chin jest przedstawiona w pracy zatytułowanej Generowanie międzyramkowe za pomocą warunków ramkowych, i pochodzi od pięciu badaczy z Harbin Institute of Technology i Tianjin University.

FCVG rozwiązuje problem niejasności w zadaniu interpolacji, wykorzystując warunki ramkowe, wraz z frameworkiem, który wyznacza granice w dostarczonych ramkach początkowych i końcowych, co pomaga procesowi utrzymać bardziej spójny ślad przejść między poszczególnymi ramkami, a także ogólny efekt.

Warunki ramkowe obejmują rozbicie tworzenia ramek pośrednich na podzadania, zamiast próby wypełnienia bardzo dużej przestrzeni semantycznej między dwiema ramkami (a im dłuższy żądany wyjściowy film, tym większa jest ta odległość semantyczna).

Na poniższym grafice, z pracy, autorzy porównują wspomnianą metodę czasu odwrotnego (TRF) z ich własną. TRF tworzy dwa ścieżki generowania filmu przy użyciu pre-trenowanego modelu obrazu do filmu (SVD). Jedna jest ścieżką „do przodu” warunkowaną przez ramkę początkową, a druga jest ścieżką „do tyłu” warunkowaną przez ramkę końcową. Obie ścieżki zaczynają się od tego samego losowego szumu. Jest to ilustrowane po lewej stronie poniższego obrazu:

Porównanie poprzednich podejść do FCVG. Źródło: https://arxiv.org/pdf/2412.11755

Autorzy twierdzą, że FCVG jest ulepszeniem w stosunku do metod czasu odwrotnego, ponieważ redukuje niejasność w generowaniu filmu, dostarczając każdej ramce wyraźny warunek, co prowadzi do bardziej stabilnego i spójnego wyjścia.

Metody czasu odwrotnego, takie jak TRF, twierdzą praca, mogą prowadzić do niejasności, ponieważ ścieżki generowania do przodu i do tyłu mogą się rozbiec, powodując niezgodności lub niespójności. FCVG rozwiązuje to, wykorzystując warunki ramkowe pochodzące z dopasowanych linii między ramkami początkowymi i końcowymi (dolna prawa strona powyższego obrazu), które prowadzą proces generowania.

Kliknij, aby odtworzyć. Kolejne porównanie ze strony projektu FCVG.

Metody czasu odwrotnego umożliwiają użycie pre-trenowanych modeli generowania filmu do interpolacji, ale mają pewne wady. Ruch generowany przez modele I2V jest zróżnicowany raczej niż stabilny. Chociaż jest to przydatne dla zadań czysto obrazu do filmu (I2V), tworzy niejasność i prowadzi do niezgodnych lub niespójnych ścieżek filmowych.

Metody czasu odwrotnego wymagają również uciążliwego dostosowywania hiperparametrów, takich jak częstotliwość klatek dla każdego wygenerowanego filmu. Dodatkowo, niektóre z technik stosowanych w metodach czasu odwrotnego w celu zmniejszenia niejasności znacznie spowalniają inferencję, zwiększając czas przetwarzania.

Metoda

Autorzy zauważają, że jeśli pierwszy z tych problemów (różnorodność vs. stabilność) może być rozwiązany, wszystkie inne następujące problemy prawdopodobnie również się rozwiążą. To zostało już próbowane w poprzednich ofertach, takich jak wspomniane GI, oraz ViBiDSampler.

Praca stwierdza:

‘Jednakże [tam] wciąż istnieje znaczna losowość między tymi ścieżkami, co ogranicza skuteczność tych metod w radzeniu sobie z sytuacjami, w których występują duże ruchy, takie jak szybkie zmiany pozycji ludzi. Niejasność w ścieżce interpolacji wynika głównie z niewystarczających warunków dla ramek pośrednich, ponieważ dwa wejściowe obrazy dostarczają warunki tylko dla ramek początkowych i końcowych.

‘Dlatego [my] proponujemy dostarczenie wyraźnego warunku dla każdej ramki, co znacznie łagodzi niejasność ścieżki interpolacji.’

Możemy zobaczyć podstawowe pojęcia FCVG w działaniu na poniższym schemacie. FCVG generuje sekwencję klatek filmu, które zaczynają się i kończą się spójnie z dwiema ramkami wejściowymi. Zapewnia to, że ramki są stabilne w czasie, dostarczając warunki ramkowe dla procesu generowania filmu.

Schemat dla inferencji FCVG.

W tym przemyśleniu podejścia czasu odwrotnego, metoda łączy informacje z obu kierunków, łącząc je, aby utworzyć gładkie przejścia. Przez proces iteracyjny, model stopniowo udoskonala szumy wejściowe, aż do momentu, gdy zostanie wygenerowana ostateczna seria ramek pośrednich.

Następnym etapem jest użycie pre-trenowanego modelu GlueStick do dopasowywania linii, który tworzy korespondencje między dwiema obliczonymi ramkami początkowymi i końcowymi, z opcjonalnym użyciem pozycji szkieletowych, aby prowadzić model za pomocą modelu Stable Video Diffusion.

GlueStick wyznacza linie z interpretowanych kształtów. Te linie zapewniają kotwice dopasowania między ramkami początkowymi i końcowymi w FCVG*.

Autorzy zauważają:

‘Empirycznie stwierdziliśmy, że interpolacja liniowa jest wystarczająca w większości przypadków, aby zagwarantować stabilność czasową w filmach pośrednich, a nasza metoda pozwala użytkownikom określić nieliniowe ścieżki interpolacji do generowania pożądanych [filmów].’

Przepływ pracy dla ustanowienia warunków ramkowych do przodu i do tyłu. Widzimy dopasowane kolory, które utrzymują zawartość spójną, gdy animacja rozwija się.

Aby wstrzyknąć uzyskane warunki ramkowe do SVD, FCVG wykorzystuje metodę opracowaną dla inicjatywy ControlNeXt z 2024 roku. W tym procesie warunki sterujące są początkowo zakodowane przez wiele bloków ResNet, zanim nastąpi normalizacja krzyżowa między gałęziami warunków i SVD w przepływie pracy.

Mały zestaw filmów jest używany do dostosowywania modelu SVD, przy czym większość parametrów modelu zamrożona.

‘[Wspomniane ograniczenia] zostały w dużej mierze rozwiązane w FCVG: (i) poprzez wyraźne określenie warunku dla każdej ramki, niejasność między ścieżkami do przodu i do tyłu jest znacznie złagodzona; (ii) wprowadzono tylko jeden dostosowywalny [parametr], przy zachowaniu hiperparametrów w SVD jako domyślnych, co daje korzystne wyniki w większości scenariuszy; (iii) prosta fuzja średnia, bez ponownego wstrzyknięcia szumu, jest wystarczająca w FCVG, a kroki inferencyjne mogą być znacznie zmniejszone o 50% w porównaniu z [GI].’

Schemat ogólny dla wstrzyknięcia warunków ramkowych do Stable Video Diffusion dla FCVG.

Dane i testy

Aby przetestować system, badacze opracowali zestaw danych zawierający różnorodne sceny, w tym środowiska na zewnątrz, pozycje ludzi i wnętrza, w tym ruchy, takie jak ruch kamery, akcje taneczne i wyrażenia twarzy, wśród innych. 524 klipy wybrane zostały z zestawów danych DAVIS i RealEstate10k. Ten zestaw został uzupełniony o filmy o wysokiej częstotliwości klatek uzyskane z Pexels. Zestaw został podzielony w proporcji 4:1 między dostosowywaniem a testowaniem.

Użyte metryki to Nauka percepcyjnych metryk podobieństwa (LPIPS); Fréchet Inception Distance (FID); Fréchet Video Distance (FVD); VBench; oraz Fréchet Video Motion Distance.

Autorzy zauważają, że żadna z tych metryk nie jest dobrze przystosowana do oszacowania stabilności czasowej i odnoszą nas do filmów na stronie projektu FCVG.

Ponadto, do dopasowywania linii użyto DWPose do szacowania pozycji ludzi.

Dostosowywanie odbywało się przez 70 000 iteracji pod kontrolą optymalizatora AdamW na procesorze NVIDIA A800 GPU, przy szybkości uczenia 1×10^-6, z ramkami obciętymi do fragmentów 512×320.

Rywalizujące poprzednie frameworki testowe to FILM, GI, TRF i DynamiCrafter.

Dla oceny ilościowej, przerwy klatek rozważane wahały się od 12 do 23.

Wyniki ilościowe w porównaniu z poprzednimi frameworkami.

W odniesieniu do tych wyników, praca stwierdza:

‘[Nasza] metoda osiąga najlepszą wydajność wśród czterech podejść generatywnych we wszystkich metrykach. Co do porównania LPIPS z FILM, nasz FCVG jest nieznacznie gorszy, ale wykazuje lepszą wydajność w innych metrykach. Biorąc pod uwagę brak informacji czasowych w LPIPS, może być bardziej odpowiednie, aby nadać pierwszeństwo innym metrykom i obserwacjom wizualnym.

‘Ponadto, porównując wyniki pod różnymi przerwami klatek, FILM może działać dobrze, gdy przerwa jest mała, podczas gdy metody generatywne są bardziej odpowiednie dla dużych przerw. Wśród tych metod generatywnych nasz FCVG wykazuje znaczną wyższość dzięki swoim wyraźnym warunkom ramkowym.’

Dla testów jakościowych, autorzy wyprodukowali filmy widoczne na stronie projektu (niektóre osadzone w tym artykule), oraz statyczne i animowane^† wyniki w PDF pracy,

Przykładowe wyniki statyczne z pracy. Proszę odnieść się do oryginalnego PDF dla lepszej rozdzielczości i być świadomym, że PDF zawiera animacje, które mogą być odtwarzane w aplikacjach, które obsługują tę funkcjonalność.

Autorzy komentują:

‘Podczas gdy FILM produkuje gładkie wyniki interpolacji dla małych scenariuszy ruchu, ma trudności z dużymi ruchami z powodu wrodzonych ograniczeń przepływu optycznego, co skutkuje zauważalnymi artefaktami, takimi jak ruch tła i ruch rąk (w pierwszym przypadku).

‘Modele generatywne, takie jak TRF i GI, cierpią z powodu niejasności w ścieżkach fuzji, co prowadzi do niestabilnych ruchów pośrednich, szczególnie widocznych w złożonych scenach z ruchem ludzi i obiektów.

‘W przeciwieństwie do tego, nasza metoda konsekwentnie dostarcza satysfakcjonujące wyniki w różnych scenariuszach.’ Nawet gdy występuje znaczne zasłonięcie (w drugim przypadku i szóstym przypadku), nasza metoda może nadal uchwycić rozsądny ruch. Ponadto, nasze podejście wykazuje wytrzymałość wobec złożonych akcji ludzi (w ostatnim przypadku).’

Autorzy również stwierdzili, że FCVG generalizuje się niezwykle dobrze do filmów w stylu animacji:

Kliknij, aby odtworzyć. FCVG produkuje bardzo przekonywujące wyniki dla animacji w stylu kreskówki.

Wnioski

FCVG reprezentuje co najmniej przyrostowy postęp w stanie sztuki w interpolacji klatek w kontekście nie-własnościowym. Autorzy udostępnili kod pracy na GitHubie, chociaż powiązany zestaw danych nie został wydany w momencie pisania.

Jeśli rozwiązania własnościowe przewyższają wysiłki otwartoźródłowe dzięki użyciu pobranych z sieci, niezlicencjonowanych danych, wydaje się, że nie ma przyszłości w takim podejściu, przynajmniej do użytku komercyjnego; ryzyka są po prostu zbyt duże.

Dlatego, nawet jeśli scena otwartoźródłowa pozostaje w tyle za imponującą prezentacją obecnych liderów rynkowych, jest to „żółw”, który może wyprzedzić „zająca” na mecie.

* Źródło: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Wymaga czytnika Acrobat Reader, Okulara lub innego czytnika PDF, który może odtwarzać osadzone animacje PDF.

Pierwotnie opublikowane w piątek, 20 grudnia 2024