Generowanie lepszych filmów AI zaledwie z dwóch obrazów

Interpolacja klatek wideo (VFI) to otwarty problem w badaniach generatywnych wideo. Wyzwaniem jest wygenerowanie klatek pośrednich między dwiema istniejącymi klatkami w sekwencji wideo.

Kliknij, aby odtworzyć. Ramka FILM, współpraca między Google a Uniwersytetem Waszyngtonu, zaproponowała skuteczną metodę interpolacji klatek, która pozostaje popularna wśród hobbystów i profesjonalistów. Po lewej stronie widzimy dwie odrębne i wyraźne klatki nałożone; w środku ‘końcową klatkę’; a po prawej, ostateczną syntezę między klatkami. Źródła: https://film-net.github.io/ i https://arxiv.org/pdf/2202.04901

Szeroko rzecz biorąc, ta technika sięga ponad stulecie i była stosowana w tradycyjnej animacji od tego czasu. W tym kontekście, główne “kluczowe klatki” były generowane przez głównego artystę animacji, podczas gdy praca “tweenowania” pośrednich klatek była wykonywana przez innych pracowników, jako zadanie mniej ważne.

Przed pojawieniem się generatywnych sieci neuronowych, interpolacja klatek była stosowana w projektach takich jak Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN) i Frame Interpolation for Large Motion (FILM – patrz powyżej) w celu zwiększenia częstotliwości klatek istniejącego wideo lub umożliwienia sztucznie wygenerowanych efektów slow-motion. Jest to osiągane przez rozdzielenie istniejących klatek klipu i wygenerowanie oszacowanych pośrednich klatek.

VFI jest również stosowana w rozwoju lepszych kodeków wideo, a bardziej ogólnie, w systemach opartych na optycznym przepływie (w tym generatywnych systemach), które wykorzystują wiedzę o nadchodzących klatkach, aby zoptymalizować i ukształtować treść między nimi.

Klatki końcowe w generatywnych systemach wideo

Nowoczesne generatywne systemy, takie jak Luma i Kling, pozwalają użytkownikom określić klatkę początkową i końcową, i mogą wykonać to zadanie, analizując punkty kluczowe w dwóch obrazach i szacując trajektorię między dwoma obrazami.

Jak widać w poniższych przykładach, dostarczenie “zamkniętej” klatki kluczowej lepiej pozwala generatywnemu systemowi wideo (w tym przypadku Kling) utrzymać aspekty, takie jak tożsamość, nawet jeśli wyniki nie są idealne (szczególnie przy dużych ruchach).

Kliknij, aby odtworzyć. Kling jest jednym z rosnącej liczby generatorów wideo, w tym Runway i Luma, które pozwalają użytkownikowi określić klatkę końcową. W większości przypadków minimalny ruch prowadzi do najbardziej realistycznych i najmniej wadliwych wyników. Źródło: https://www.youtube.com/watch?v=8oylqODAaH8

W powyższym przykładzie, tożsamość osoby jest spójna między dwiema klatkami kluczowymi dostarczonymi przez użytkownika, co prowadzi do względnie spójnej generacji wideo.

Gdzie tylko klatka początkowa jest dostarczona, okno uwagi generatywnego systemu nie jest zwykle wystarczająco duże, aby “zapamiętać”, jak wyglądała osoba na początku wideo. Raczej, tożsamość ma tendencję do przesunięcia się nieco z każdą klatką, aż do momentu, gdy wszelkie podobieństwo zostanie utracone. W poniższym przykładzie, obraz początkowy został przesłany, a ruch osoby został skierowany przez tekstowy komunikat:

Kliknij, aby odtworzyć. Z bez klatki końcowej, Kling ma tylko małą grupę poprzednich klatek, aby skierować generowanie następnych klatek. W przypadkach, w których wymagany jest znaczący ruch, ta atrofia tożsamości staje się poważna.

Widzimy, że podobieństwo aktora nie jest odporne na polecenia, ponieważ generatywny system nie wie, jak wyglądałby, gdyby uśmiechał się, a on nie uśmiecha się w obrazie nasion (jedynej dostępnej referencji).

Większość wirusowych generatywnych klipów jest starannie wyselekcjonowana, aby zminimalizować te słabości. Jednak postęp w temporycznie spójnych generatywnych systemach wideo może zależeć od nowych rozwojów w sektorze badawczym w odniesieniu do interpolacji klatek, ponieważ jedyną możliwą alternatywą jest zależność od tradycyjnego CGI jako “przewodzącego” wideo (i nawet w tym przypadku, spójność tekstury i oświetlenia są obecnie trudne do osiągnięcia).

Ponadto, powolna, iteracyjna natura pochodzenia nowej klatki z małej grupy ostatnich klatek sprawia, że bardzo trudno osiągnąć duże i śmiałe ruchy. Jest to spowodowane tym, że obiekt, który porusza się szybko przez klatkę, może przemieszczać się z jednej strony na drugą w ciągu jednej klatki, w przeciwieństwie do bardziej stopniowych ruchów, na których system został prawdopodobnie wytrenowany.

Podobnie, znacząca i śmiała zmiana pozy może prowadzić nie tylko do przesunięcia tożsamości, ale także do żywych niezgodności:

Kliknij, aby odtworzyć. W tym przykładzie z Luma, żądany ruch nie wydaje się być dobrze reprezentowany w danych treningowych.

Framer

To prowadzi nas do interesującego niedawnego artykułu z Chin, który twierdzi, że osiągnął nowy stan sztuki w autentycznie wyglądającej interpolacji klatek – i który jest pierwszym, który oferuje interakcję opartą na przeciąganiu.

Framer pozwala użytkownikowi kierować ruchem za pomocą intuicyjnego interfejsu opartego na przeciąganiu, chociaż ma również tryb “automatyczny”. Źródło: https://www.youtube.com/watch?v=4MPGKgn7jRc

Aplikacje oparte na przeciąganiu stały się częstymi w literaturze ostatnio, ponieważ sektor badawczy stara się dostarczyć instrumenty dla generatywnych systemów, które nie opierają się na dość surowych wynikach uzyskanych za pomocą komunikatów tekstowych.

Nowy system, zatytułowany Framer, może nie tylko podążać za przeciągnięciem użytkownika, ale także ma bardziej konwencjonalny tryb “autopilot”. Poza konwencjonalnym tweenowaniem, system jest w stanie produkować symulacje time-lapse, a także morfing i nowe widoki wejściowego obrazu.

Klatki pośrednie wygenerowane dla symulacji time-lapse w Framer. Źródło: https://arxiv.org/pdf/2410.18978

W odniesieniu do produkcji nowych widoków, Framer nieco przenika w obszar Neural Radiance Fields (NeRF) – chociaż wymaga tylko dwóch obrazów, podczas gdy NeRF zwykle wymaga sześciu lub więcej widoków wejściowych.

W testach, Framer, który opiera się na modelu generatywnym wideo dyfuzji stabilnej Stability.ai, był w stanie przewyższyć przybliżone podejścia rywali w badaniu użytkowników.

W momencie pisania, kod ma być wydany na GitHub. Przykłady wideo (z których powyższe obrazy są pochodne) są dostępne na stronie projektu, a badacze również wydali film na YouTube.

Nowy artykuł nosi tytuł Framer: Interaktywna interpolacja klatek i pochodzi od dziewięciu badaczy z Zhejiang University i Alibaba-backed Ant Group.

Metoda

Framer wykorzystuje interpolację opartą na punktach kluczowych w obu trybach, w którym obraz wejściowy jest oceniany pod kątem podstawowej topologii, a “ruchome” punkty są przypisywane tam, gdzie jest to konieczne. W efekcie, te punkty są równoważne z cechami twarzy w systemach opartych na identyfikacji, ale ogólnie się do każdej powierzchni.

Badacze dostosowali Stable Video Diffusion (SVD) na zestawie danych OpenVid-1M, dodając dodatkową możliwość syntezy ostatniej klatki. To ułatwia mechanizm kontroli trajektorii (góra prawo na poniższym schemacie), który może ocenić ścieżkę w kierunku klatki końcowej (lub z powrotem).

Schemat dla Framer.

W odniesieniu do dodania warunków ostatniej klatki, autorzy stwierdzają:

‘Aby zachować wizualną przydatność wstępnie wytrenowanego SVD, postępujemy zgodnie z paradygmatem warunkowym SVD i wstrzykujemy warunki klatki końcowej w przestrzeni latentnej i semantycznej, odpowiednio.

‘Konkretnie, łączymy funkcję latentną VAE pierwszej klatki z hałaśliwą funkcją latentną pierwszej klatki, tak jak w SVD. Dodatkowo, łączymy funkcję latentną ostatniej klatki, zn, z hałaśliwą funkcją latentną ostatniej klatki, biorąc pod uwagę, że warunki i odpowiadające im hałaśliwe funkcje latentne są przestrzennie wyrównane.

‘Ponadto, wyodrębniamy osadzenie obrazu CLIP pierwszej i ostatniej klatki oddzielnie i łączymy je dla wstrzyknięcia funkcji uwagi krzyżowej.’

Dla funkcjonalności opartej na przeciąganiu, moduł trajektorii wykorzystuje framework CoTracker prowadzony przez Meta Ai, który ocenia wiele możliwych ścieżek do przodu. Te są zredukowane do jednej z 1-10 możliwych trajektorii.

Pozyskane współrzędne punktów są następnie przekształcane za pomocą metody zainspirowanej architekturami DragNUWA i DragAnything. To pozwala uzyskać heatmap Gaussa, który wyodrębnia obszary docelowe dla ruchu.

Następnie dane są podawane do mechanizmów warunkowych ControlNet, systemu zgodności pomocniczej, pierwotnie zaprojektowanego dla Stable Diffusion, a od tego czasu dostosowanego do innych architektur.

Dla trybu autopilot, dopasowanie funkcji jest początkowo realizowane za pomocą SIFT, który interpretuje trajektorię, która może być następnie przekazana do mechanizmu aktualizacji zainspirowanego DragGAN i DragDiffusion.

Schemat dla oszacowania trajektorii punktów w Framer.

Dane i testy

Do dostosowania Framer, warstwy uwagi przestrzennej i bloki resztowe zostały zamrożone, a tylko warstwy uwagi czasowej i bloki resztowe zostały dotknięte.

Model został wytrenowany przez 10 000 iteracji przy użyciu AdamW, przy szybkości uczenia się 1e-4 i rozmiarze partii 16. Trening odbywał się na 16 procesorach NVIDIA A100 GPU.

Ponieważ poprzednie podejścia do problemu nie oferują edycji opartej na przeciąganiu, badacze zdecydowali się porównać tryb autopilot Framer z standardową funkcjonalnością starszych podejść.

Ramowe testowe dla kategorii bieżących systemów generatywnych opartych na dyfuzji były LDMVFI; Dynamic Crafter; i SVDKFI. Dla tradycyjnych systemów wideo, ramy porównawcze były AMT; RIFE; FLAVR; i wspomniany wcześniej FILM.

Ponadto, testy zostały przeprowadzone na zestawach danych DAVIS i UCF101.

Jakościowe testy mogą być oceniane tylko przez obiektywne zdolności zespołu badawczego i przez studia użytkowników. Jednak artykuł zauważa, że tradycyjne ilościowe metryki są w dużej mierze niewłaściwe do proponowanego podejścia:

‘[Rekonstrukcyjne] metryki, takie jak PSNR, SSIM i LPIPS, nie są w stanie dokładnie uchwycić jakości interpolowanych klatek, ponieważ karzą inne prawdopodobne wyniki interpolacji, które nie są wyrównane z oryginalnym wideo.

‘Podczas gdy metryki generowania, takie jak FID, oferują pewną poprawę, nadal nie są wystarczające, ponieważ nie uwzględniają one spójności czasowej i oceniają klatki w izolacji.’

Mimo to, badacze przeprowadzili jakościowe testy z kilkoma popularnymi metrykami:

Wyniki ilościowe dla Framer w porównaniu z rywalizującymi systemami.

Autorzy zauważają, że pomimo niekorzystnych warunków, Framer nadal osiąga najlepszy wynik FVD wśród testowanych metod.

Poniżej znajdują się wyniki próbki z artykułu dla jakościowego porównania:

Jakościowe porównanie z poprzednimi podejściami. Proszę odnosić się do artykułu dla lepszej rozdzielczości, a także wyników wideo na https://www.youtube.com/watch?v=4MPGKgn7jRc.

Autorzy komentują:

‘[Nasza] metoda produkuje znacznie jaśniejsze tekstury i naturalny ruch w porównaniu z istniejącymi technikami interpolacji. Wykonuje się szczególnie dobrze w scenariuszach z znacznymi różnicami między klatkami wejściowymi, gdzie tradycyjne metody często zawodzą w interpolacji treści.

‘W porównaniu z innymi metodami opartymi na dyfuzji, takimi jak LDMVFI i SVDKFI, Framer wykazuje lepszą adaptacyjność do trudnych przypadków i oferuje lepszą kontrolę.’

Dla studium użytkowników, badacze zebrali 20 uczestników, którzy ocenili 100 losowo uporządkowanych wyników wideo z różnych testowanych metod. W ten sposób uzyskano 1000 ocen, oceniających najbardziej “realistyczne” oferty:

Wyniki studium użytkowników.

Jak widać na powyższym wykresie, użytkownicy zdecydowanie preferowali wyniki z Framer.

Towarzyszący artykułowi film na YouTube przedstawia niektóre z potencjalnych innych zastosowań Framer, w tym morfing i cartoon in-betweening – gdzie cały koncept się zaczął.

Wnioski

Trudno przecenić, jak ważne jest to wyzwanie obecnie dla zadania generatywnej generacji wideo. Do tej pory starsze rozwiązania, takie jak FILM i (nie-AI) EbSynth, były używane przez zarówno amatorskie, jak i profesjonalne społeczności, do tweenowania między klatkami; ale te rozwiązania mają znaczące ograniczenia.

Ponieważ oficjalne filmy przykładowe dla nowych ram T2V są starannie wyselekcjonowane, istnieje powszechna publiczna nieświadomość, że systemy uczenia maszynowego mogą dokładnie wnioskować o geometrii w ruchu bez odwoływania się do mechanizmów prowadzenia, takich jak 3D modele morficzne (3DMM) lub inne podejścia pomocnicze, takie jak LoRAs.

Być może tweening sam w sobie, nawet gdyby mógł być idealnie wykonany, stanowi tylko “sztuczkę” lub oszustwo wobec tego problemu. Niemniej, ponieważ często jest łatwiej wyprodukować dwie dobrze wyrównane obrazy klatek niż wpływać na prowadzenie za pomocą komunikatów tekstowych lub bieżącego zakresu alternatyw, jest dobrze widzieć iteracyjny postęp w wersji opartej na AI tego starszego podejścia.

Publikacja po raz pierwszy w dniu 29 października 2024 r.