Lepsza generatywna sztuczna inteligencja wideo poprzez losowe przestawianie klatek podczas treningu

Nowy artykuł opublikowany w tym tygodniu na Arxiv dotyczy problemu, z którym spotkać się mogą wszyscy, którzy przyjęli Hunyuan Video lub Wan 2.1 generatory wideo sztucznej inteligencji: aberracje czasowe, gdzie proces generatywny ma tendencję do gwałtownego przyspieszania, łączenia, pomijania lub innego zaburzania krytycznych momentów w wygenerowanym wideo:

Kliknij, aby odtworzyć. Niektóre z aberracji czasowych, które stają się coraz bardziej znane użytkownikom nowej fali generatywnych systemów wideo, podkreślone w nowym artykule. Po prawej stronie widoczny jest efekt poprawy nowego podejścia FluxFlow. Źródło: https://haroldchen19.github.io/FluxFlow/

Wideo powyżej zawiera fragmenty przykładowych wideo testowych na (ostrożnie: dość chaotycznej) stronie projektu artykułu. Widzimy kilka coraz bardziej znanych problemów, które są naprawiane przez metodę autorów (przedstawioną po prawej stronie w wideo), która jest w zasadzie techniką wstępnego przetwarzania danych stosowaną do każdej generatywnej architektury wideo.

W pierwszym przykładzie, przedstawiającym “dzieci bawiące się piłką”, wygenerowanym przez CogVideoX, widzimy (po lewej stronie w kompilacji wideo powyżej i w konkretnym przykładzie poniżej), że rodzime generowanie szybko przeskakuje przez kilka istotnych mikroruchów, przyspieszając aktywność dzieci do “kreskówkowego” tempa. W przeciwieństwie do tego, ta sama baza danych i metoda dają lepsze wyniki z nową techniką wstępnego przetwarzania, nazwaną FluxFlow (po prawej stronie w wideo poniżej):

Kliknij, aby odtworzyć.

W drugim przykładzie (używając NOVA-0.6B) widzimy, że centralny ruch z udziałem kota został w jakiś sposób skażony lub znacznie niedo próbkowany na etapie treningu, do tego stopnia, że system generatywny staje się “zablokowany” i nie jest w stanie sprawić, by przedmiot się poruszył:

Kliknij, aby odtworzyć.

Ten zespół objawów, w którym ruch lub przedmiot “zastyga”, jest jednym z najczęściej zgłaszanych problemów przez społeczności Hunyuan Video (HV) i Wan 2.1 w różnych grupach syntezowania obrazów i wideo.

Niektóre z tych problemów są związane z problemami z napisami wideo w zbiorze danych źródłowych, o których napisaliśmy w tym tygodniu; jednak autorzy nowej pracy koncentrują swoje wysiłki na właściwościach czasowych danych treningowych, a nie na napisach, i przedstawiają przekonywujący argument, że rozwiązanie tych problemów z tej perspektywy może przynieść pożyteczne wyniki.

Jak wspomniano w poprzednim artykule o napisach wideo, pewne działania sportowe są szczególnie trudne do oddestylowania w kluczowych momentach, co oznacza, że krytyczne wydarzenia (takie jak wsad) nie otrzymują uwagi, której potrzebują podczas treningu:

Kliknij, aby odtworzyć.

W powyższym przykładzie system generatywny nie wie, jak przejść do następnego etapu ruchu i przechodzi nelogicznie z jednej pozy do następnej, zmieniając postawę i geometrię gracza w trakcie tego procesu.

Te są duże ruchy, które zostały utracone w trakcie treningu – ale równie wrażliwe są znacznie mniejsze, ale kluczowe ruchy, takie jak machanie skrzydłami motyla:

Kliknij, aby odtworzyć.

W przeciwieństwie do wsadu, machanie skrzydłami nie jest “rzadkim”, ale raczej stałym i monotonnym zdarzeniem. Jednak jego spójność zostaje utracona w procesie próbkowania, ponieważ ruch jest tak szybki, że trudno go ustalić w czasie.

Te problemy nie są szczególnie nowe, ale zyskują coraz większą uwagę teraz, gdy dostępne są potężne generatywne modele wideo dla entuzjastów do lokalnej instalacji i bezpłatnej generacji.

Wspólnoty na Reddit i Discord początkowo traktowały te problemy jako “związane z użytkownikiem”. To zrozumiała presumpcja, ponieważ systemy w question są bardzo nowe i minimalnie udokumentowane. Dlatego różni eksperci sugerowali różne (i nie zawsze skuteczne) rozwiązania dla niektórych z tych błędów, takich jak modyfikacja ustawień w różnych komponentach różnych typów ComfyUI dla Hunyuan Video (HV) i Wan 2.1.

W niektórych przypadkach zamiast produkowania szybkiego ruchu, zarówno HV, jak i Wan produkują wolny ruch. Sugestie z Reddit i ChatGPT (które w dużej mierze wykorzystują Reddit) obejmują zmianę liczby klatek w żądanej generacji lub radykalne obniżenie częstotliwości klatek*.

To wszystko jest desperackie; wyłaniająca się prawda jest taka, że jeszcze nie znamy dokładnej przyczyny ani dokładnego rozwiązania tych problemów; jest oczywiste, że męczenie ustawień generacji, aby obejść je (szczególnie gdy to pogarsza jakość wyjściową, na przykład z zbyt niską częstotliwością klatek), jest tylko tymczasowym rozwiązaniem, i dobrze widzieć, że scena badawcza zajmuje się pojawiającymi się problemami tak szybko.

Więc, oprócz tegorocznego spojrzenia na to, jak napisy wpływają na trening, przyjrzyjmy się nowemu artykułowi o regularizacji czasowej i jakie poprawki może on zaoferować bieżącej generatywnej scenie wideo.

Pomysł centralny jest dość prosty i niezbyt skomplikowany, i nie jest gorszy od tego; jednak artykuł jest trochę napompowany, aby osiągnąć przepisaną liczbę stron, i będziemy omijać tę nadmiarowość, jeśli to konieczne.

Ryba w rodzimym generowaniu ramki VideoCrafter jest statyczna, podczas gdy wersja zmodyfikowana przez FluxFlow ujmuje wymagane zmiany. Źródło: https://arxiv.org/pdf/2503.15417

Nowa praca tutaj nosi tytuł Regularizacja czasowa sprawia, że twój generator wideo jest silniejszy, i pochodzi od ośmiu badaczy z Everlyn AI, Hong Kong University of Science and Technology (HKUST), University of Central Florida (UCF) i The University of Hong Kong (HKU).

(w chwili pisania, istnieją pewne problemy ze stroną projektu tutaj)

FluxFlow

Pomysł centralny za FluxFlow, nowym schematem wstępnego treningu, polega na przezwyciężeniu powszechnych problemów migotanie i niespójność czasowa przez losowe przestawianie bloków i grup bloków w porządku klatek czasowych, gdy dane źródłowe są eksponowane na proces treningu:

Pomysł centralny za FluxFlow polega na przenoszeniu bloków i grup bloków w nieoczekiwane i nieczasowe pozycje, jako forma augmentacji danych.

Artykuł wyjaśnia:

‘[Artefakty] wynikają z fundamentalnej ograniczenia: pomimo wykorzystania dużych zbiorów danych, bieżące modele często opierają się na uproszczonych wzorach czasowych w danych treningowych (np. stałe kierunki chodzenia lub powtarzalne przejścia klatek) zamiast uczenia się różnorodnych i prawdopodobnych dynamik czasowych.

‘Ten problem jest dodatkowo nasilony przez brak jawnej augmentacji czasowej podczas treningu, pozostawiając modele podatne na nadmierną dopasowanie do przypadkowych korelacji czasowych (np. „klatka #5 musi nastąpić po #4”) zamiast uogólniania się na różne scenariusze ruchu.’

Większość modeli generatywnych wideo, jak wyjaśniają autorzy, nadal zbyt mocno opiera się na syntezie obrazu, koncentrując się na wierności przestrzennej, podczas gdy w dużej mierze ignoruje oś czasu. Chociaż techniki takie jak przycinanie, odwracanie i jittering koloru pomogły poprawić jakość statycznych obrazów, nie są one wystarczającymi rozwiązaniami, gdy stosuje się je do wideo, gdzie iluzja ruchu zależy od spójnych przejść między klatkami.

Kliknij, aby odtworzyć.

Artykuł argumentuje, że chociaż niektóre modele – w tym Stable Video Diffusion i LlamaGen – rekompensują coraz bardziej skomplikowanymi architekturami lub inżynieryjnymi ograniczeniami, te rozwiązania wiążą się z kosztami w zakresie obliczeń i elastyczności.

Ponieważ augmentacja danych czasowych okazała się już przydatna w zadaniach rozumienia wideo (w ramach takich jak FineCliper, SeFAR i SVFormer) jest zaskakujące, twierdzą autorzy, że ta taktyka jest rzadko stosowana w kontekście generatywnym.

Zachowanie burzycielskie

Badacze twierdzą, że proste, ustrukturyzowane zakłócenia porządku czasowego podczas treningu pomagają modelom lepiej uogólniać się do realistycznych, różnorodnych ruchów:

‘Przez trening na nieuporządkowanych sekwencjach, generator uczy się odzyskiwać prawdopodobne trajektorie, skutecznie regularizując entropię czasową. FLUXFLOW mostkuje lukę między dyskryminacyjną a generatywną augmentacją czasową, oferując rozwiązanie do poprawy jakości wideo, jednocześnie poprawiając ogólną jakość.’

‘W przeciwieństwie do istniejących metod, które wprowadzają zmiany architektoniczne lub polegają na przetwarzaniu pośrednim, FLUXFLOW działa bezpośrednio na poziomie danych, wprowadzając kontrolowane perturbacje czasowe podczas treningu.’

Kliknij, aby odtworzyć.

Perturbacje na poziomie klatek, jak stwierdzają autorzy, wprowadzają drobne zakłócenia w sekwencji. Ten rodzaj zakłócenia nie jest odmienny od augmentacji maskowania, gdzie sekcje danych są losowo blokowane, aby zapobiec nadmiernemu dopasowaniu do punktów danych i zachęcić do lepszej uogólnialności.

Testy

Chociaż pomysł centralny tutaj nie jest zbyt skomplikowany, istnieje sekcja testowa, na którą możemy się przyjrzeć.

Autorzy przetestowali cztery zapytania dotyczące poprawionej jakości czasowej przy zachowaniu wierności przestrzennej; zdolności do nauki dynamiki ruchu/optycznego; utrzymania jakości czasowej w generacji zewnętrznej; oraz wrażliwości na kluczowe hiperparametry.

Badacze zastosowali FluxFlow do trzech generatywnych architektur: opartych na U-Net, w postaci VideoCrafter2; opartych na DiT, w postaci CogVideoX-2B; oraz opartych na AR, w postaci NOVA-0.6B.

Dla uczciwej porównania, dolali architektury bazowe z FluxFlow jako dodatkową fazę treningu, przez jeden epoch, na OpenVidHD-0.4M zbiorze danych.

Modele zostały ocenione w stosunku do dwóch popularnych benchmarków: UCF-101; oraz VBench.

Dla UCF, Fréchet Video Distance (FVD) i Inception Score (IS) były używane jako metryki. Dla VBench, badacze skoncentrowali się na jakości czasowej, jakości klatki i ogólnej jakości.

Ilościowa wstępna ocena FluxFlow-Frame. "+ Original" oznacza trening bez FLUXFLOW, podczas gdy "+ Num × 1" pokazuje różne konfiguracje FluxFlow-Frame. Najlepsze wyniki są zaznaczone; drugie najlepsze są podkreślone dla każdego modelu.

Komentując te wyniki, autorzy stwierdzają:

‘Oba FLUXFLOW-FRAME i FLUXFLOW-BLOCK znacznie poprawiają jakość czasową, co potwierdzają metryki w Tab. 1, 2 (tj. FVD, Subject, Flicker, Motion i Dynamic) oraz wyniki jakościowe w [obrazie poniżej].

‘Na przykład, ruch samochodu w VC2, kot ścigający ogon w NOVA oraz surfer jadący na fali w CVX stają się zauważalnie bardziej płynne z FLUXFLOW. Co ważne, te poprawy czasowe są osiągane bez poświęcania wierności przestrzennej, co potwierdzają ostre detale rozprysków wody, śladów dymu i tekstur fal, wraz z metrykami wierności przestrzennej i ogólnej.’

Poniżej widzimy wybór wyników jakościowych, o których mówią autorzy (zobacz oryginalny artykuł dla pełnych wyników i lepszej rozdzielczości):

Wybór wyników jakościowych.

Artykuł sugeruje, że chociaż zarówno perturbacje na poziomie klatek, jak i bloków poprawiają jakość czasową, metody na poziomie klatek mają tendencję do lepszego działania. To przypisuje się ich drobniejszej granulacji, która umożliwia bardziej precyzyjne dostosowania czasowe. Perturbacje na poziomie bloków, z drugiej strony, mogą wprowadzać szum z powodu ściśle połączonych wzorów przestrzennych i czasowych w blokach, co redukuje ich skuteczność.

Wnioski

Ten artykuł, wraz z niedawną współpracą Bytedance-Tsinghua w sprawie napisów, uświadomił mi, że widoczne niedociągnięcia nowej generacji generatywnych modeli wideo mogą nie wynikać z błędów użytkownika, błędów instytucjonalnych lub ograniczeń finansowych, ale raczej z fokusu badawczego, który słusznie priorytetowo traktował pilniejsze wyzwania, takie jak spójność i ciągłość czasowa, zamiast tych mniejszych problemów.

Do niedawna wyniki z wolno dostępnych i pobieralnych generatywnych systemów wideo były tak bardzo kompromitowane, że nie pojawiło się żadne znaczące wysiłki ze strony społeczności entuzjastów, aby rozwiązać te problemy (głównie dlatego, że problemy te były fundamentalne i nie były trywialnie rozwiązywalne).

Teraz, gdy jesteśmy tak blisko długo przewidywanej ery czysto generowanych, fotorealistycznych wideo, jest oczywiste, że zarówno społeczność badawcza, jak i casualowa biorą głębszy i bardziej produktywny udział w rozwiązywaniu pozostałych problemów; z pewnością, te przeszkody nie są niepokonalne.

* Wan ma rodzimą częstotliwość klatek wynoszącą tylko 16 klatek na sekundę, a w odpowiedzi na moje własne problemy, zauważyłem, że fora sugerują obniżenie częstotliwości klatek do tak niskiego poziomu, jak 12 klatek na sekundę, a następnie używanie FlowFrames lub innych systemów przepływu opartych na sztucznej inteligencji do interpolacji przerw między tak rzadkimi klatkami.

Pierwotnie opublikowane w piątek, 21 marca 2025