Wyzwanie polegające na dodawaniu napisów do filmów w tempie więcej niż 1 klatki na sekundę

Możliwość rozpoznawania zdarzeń w filmie przez systemy oparte na uczeniu maszynowym jest kluczowa dla przyszłości generowania filmów opartych na sztucznej inteligencji, ponieważ zestawy danych wideo wymagają dokładnych napisów, aby wytworzyć modele, które odpowiadają na żądanie użytkownika i nie wykazują nadmiernych halucynacji.

Przykład schematu napisów z projektu VidReCap firmy Google. Źródło: https://sites.google.com/view/vidrecap

Ręczne dodawanie napisów do filmów w skali potrzebnej do skutecznych zestawów danych szkoleniowych jest nie do przyjęcia. Chociaż możliwe jest szkolenie systemów sztucznej inteligencji do automatycznego dodawania napisów do filmów, nadal potrzeba wielu przykładów stworzonych przez ludzi jako podstawa, dla różnorodności i pokrycia.

Co więcej, prawie każdy obecny model oparty na sztucznej inteligencji do dodawania napisów do filmów działa z prędkością 1 klatki na sekundę, co nie jest wystarczająco gęstym tempem, aby rozróżnić zmiany w wielu sytuacjach: nagłe zmiany mikroekspresji w systemach rozpoznawania emocji; szybkie zdarzenia w sportach wysokich, takich jak koszykówka; gwałtowne ruchy; szybkie cięcia w filmach dramatycznych, gdzie systemy takie jak PySceneDetect mogą nie być w stanie ich zidentyfikować (lub nie są używane); i wiele innych sytuacji, w których okno uwagi musi być bardziej intensywne.

Kliknij, aby odtworzyć. Szybka, ale przełomowa akcja w jednym z najwolniejszych sportów na świecie, kiedy Alex Higgins wygrywa mistrzostwa świata przeciwko Rayowi Reardonowi w 1982 roku. Źródło: https://www.youtube.com/watch?v=_1PuqKno_Ok

Ruszać szybko i łamać logikę

Ten niski poziom jest standardem z różnych powodów logistycznych. Po pierwsze, dodawanie napisów do filmów jest czynnością wymagającą dużych zasobów, niezależnie od tego, czy system analizuje jeden klatkę sekwencyjnie, czy używa różnych metod, aby semantycznie scalić ciąg klatek w sekwencję napisów. W każdym przypadku okno kontekstowe jest nieuniknienie ograniczone przez ograniczenia sprzętowe.

Inny powód, dla którego 1 klatka na sekundę jest obecnie standardem, polega na tym, że filmy nie są zwykle wypełnione szybkimi zdarzeniami; dlatego jest zbędne, aby nadać 300 klatkom statycznego stołu do snookera tyle samo uwagi, co sekunda, w której czarna kula wygrywa mistrzostwa (patrz powyżej).

Można użyć szerszych wskazówek wtórnych, aby zidentyfikować kluczowe momenty w filmie sportowym, takie jak utrzymująca się reakcja tłumu na szybki slam dunk w meczu koszykówki. Jednak takie wskazówki mogą wystąpić z innych powodów (takich jak nieoczekiwane urazy graczy) i nie mogą być ufać. To jest jeden z przykładów, jak źle oznaczony zestaw danych filmowych może doprowadzić do modelu generatywnego, który halucynuje lub błędnie interpretuje polecenia, tzn. ponieważ model może pokazać uraz gracza, kiedy poproszony o wygenerowanie slam dunka (ponieważ „wtórna wskazówka” reakcji tłumu nie była wyłączna dla jednego konkretnego rodzaju zdarzenia).

To jest w dużej mierze problem „budżetowy” i w inny sposób problem proceduralny. Ramy do tej pory opierały się na założeniu, że rzadkie klatki kluczowe mogą skutecznie przechwytywać istotne informacje, ale jest to bardziej skuteczne w ustaleniu gatunku i innych aspektów przedmiotu filmu, ponieważ dowody w tym przypadku utrzymują się przez wiele klatek.

F-16

Nowy artykuł z Chin oferuje rozwiązanie w postaci pierwszego wielomodalnego dużego modelu językowego (MLLM, lub po prostu LLM), który może analizować filmy z prędkością 16 klatek na sekundę zamiast standardowych 1 klatki na sekundę, unikając przy tym głównych pułapek zwiększania tempa analizy.

W testach autorzy twierdzą, że nowy system, zatytułowany F-16, przewyższa własnościowe modele stanu sztuki, takie jak GPT-4o i Gemini-1.5 pro. Chociaż inne obecne modele były w stanie dopasować lub przewyższyć wyniki F-16 w testach, konkurencyjne modele były znacznie większe i mniej wydajne.

Chociaż F-16 został przeszkolony na poważnym sprzęcie (jak to zostanie omówione nieco później), inferencja jest zwykle znacznie mniej wymagająca niż szkolenie. Dlatego możemy mieć nadzieję, że kod (obiecany na bliższą przyszłość) będzie w stanie działać na średnim lub wysokim poziomie domowych kart graficznych.

Co jest potrzebne dla żywotności sceny hobbystycznej (i to obejmuje profesjonalną scenę VFX, większość czasu) to model dodawania napisów do filmów tego rodzaju, który może działać, być może kwantyzowany, na konsumenckich systemach, aby cała scena generowania filmów nie przeniosła się do opartych na API komercyjnych systemów, lub zmusiła konsumentów do podłączenia lokalnych ram do komercyjnych usług GPU online.

Poza skalowaniem

Autorzy zauważają, że tego rodzaju podejście jest praktyczną alternatywą dla zwiększania zestawów danych. Można również wnioskować, że nawet gdyby się postanowiło rzucić więcej danych na problem, to właśnie tego rodzaju podejście mogłoby być preferowane, ponieważ nowy system rozróżnia zdarzenia w bardziej drobny sposób.

Stwierdzają:

‘Niskie tempo próbkowania klatek może skutkować utratą krytycznych informacji wizualnych, szczególnie w filmach z szybko zmieniającymi się scenami, drobnymi szczegółami lub szybkim ruchem. Dodatkowo, jeśli klatki kluczowe są pomijane, a model jest szkolony na etykietach, które polegają na informacjach z klatek kluczowych, może on mieć trudności z wyrównaniem swoich predykacji z oczekiwaną zawartością, potencjalnie prowadząc do halucynacji i pogorszenia wydajności…

‘… F-16 osiąga najlepsze wyniki w ogólnym zrozumieniu filmów wśród modeli o podobnej wielkości i wykazuje wyraźną przewagę w zrozumieniu filmów o wysokiej częstotliwości klatek, przewyższając komercyjne modele, takie jak GPT-4o. Praca ta otwiera nowe kierunki dla rozwoju zrozumienia filmów o wysokiej częstotliwości klatek w badaniach nad wielomodalnymi dużymi modelami językowymi.’

Nowy artykuł pt. Poprawa zrozumienia filmów przez LLM z 16 klatkami na sekundę, pochodzi od ośmiu autorów z Uniwersytetu Tsinghua i ByteDance.

Metoda

Ponieważ kolejne klatki często zawierają redundancję informacji, F-16 stosuje wysokoczęstotliwy aligner, aby skompresować i zakodować kluczowe szczegóły ruchu, zachowując przy tym semantykę wizualną. Każda klatka jest najpierw przetwarzana przez wstępnie przeszkolony encoder obrazu, wyodrębniając reprezentacje cech przed przekazaniem ich do alignera opartego na Gaussian Error Linear Units (GELUs).

Architektura F-16 przetwarza filmy z prędkością 16 klatek na sekundę, przechwytując więcej klatek niż tradycyjne modele o niskiej częstotliwości klatek, a jej wysokoczęstotliowy aligner zachowuje semantykę wizualną, efektywnie kodując dynamikę ruchu bez dodawania dodatkowych tokenów wizualnych. Źródło: https://arxiv.org/pdf/2503.13956

Aby obsłużyć zwiększoną liczbę klatek w sposób wydajny, F-16 grupuje klatki w małe okna przetwarzania, łącząc cechy wizualne za pomocą trójwarstwowego Multi-Layer Perceptron (MLP), co pomaga zachować tylko najbardziej istotne szczegóły ruchu, redukując niepotrzebną redundancję, a jednocześnie zachowując przepływ czasowy działań. Warstwa max-pooling przestrzennego dalej kompresuje liczbę tokenów, utrzymując koszty obliczeniowe w granicach.

Przetworzone tokeny wideo są następnie wprowadzane do Qwen2-7B LLM, który generuje odpowiedzi tekstowe na podstawie wyodrębnionych cech wizualnych i danego promtu użytkownika.

Dzięki takiej strukturyzacji danych wejściowych do filmu F-16 umożliwia, zdaniem autorów, bardziej precyzyjne rozpoznawanie zdarzeń w dynamicznych scenach, jednocześnie zachowując wydajność.

Wersja krótka

F-16 rozszerza wstępnie przeszkolony model językowy obrazu, LLaVA-OneVision, do przetwarzania filmów, transformując swój potok danych wejściowych wizualnych. Podczas gdy standardowe modele językowe obrazu radzą sobie z izolowanymi klatkami, wysokoczęstotliwy aligner F-16 reformuje wiele klatek w postaci, którą model może bardziej efektywnie przetwarzać; tym samym unika on zalewania systemu redundancją, a jednocześnie zachowuje kluczowe wskazówki ruchu niezbędne do dokładnego zrozumienia filmu.

Aby zapewnić zgodność z jego podstawą obrazu, F-16 ponownie wykorzystuje wstępnie przeszkolone parametry, restrukturyzując swój aligner w podmacierze. To podejście pozwala mu na integrację wiedzy z modeli jednej klatki, jednocześnie adaptując się do sekwencyjnego wejścia wideo.

Aligner najpierw kompresuje sekwencje klatek w format optymalny dla LLM, zachowując najbardziej informacyjne cechy, a odrzucając niepotrzebne szczegóły. Projekt architektury umożliwia systemowi przetwarzanie filmów o wysokiej częstotliwości klatek, jednocześnie utrzymując koszty obliczeniowe pod kontrolą, co autorzy uważają za dowód, że skalowanie nie jest jedynym (lub najlepszym) sposobem do przodu w dodawaniu napisów do filmów.

Zmienność tempa

Ponieważ przetwarzanie filmów z prędkością 16 klatek na sekundę poprawia zrozumienie ruchu, ale zwiększa koszty obliczeniowe, szczególnie podczas inferencji, F-16 wprowadza metodę dekodowania z zmienną częstotliwością klatek, pozwalającą na dynamiczne dostosowanie częstotliwości klatek bez ponownego szkolenia.

Dostępne alignery jednej klatki i wysokiej częstotliwości klatek dla F-16.

Ta elastyczność umożliwia modelowi efektywne działanie przy niższych częstotliwościach klatek, kiedy wysoka precyzja nie jest wymagana, a także redukuje nakład obliczeniowy.

W czasie testów, kiedy wybrano niższą częstotliwość klatek, F-16 ponownie wykorzystuje wcześniej przeszkolone parametry alignera, powtarzając klatki wejściowe, aby dopasować oczekiwane wymiary. Zapewnia to, że model może nadal efektywnie przetwarzać filmy bez modyfikacji swojej architektury.

W przeciwieństwie do naiwnej próbkowania (tj. po prostu usuwania klatek), które ryzykuje utratę krytycznych szczegółów ruchu, ta metoda zachowuje nauczone reprezentacje ruchu alignera, utrzymując dokładność nawet przy zmniejszonych częstotliwościach klatek. Dla ogólnego zrozumienia filmów ustawienie niższej częstotliwości klatek może przyspieszyć inferencję bez znaczącej utraty wydajności, podczas gdy analiza ruchu o wysokiej prędkości może nadal wykorzystywać pełne możliwości 16 klatek na sekundę.

Dane i testy

Zbudowany na Qwen2-7B, FP-16 rozszerza LLaVA-OneVision, wykorzystując SigLIP jako encoder obrazu. Z klatkami filmowymi próbkowanymi z prędkością 16 klatek na sekundę, można uzyskać do 1,760 klatek z każdego filmu. Dla dłuższych filmów klatki były jednolicie (tj. rzadziej) próbkowane.

Do szkolenia F-16 wykorzystano te same ogólne zestawy danych filmowych, co LLaVA-Video, w tym LLaVA-Video-178K, NExT-QA, ActivityNet-QA i PerceptionTest.

F-16 został dodatkowo dostosowany do zestawów danych sportów o wysokiej prędkości, takich jak FineGym, Diving48 i SoccerNet. Autorzy również skompilowali kolekcję 276 meczów NBA rozegranych między 13 a 25 listopada 2024 roku, koncentrując się na tym, czy strzał był udany (zadanie wymagające przetwarzania z wysoką częstotliwością klatek).

Model został oceniony przy użyciu zestawu testowego NSVA, z wydajnością mierzoną przez wynik F1.

Modele gimnastyczne i nurkowe były oceniane na podstawie dokładności rozpoznawania zdarzeń, podczas gdy modele piłkarskie i koszykarskie śledziły podania i wyniki strzałów.

Model został przeszkolony przez 1 epokę przy użyciu 128 kart graficznych NVIDIA H100 (a przy standardowych 80 GB pamięci VRAM na kartę, wymagało to użycia 10,24 terabajtów pamięci GPU; nawet według niedawnych standardów, jest to najwydajniejszy klastry GPU, z którym się zetknąłem, śledząc literaturę badawczą z zakresu widzenia komputerowego). Zastosowano współczynnik uczenia 2×10⁻⁵ podczas szkolenia.

Ponadto LoRA został dostosowany do danych sportowych przy użyciu adapterów LoRA z 64 GPU przez 5 epok. Tutaj tylko LLM został przeszkolony, pozostawiając encoder obrazu zamrożony.

Przeciwstawne ramy testowane w pierwszej rundzie dla „ogólnego zrozumienia filmów” to GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; i NVILA-7B;

Modele zostały ocenione na Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; i LongVideoBench.

Porównanie wyników zrozumienia filmów w różnych modelach, pokazujące limity częstotliwości klatek i wyniki w różnych benchmarkach. F-16 osiąga najlepsze wyniki wśród modeli 7B w Video-MME, NQA, TPB i MB, rywalizując z własnościowymi modelami, takimi jak GPT-4o i Gemini-1.5-Pro.

Z tych wyników autorzy stwierdzają:

‘W zestawach danych Video-MME Short, Medium i NeXT-QA — każdy zaprojektowany do zrozumienia krótkich filmów — nasz model przewyższa poprzedni model 7B o 3,2%, 1,0% i 0,9% w dokładności, podkreślając jego silną wydajność w krótkich filmach.

‘Dla benchmarków oceniających zrozumienie długich filmów, takich jak Video-MME Long, LongVideoBench i MLVU, wyzwanie jest większe ze względu na rzadsze próbkowanie klatek, powodując, że klatki w oknie przetwarzania wykazują większe zmiany.

‘To zwiększa trudność dla alignera modalności, aby skutecznie zakodować zmiany czasowe w ograniczonej reprezentacji tokenów. W rezultacie F-16 doświadcza niewielkiego spadku wydajności w porównaniu z [LLaVA-Video-7B], który jest szkolony na tym samym zestawie danych wideo.’

Wysokoczęstotliwościowe przetwarzanie F-16, kontynuują autorzy, również skutkowało 13,5% poprawą w TemporalBench i 2,5% zyskiem w MotionBench w porównaniu z istniejącymi modelami 7B, oraz wykazało podobny poziom wydajności do komercyjnych modeli, takich jak GPT-4o i Gemini-1.5-Pro.

Zrozumienie filmów sportowych o wysokiej prędkości

F-16 został przetestowany na zestawach danych FineGym, Diving48, SoccerNet i NBA, aby ocenić jego zdolność do zrozumienia szybkich działań sportowych.

Wykorzystując 10 000 ręcznie oznaczonych klipów NBA, szkolenie koncentrowało się na ruchu piłki i działaniach graczy, oraz na tym, czy modele mogą poprawnie określić, czy strzał był udany, z wykorzystaniem zestawu testowego NSVA i ocenianego za pomocą wyniku F1.

Wyniki analizy filmów sportowych o wysokiej prędkości. F-16 z wysokoczęstotliwościowym alignerem wykazał lepszą wydajność niż jego odpowiednik o niskiej częstotliwości klatek we wszystkich zadaniach sportowych.

Na FineGym, który mierzy rozpoznawanie akcji gimnastycznych, F-16 wykazał 13,8% lepszą wydajność niż poprzedni model 7B, demonstrując poprawione zrozumienie ruchu.

Diving48 wymagało identyfikacji złożonych sekwencji ruchów, takich jak faza startowa, somersault, skręt i lot, a F-16 wykazał wyższą dokładność w rozpoznawaniu tych przejść.

Dla SoccerNet model analizował 10-sekundowe klipy, identyfikując podania piłki, a wyniki pokazały poprawę w porównaniu z istniejącymi modelami 7B, wskazując, że wyższa częstotliwość klatek przyczynia się do śledzenia małych i szybkich ruchów.

W zestawie danych NBA zdolność F-16 do określania wyników strzałów zbliżyła się do dokładności większych modeli własnościowych, takich jak GPT-4o i Gemini-1.5-Pro, co sugeruje, że wyższa częstotliwość klatek zwiększa jego zdolność do przetwarzania dynamicznych ruchów.

Zmienne częstotliwości klatek

F-16 został przetestowany przy różnych częstotliwościach klatek, aby zmierzyć jego elastyczność. Zamiast ponownego szkolenia, obsługiwał niższe częstotliwości klatek, powtarzając klatki, aby dopasować strukturę wejściową alignera. To podejście zachowało więcej wydajności niż proste usuwanie klatek (które jest podatne na utratę dokładności).

Wyniki wskazują, że redukcja częstotliwości klatek miała pewien wpływ na rozpoznawanie ruchu, ale F-16 nadal przewyższył modele o niskiej częstotliwości klatek i utrzymał silne wyniki, nawet poniżej 16 klatek na sekundę.

Po lewej, zużycie czasu przez różne moduły F-16 podczas inferencji, zmierzone na 300 filmach z zestawu Video-MME Long przy różnych częstotliwościach klatek testowych i długościach sekwencji. Po prawej, porównanie wyników Video-MME dla modeli szkolonych i testowanych przy różnych częstotliwościach klatek.

Wysokoczęstotliwościowe przetwarzanie F-16 zwiększyło wymagania obliczeniowe, chociaż jego aligner pomógł zarządzać tymi kosztami, kompresując redundancję tokenów wizualnych.

Model wymagał więcej operacji na flopy na film niż modele o niższych częstotliwościach klatek, ale również osiągnął lepszą dokładność na token, co sugeruje, że jego strategie wyboru klatek i kompresji tokenów pomogły zrównoważyć dodatkowe obliczenia.

Podsumowanie

Trudno przecenić albo wagę, albo wyzwania tego konkretnego obszaru badań — szczególnie w tym roku, który ma być przełomowym rokiem dla generowania filmów, rzucając wyzwania związane z kuracją zestawów danych filmowych i jakością napisów w ostrym świetle.

Powinno się również podkreślić, że wyzwania związane z uzyskaniem dokładnych opisów wewnętrznych szczegółów filmu nie mogą być rozwiązane wyłącznie przez rzucenie więcej pamięci VRAM, czasu lub miejsca na dysku na problem. Sposób, w jaki zdarzenia są izolowane/wyodrębniane z długich i nudnych filmów (jak klipy golfowe lub snookerowe), będzie korzystał z ponownego przemyślenia semantycznych podejść i mechanizmów obecnie dominujących w rozwiązaniach stanu sztuki — ponieważ niektóre z tych ograniczeń zostały ustanowione w czasach, gdy zasoby były bardziej ograniczone.

(incydentalnie, nawet jeśli 16 klatek na sekundę wydaje się bardzo niską częstotliwością klatek dla 2025 roku, jest interesujące zauważyć, że jest to również rodzima szybkość szkolenia filmów używanych w bardzo popularnym modelu generowania filmów Wan 2.1, oraz szybkość, z jaką działa z najmniejszą ilością problemów. Mam nadzieję, że scena badawcza będzie monitorować możliwą „entropię standardów” tutaj; czasami przestarzałe ograniczenia mogą utrwalać przyszłe standardy)

Pierwotnie opublikowane w środę, 19 marca 2025