Kodek wideo dla filmów generowanych przez AI

Gdy era nieograniczonego korzystania z AI zbliża się do końca, nowe, ekonomiczne podejście do generowania filmów za pomocą AI obiecuje znaczne oszczędności tokenów i czasu.

Rzeczywisty koszt wnioskowania AI wnosi nową dawkę realizmu do zawrotnego tempa obecnej rewolucji AI. Rośnie przy tym zainteresowanie racjonalizacją kosztów uczenia maszynowego. Oprócz możliwości przeniesienia AI do własnego środowiska organizacji i ogólnego rozwoju prywatnej AI optymalizacji będą oczywiście wymagać także procesy uczenia maszynowego, które pochłaniają duże ilości pamięci VRAM i innych zasobów.

Generowanie wideo jest być może największym konsumentem zasobów w tej dziedzinie. Jeśli kiedykolwiek ponownie kompresowaliście film lub eksportowaliście go z programu do montażu, znacie obciążenie, jakie to zadanie niezwiązane z AI nakłada na sprzęt: zużywa RAM i cykle procesora, a często uniemożliwia inne korzystanie z komputera, o ile nie ograniczy się wpływu algorytmu kompresji na maszynę.

Wystarczy więc wyobrazić sobie skalę, w jakiej rozwój filmów AI powtarza ten proces pochłaniający moc obliczeniową w centrach danych na całym świecie. W takiej skali nawet najmniejsze usprawnienia od razu nabierają znaczenia po zsumowaniu.

Klatka w centrum uwagi

W tym kontekście nowa praca badawcza z Szanghaju, przygotowana we współpracy z JD.com (JD ), proponuje kodek wideo przeznaczony nie do końcowego renderowania, czyli kompresowania ogromnych surowych klatek do mniejszego pliku wideo, lecz do samego procesu generowania filmów za pomocą AI.

Zwykły kodek wideo nie zapisuje każdej klatki jako pełnego obrazu. Zamiast tego tworzy mniejszą liczbę kompletnych obrazów, zwanych klatkami I, a następnie zapisuje zmiany między klatkami.

Na przykład gdy osoba w filmie nieznacznie się poruszy, kodek rejestruje tylko te części klatki, w których zaszła zmiana, zamiast ponownie zapisywać całą scenę. Są to klatki P, wyprowadzane z wcześniejszych klatek, oraz klatki B, które mogą również korzystać z informacji z późniejszych klatek:

Budowa kodeka wideo: górny rząd pokazuje kolejne klatki oznaczone I, P i B. Klatki I są zapisane w całości i przedstawione w pełnym kolorze, a klatki P i B są przygaszone, by wskazać ich rekonstrukcję. Strzałki pokazują wykorzystanie klatek wcześniejszych, późniejszych lub obu rodzajów. Dolne panele przedstawiają klatkę zapisaną w całości (I, po lewej), klatkę utworzoną z wcześniejszej klatki (P, druga od lewej) oraz klatkę utworzoną z klatek wcześniejszych i późniejszych (B, po prawej).

Ponowne wykorzystanie pobliskich informacji utrzymuje mały rozmiar plików wideo. Większość klatek nie jest nowymi obrazami, lecz instrukcjami opisującymi zmiany względem poprzedniej klatki. Klatki I są więc kompletnymi, zajmującymi dużo miejsca obrazami bez kompresji lub z kompresją minimalną. Klatki pośrednie zawierają jedynie różnice względem klatek I oraz między sobą.

Gdy każda pojedyncza klatka jest pełnym, nieskompresowanym obrazem, film w praktyce nie ma żadnej kompresji. Zapisany w ten sposób dwugodzinny film potrzebowałby prawie terabajta miejsca na dysku lub więcej. A jednak tak właśnie AI tworzy filmy^†: przydziela każdej klatce tyle samo zasobów i tokenów, obliczając sposób zbudowania filmu.

Oszczędności w dużej skali

Nowa praca zatytułowana AdaCodec: A Predictive Visual Code for Video MLLMs wykorzystuje natomiast pełne tokeny wizualne wyłącznie dla klatek referencyjnych (klatek I), a wszystkie klatki pośrednie przedstawia jako kompaktowe tokeny P. Zasada ta wyraźnie nawiązuje do tradycyjnej kompresji kodeków wideo stosowanych w rzeczywistym świecie.

Po tej wewnętrznej kompresji film wygenerowany przez AI można skompresować w zwykły sposób. Teoretycznie wszystkie oszczędności powstają po stronie serwera:

Przegląd AdaCodec. Po lewej filmy dzieli się na adaptacyjne grupy obrazów. Pełne klatki I są zarezerwowane dla momentów trudnych do przewidzenia, a pośrednie klatki P reprezentują kompaktowe informacje o ruchu i sygnale resztkowym. Po prawej system dorównuje Qwen3-VL-8B lub go przewyższa w jedenastu testach porównawczych, utrzymuje większą dokładność dla długich filmów przy różnych budżetach tokenów i zmniejsza opóźnienie odpowiedzi, przetwarzając znacznie mniej tokenów wideo. Źródło

Raportowane wyniki testów AdaCodec wskazują, że warto dążyć do tych oszczędności. Według publikacji system przewyższył niezmodyfikowany model Qwen3-VL-8B we wszystkich głównych testach porównawczych przy tej samej ilości obliczeń. Nadal dorównywał temu modelowi lub go przewyższał po zmniejszeniu liczby tokenów wideo o około 86%.

Autorzy stwierdzają*:

„Inspirujemy się kodowaniem predykcyjnym, w którym system przesyła błędy predykcji zamiast surowego sygnału. Zasada ta ma podstawy biologiczne: uważa się, że układ wzrokowy koduje błędy predykcji, czyli różnicę między oczekiwanym a zaobserwowanym wejściem, zamiast samego wejścia.”

„Nowoczesne kodeki wideo stosują w inżynierii tę samą ideę kodowania resztkowego: klatki referencyjne przenoszą pełną zawartość, natomiast klatki predykcyjne zawierają sygnały ruchu i resztkowe względem klatki referencyjnej.”

„Systemy te mają różne cele, lecz wspólną strukturę warunkową: gdy pobliskie próbki zawierają nadmiarowe informacje, kanał powinien przenosić to, czego predykcja nie wyjaśnia.”

„Standardowe kodeki są jednak optymalizowane pod kątem strumieni bitowych i rekonstrukcji przeznaczonej do oglądania przez ludzi, a nie tokenów wizualnych używanych przez LLM. Dlatego przeprojektowujemy ten mechanizm jako interfejs MLLM do rozumienia wideo.”

Nową pracę napisało 11 badaczy z Shanghai Jiao Tong University, Shanghai Innovation Institute i JD.com. Towarzyszy jej strona projektu, a publikacja kodu źródłowego została zapowiedziana.

Metoda

Jak opisano, system nie traktuje każdej klatki jako zupełnie nowego obrazu, lecz szuka zmian między jedną a następną klatką. Po lewej stronie poniższej ilustracji niewielki obszar bieżącej klatki jest porównywany z najbardziej podobnym obszarem wcześniejszej klatki:

Schemat AdaCodec.

Odległość między dwiema pozycjami staje się wektorem ruchu, a pozostałe różnice wizualne tworzą sygnał resztkowy. Te kompaktowe opisy zastępują konieczność przechowywania pełnego obrazu.

Po prawej uzyskane informacje trafiają do modelu AI. Ważne klatki referencyjne są nadal przetwarzane jako pełne obrazy, ale klatki pośrednie reprezentują znacznie mniejsze tokeny ruchu i sygnału resztkowego. Wydaje się, że pozwala to modelowi zachować dość informacji do interpretowania filmu, a zarazem przetwarzać znacznie mniej danych wizualnych.

Ciekawym wyzwaniem jest wybór klatek, które warto zapisać w całości. Tradycyjne kodeki zwykle wstawiają klatki referencyjne w regularnych odstępach, niezależnie od tego, czy są potrzebne. AdaCodec próbuje rozpoznawać najważniejsze momenty.

Wyobraźmy sobie scenę, w której dwie osoby rozmawiają niemal bez ruchu w mieszkaniu. Nagle przez okno wpada zespół SWAT. Liczba ujęć kamery i cięć montażowych natychmiast rośnie, wymagając znacznie więcej danych, niż zapewnia stały odstęp między klatkami referencyjnymi:

Na tym opierają się metody zmiennej kompresji, takie jak zmienna przepływność. Analizują materiał źródłowy w poszukiwaniu takich dynamicznych fragmentów i przydzielają więcej danych tam, gdzie są potrzebne. Wymaga to jednak niemało czasu i zasobów.

Jeśli AdaCodec może dokładnie przewidzieć klatkę na podstawie pobliskich klatek, nadal używa kompaktowych tokenów ruchu i sygnału resztkowego. Gdy scena znacznie się zmienia, jak w przykładzie SWAT lub w mniej dramatyczny sposób, wstawia pełną klatkę referencyjną. Większa część dostępnego budżetu obliczeniowego może wówczas służyć ważnym informacjom wizualnym, zamiast być równomiernie rozdzielana na cały film.

Dane i testy

Badacze użyli wspomnianego Qwen3-VL-8B jako modelu bazowego i ocenili AdaCodec w jedenastu testach porównawczych obejmujących trzy obszary rozumienia wideo: wydajność dla długich filmów oceniono za pomocą MLVU, LongVideoBench i LVBench; rozumienie zależności czasowych za pomocą TempCompass, MotionBench i TOMATO; i ogólne rozumienie wideo za pomocą Video-MME, MVBench, NExT-QA, PerceptionTest i EgoSchema.

Przetestowane modele z otwartym kodem źródłowym to InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; i Molmo2-O-7B.

Warianty GPT-5, Gemini i Claude występują w poniższej tabeli wyłącznie jako punkty odniesienia. CoPE-VideoLM-7B i ReMoRa-7B to wcześniejsze modele języka wideo, które ograniczają liczbę tokenów wizualnych dzięki kompresji inspirowanej kodekami. Są więc najbliższymi bezpośrednimi konkurentami AdaCodec:

Główne wyniki w jedenastu testach porównawczych obejmujących rozumienie długich filmów, rozumowanie czasowe i ogólne rozumienie wideo. Wyższy wynik oznacza lepsze działanie. LVB = LongVideoBench; V-MME = Video-MME. Pogrubienie i podkreślenie oznaczają najwyższe i drugie najwyższe wyniki wśród modeli z otwartym kodem. Wyniki modeli zamkniętych pochodzą z oficjalnych raportów, gdy były dostępne; brakujące wyniki zaczerpnięto z Molmo2 lub ocenili je autorzy.

Dla rzetelnego porównania AdaCodec i standardowemu systemowi Qwen3-VL-8B przydzielono taką samą liczbę tokenów wizualnych. Wyniki odzwierciedlają zatem skuteczność metody kompresji, a nie różnice w zasobach obliczeniowych.

Przy najsilniejszej kompresji AdaCodec zmniejszył zużycie tokenów wizualnych o około 86%, dorównując systemowi bazowemu lub nieznacznie go przewyższając w zadaniach dotyczących długich filmów, rozumienia zależności czasowych i ogólnego rozumienia wideo.

Gdy oszczędzone tokeny przeznaczono na przetwarzanie większej liczby klatek, wydajność wzrosła we wszystkich testach długich filmów i wszystkich testach czasowych. Poprawa sięgnęła +5,4 punktu w LongVideoBench i +4,3 punktu w TOMATO, dając jedne z najlepszych wyników modeli z otwartym kodem w badaniu.

Wnioski

Chociaż takie projekty zwykle kieruje się do dostawców hyperscale, ten rodzaj pracy zainteresuje również hobbystów oraz małe i średnie przedsiębiorstwa. Może stać się częścią nowej, publicznie widocznej powściągliwości wokół lokalnych, bardziej racjonalnych wdrożeń AI.

W społecznościach takich jak r/stablediffusion jest to znana praktyka: każda duża premiera modelu z otwartym kodem jest regularnie przekształcana w skrajnie zoptymalizowaną wersję (GGUF, skwantyzowane wagi i tak dalej), która przy odrobinie cierpliwości działa na słabszych kartach graficznych.

Jeśli nastawiona na efektowną prezentację faza tego trzeciego boomu AI rzeczywiście się skończyła i zakładamy, że firmy odstraszą rzeczywiste koszty wnioskowania, inicjatywy takie jak AdaCodec mogą być częścią nadchodzącej „wielkiej optymalizacji”.

^† Nie jest to eksportowanie filmu do formatu i rozmiaru pliku odpowiednich dla użytkownika. Chodzi o wewnętrzne generowanie i składanie klatek w modelu AI podczas wnioskowania.

* W rozsądnych granicach zamieniłem odwołania bibliograficzne autorów w tekście na hiperłącza.

Pierwsza publikacja: czwartek, 4 czerwca 2026