Videokodek pro záběry generované AI

S tím, jak končí éra neomezené spotřeby AI, nová úsporná metoda generování videa pomocí AI slibuje významné úspory tokenů a času.

Skutečné náklady na inferenci AI přinášejí nový důvod ke střízlivosti (související odkaz) do překotného tempa současné revoluce AI. Roste přitom zájem o racionalizaci nákladů na strojové učení. Kromě potenciálu přesunu AI do vlastního prostředí organizace a obecného vzestupu soukromé AI budou optimalizaci samozřejmě potřebovat i postupy strojového učení náročné na paměť VRAM a další zdroje.

Generování videa je možná největším spotřebitelem zdrojů v této oblasti. Pokud jste někdy znovu komprimovali film nebo jej exportovali ze střihového programu, znáte zátěž, kterou tato úloha nesouvisející s AI klade na hardware: spotřebovává RAM a cykly procesoru a často brání jinému využití počítače, pokud neomezíte dopad kompresního algoritmu na jeho výkon.

Stačí si proto představit, v jakém měřítku rozvoj videa generovaného AI opakuje tento výpočetně náročný proces v datových centrech po celém světě. V takovém měřítku získávají i nejmenší dílčí úspory po sečtení okamžitě na významu.

Snímek v centru pozornosti

V tomto kontextu navrhuje nová výzkumná práce ze Šanghaje, připravená ve spolupráci s JD.com (JD ), videokodek určený nikoli pro závěrečné renderování, tedy komprimování velkých surových snímků do menších videosouborů, ale pro samotný proces generování videa pomocí AI.

Běžný videokodek neukládá každý snímek jako úplný obraz. Místo toho vytváří menší počet úplných obrazů označovaných jako I-snímky, a poté ukládá změny mezi snímky.

Když se například člověk ve videu mírně pohne, kodek zaznamená jen části snímku, v nichž nastala změna, místo aby znovu ukládal celou scénu. Jde o P-snímky, odvozené z dřívějších snímků, a B-snímky, které mohou využívat také informace z pozdějších snímků:

Stavba videokodeku: horní řada ukazuje časovou posloupnost snímků I, P a B. I-snímky jsou uloženy celé a zobrazeny v plných barvách, zatímco P- a B-snímky jsou ztlumené, aby naznačovaly rekonstrukci. Šipky ukazují využití dřívějších snímků, pozdějších snímků nebo obou. Dolní panely znázorňují úplně uložený snímek (I, vlevo), snímek vytvořený z dřívějšího snímku (P, druhý zleva) a snímek vytvořený z dřívějších i pozdějších snímků (B, vpravo).

Opakované využívání blízkých informací udržuje malé rozměry videosouborů. Většina snímků není novými obrazy, ale pokyny popisujícími změny oproti předchozímu snímku. I-snímky jsou tedy úplné nekomprimované nebo jen minimálně komprimované obrazy, které zabírají mnoho místa. Mezilehlé snímky obsahují pouze rozdíly vůči I-snímkům a mezi sebou.

Když je každý jednotlivý snímek úplným nekomprimovaným obrazem, film v podstatě nemá žádnou kompresi. Dvouhodinový film uložený tímto způsobem by vyžadoval téměř terabajt místa na disku nebo více. Přesto právě takto AI vytváří filmy^†: každému snímku přiděluje stejné zdroje a tokeny při výpočtu toho, jak video sestavit.

Úspory ve velkém měřítku

Nová práce s názvem AdaCodec: A Predictive Visual Code for Video MLLMs naproti tomu využívá úplné vizuální tokeny výhradně na referenční snímky (I-snímky), zatímco všechny mezilehlé snímky představuje jako kompaktní P-tokeny. Tento princip zjevně vychází z tradiční komprese běžných videokodeků.

Po této vnitřní kompresi lze výsledné video generované AI komprimovat obvyklým způsobem. Teoreticky vznikají veškeré úspory na straně serveru:

Přehled AdaCodec. Vlevo se videa dělí na adaptivní skupiny snímků. Úplné I-snímky jsou vyhrazeny obtížně předvídatelným okamžikům, zatímco mezilehlé P-snímky reprezentují kompaktní informace o pohybu a reziduálním signálu. Vpravo se systém vyrovná Qwen3-VL-8B nebo jej překoná v jedenácti srovnávacích testech, zachovává vyšší přesnost u dlouhých videí při různých rozpočtech tokenů a zkracuje odezvu při zpracování podstatně menšího počtu videotokenů. Zdroj

Podle zveřejněných výsledků testů AdaCodec stojí za to o tyto úspory usilovat. Studie uvádí, že systém překonal neupravený Qwen3-VL-8B ve všech hlavních srovnávacích testech při stejném objemu výpočtů. Modelu se stále vyrovnal nebo jej překonal i po snížení počtu videotokenů přibližně o 86 %.

Autoři uvádějí*:

„Inspirujeme se prediktivním kódováním, při němž systém přenáší chyby predikce místo surového signálu. Tento princip má biologické opodstatnění: předpokládá se, že zrakový systém kóduje chyby predikce, tedy rozdíl mezi očekávaným a pozorovaným vstupem, nikoli samotný vstup.“

„Moderní videokodeky uplatňují tutéž myšlenku reziduálního kódování v technické praxi: referenční snímky nesou úplný obsah, zatímco prediktivní snímky obsahují pohybové a reziduální signály vzhledem k referenčnímu snímku.“

„Tyto systémy mají různé cíle, ale sdílejí stejnou podmíněnou strukturu: obsahují-li blízké vzorky nadbytečné informace, kanál by měl přenášet to, co predikce nedokáže vysvětlit.“

„Standardní kodeky jsou ovšem optimalizovány pro bitové toky a rekonstrukci určenou lidským divákům, nikoli pro vizuální tokeny používané LLM. Proto tento mechanismus přepracováváme na rozhraní MLLM pro porozumění videu.“

Novou práci napsalo 11 výzkumníků ze Shanghai Jiao Tong University, Shanghai Innovation Institute a JD.com. Doprovází ji stránka projektu a přislíbeno je také zveřejnění zdrojového kódu.

Metoda

Jak bylo popsáno, systém nepovažuje každý snímek za zcela nový obraz, ale hledá změny mezi po sobě jdoucími snímky. Na levé straně následující ilustrace se malá oblast aktuálního snímku porovnává s nejpodobnější oblastí dřívějšího snímku:

Schéma AdaCodec.

Vzdálenost mezi oběma polohami se stává pohybovým vektorem, zatímco zbývající vizuální rozdíly tvoří reziduální signál. Tyto kompaktní popisy nahrazují nutnost ukládat úplný obraz.

Vpravo výsledné informace vstupují do modelu AI. Důležité referenční snímky se stále zpracovávají jako úplné obrazy, ale mezilehlé snímky reprezentují mnohem menší pohybové a reziduální tokeny. Zdá se, že tak model zachovává dostatek informací pro interpretaci videa, a přitom zpracovává podstatně méně vizuálních dat.

Zajímavým úkolem je rozhodnout, které snímky má smysl ukládat celé. Tradiční videokodeky obvykle vkládají referenční snímky v pravidelných intervalech bez ohledu na to, zda jsou potřeba. AdaCodec se naproti tomu snaží rozpoznat nejdůležitější okamžiky.

Představme si scénu s téměř nehybným rozhovorem dvou lidí v bytě. Náhle oknem vtrhne jednotka SWAT. Okamžitě přibude úhlů kamery i střihů, což vyžaduje mnohem více dat, než poskytuje pravidelný interval referenčních snímků:

Na tomto principu stojí metody proměnlivé komprese, například proměnlivý datový tok. Analyzují zdrojové video a hledají takové rušné úseky, aby mohly přidělit více dat tam, kde jsou potřebná. Vyžaduje to ovšem nemalé množství času a zdrojů.

Pokud AdaCodec dokáže snímek přesně předpovědět z okolních snímků, nadále používá kompaktní pohybové a reziduální tokeny. Při výrazné změně scény, jako při zásahu SWAT nebo méně dramatické události, vloží úplný referenční snímek. Větší část dostupného výpočetního rozpočtu tak může věnovat důležitým vizuálním informacím, místo aby jej rovnoměrně rozděloval mezi celé video.

Data a testy

Výzkumníci použili zmíněný Qwen3-VL-8B jako základní model a hodnotili AdaCodec v jedenácti srovnávacích testech pokrývajících tři oblasti porozumění videu: výkon při zpracování dlouhých videí hodnotili pomocí MLVU, LongVideoBench a LVBench; porozumění časovým souvislostem s TempCompass, MotionBench a TOMATO; a obecné porozumění videu s Video-MME, MVBench, NExT-QA, PerceptionTest a EgoSchema.

Testované modely s otevřeným zdrojovým kódem zahrnovaly InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; a Molmo2-O-7B.

Varianty GPT-5, Gemini a Claude jsou v následující tabulce uvedeny pouze jako srovnávací základ. CoPE-VideoLM-7B a ReMoRa-7B jsou dřívější videojazykové modely, které snižují počet vizuálních tokenů kompresí inspirovanou kodeky. Jsou proto nejbližšími přímými konkurenty AdaCodec:

Hlavní výsledky v jedenácti srovnávacích testech dlouhých videí, časového uvažování a obecného porozumění videu. Vyšší skóre znamená lepší výkon. LVB = LongVideoBench; V-MME = Video-MME. Tučné a podtržené hodnoty označují nejlepší a druhé nejlepší skóre mezi otevřenými modely. Skóre uzavřených modelů pocházejí z oficiálních zpráv, pokud byla dostupná; chybějící výsledky byly převzaty z Molmo2 nebo je vyhodnotili autoři.

Pro spravedlivé srovnání dostaly AdaCodec i standardní systém Qwen3-VL-8B stejný počet vizuálních tokenů. Výsledky tak odrážejí účinnost kompresní metody, nikoli rozdíly ve výpočetních zdrojích.

Při nejsilnější kompresi snížil AdaCodec spotřebu vizuálních tokenů přibližně o 86 %, a přesto se vyrovnal základnímu systému nebo jej mírně překonal v úlohách zaměřených na dlouhá videa, časové souvislosti i obecné porozumění videu.

Když byly ušetřené tokeny využity ke zpracování dalších snímků, výkon vzrostl ve všech testech dlouhých videí a ve všech časových testech. Zlepšení dosáhlo +5,4 bodu v LongVideoBench a +4,3 bodu v TOMATO, což patřilo k nejlepším výsledkům otevřených modelů ve studii.

Závěr

Přestože podobné projekty obvykle cílí na poskytovatele hyperscale, tento typ práce zaujme i nadšence a malé a střední podniky. Může se stát součástí nové veřejně patrné střídmosti kolem lokálního, racionálnějšího nasazování AI.

V komunitách jako r/stablediffusion jde o dávno známou praxi: každé velké nové vydání otevřeného modelu se pravidelně převádí na krajně optimalizovanou verzi (GGUF, kvantizované váhy a podobně), kterou lze s trochou trpělivosti provozovat na méně výkonných grafických kartách.

Pokud fáze okázalého předvádění tohoto třetí boomu AI skutečně skončila a předpokládáme, že firmy odradí skutečné náklady na inferenci, mohou být iniciativy jako AdaCodec součástí nadcházející „velké optimalizace“.

^† Nejde o export videa do uživatelsky vhodného formátu a velikosti souboru, ale o vnitřní generování a sestavování snímků v modelu AI během inference.

* Průběžné citace autorů jsem v rozumných mezích převedl na hypertextové odkazy.

Poprvé publikováno ve čtvrtek 4. června 2026