Výzva popisku videa při více než 1 snímku za sekundu

Schopnost strojových učících se systémů rozpoznat události, které se vyskytují uvnitř videa, je zásadní pro budoucnost AI-založené generace videa – nejen proto, že video datové sady vyžadují přesné popisky, aby modely vyhovovaly požadavkům uživatele a nevytvářely nadměrné halucinace.

Příklad schématu popisu z projektu VidReCap od Google. Zdroj: https://sites.google.com/view/vidrecap

Ručně přidávat popisky k množství videí potřebných pro efektivní trénovací datové sady je nemožné. Ačkoli je možné trénovat AI systémy pro automatické přidávání popisků k videím, stále je zapotřebí mnoho lidsky generovaných příkladů jako referenční hodnoty pro rozmanitost a pokrytí.

Více důležitější je, že téměř všechny současné AI-založené modely popisu videa fungují na 1 snímku za sekundu, což není dostatečně hustá rychlost snímání, aby rozpoznala variace v mnoha scénářích: náhlé mikro-exprese pro systémy rozpoznávání emocí; rychlé události v high-speed sportech, jako je basketbal; násilné pohyby; rychlé střihy v dramatických filmech, kde systémy, jako je PySceneDetect, mohou selhat při jejich identifikaci (nebo nejsou použity); a mnoho dalších scénářů, kde je zjevně zapotřebí intenzivnější okno pozornosti.

Klikněte pro přehrávání. Rychlá, ale životně důležitá akce v jednom z nejpomalejších sportů na světě, jak Alex Higgins vyhrál mistrovství světa proti Ray Reardonovi v roce 1982. Zdroj: https://www.youtube.com/watch?v=_1PuqKno_Ok

Pohybujte se rychle a porušujte logiku

Tato nízká rychlost je standardem z různých logistických důvodů. Jedním z nich je, že popis videa je činnosti náročné na zdroje, ať už systém studuje jeden sekvenční snímek najednou, nebo používá různé metody pro semantické sjednocení řetězce snímků do interpretabilní sekvence popisků. V obou případech je kontextové okno nevyhnutelně omezeno hardwarovými omezeními.

Dalším důvodem, proč je 1 snímek za sekundu současným standardem, je, že videa nejsou obecně plná rychlých událostí; je proto zbytečné věnovat 300 snímkům statického stolu pro snooker stejnou pozornost jako zlomkovému sekundu, ve kterém je vyhrán černý koule (viz výše uvedený příklad).

Je možné použít širší sekundární signály pro identifikaci zásadních okamžiků ve sportovním videu, jako je udržení reakce publika na rychlý slam-dunk v basketbalu. Tyto signály však mohou nastat z jiných důvodů (jako neočekávaná zranění hráčů), a nelze se na ně spolehnout. To je jeden příklad toho, jak nesprávně označená video datová sada může vést k generativnímu video modelu, který halucinuje nebo špatně interpretuje pokyny, tj. protože model může zobrazit zranění hráče, když byl požádán o generování slam-dunku (protože „sekundární signál“ publika nebyl výlučný pro jeden konkrétní typ události).

To je mnoha způsoby „rozpočtový“ problém a v jiných ohledech procedurální problém. Rámce do dneška fungovaly na principu, že řídké klíčové snímky mohou účinně zachytit základní informace, ale to je účinnější při stanovení žánru a dalších aspektů předmětu videa, protože důkazy v tomto případě přetrvávají po několik snímků.

F-16

Nová práce z Číny nabízí řešení, ve formě prvního multimodálního velkého jazykového modelu (MLLM, nebo jednoduše LLM), který může analyzovat video na 16 snímcích za sekundu místo standardních 1 snímku za sekundu, a přitom se vyhnout hlavním pastem zvyšování rychlosti analýzy.

V testech autoři prohlašují, že nový systém, nazvaný F-16, překonává proprietární modely nejvyšší úrovně, jako GPT-4o a Google Gemini-1.5 pro. Ačkoli jiné současné modely byly schopny dosáhnout nebo překonat výsledky F-16 v testech, byly tyto modely mnohem větší a neohrabanější.

Ačkoli F-16 byl trénován na některých vážných hardwarových zařízeních (jak budeme zkoumat brzy), inference je obvykle mnohem méně náročné než trénink. Proto můžeme doufat, že kód (slíbený pro blízkou budoucnost) bude schopen běžet na středních nebo vyšším domácích GPU.

Co je zapotřebí pro vitalitu scény hobbyistů (a to zahrnuje profesionální scény VFX, většinu času) je model popisu videa tohoto druhu, který může fungovat, možná kvantizován, na spotřebitelských systémech, aby se celá generativní video scénář nezměnila na API-založené komerční systémy, nebo aby spotřebitelé byli nuceni připojit místní rámce k komerčním online službám GPU.

Mimo škálování

Autoři poznamenávají, že tento přístup je praktickou alternativou ke škálování dat. Lze také odvodit, že pokud byste chtěli házet více dat do problému, je to stále přístup, který by mohl být preferován, protože nový systém rozlišuje události jemněji.

Prohlašují:

‘Nízká rychlost snímání může vést ke ztrátě kritických vizuálních informací, zejména ve videích s rychlými scénami, složitými detaily nebo rychlým pohybem. Kromě toho, pokud jsou vynechány klíčové snímky, ale model je trénován na popiscích, které závisejí na informacích z klíčových snímků, může mít potíže s vyrovnaním svých předpovědí s očekávaným obsahem, potenciálně vedoucím k halucinacím a zhoršenému výkonu…

‘… F-16 dosahuje nejlepších výsledků v obecném porozumění videa mezi modely podobné velikosti a prokazuje zjevnou výhodu v porozumění videa s vysokou rychlostí snímání, překonávající komerční modely, jako je GPT-4o. Tato práce otevírá nové směry pro pokrok v multimodálním výzkumu LLM.’

Nová práce je nazvaná Vylepšení porozumění videa LLM se 16 snímky za sekundu a pochází od osmi autorů z Tsinghua University a ByteDance.

Metoda

Jelikož po sobě jdoucí snímky často obsahují redundantní informace, F-16 aplikuje aligner s vysokou rychlostí snímání, aby komprimoval a zakódovat klíčové pohybové detaily, zatímco zachoval vizuální sémantiku. Každý snímek je nejprve zpracován předtrénovaným obrazovým kodérem, extrahujícím reprezentace funkcí, než je předán aligneru založenému na Gaussian Error Linear Units (GELUs).

Architektura F-16 zpracovává video na 16 snímcích za sekundu, zachycující více snímků než tradiční modely s nízkou rychlostí snímání, a její aligner s vysokou rychlostí snímání zachovává vizuální sémantiku, zatímco efektivně kóduje dynamiku pohybu bez přidání dalších vizuálních tokenů. Zdroj: https://arxiv.org/pdf/2503.13956

Pro efektivní zpracování zvýšeného počtu snímků F-16 seskupuje snímky do malých procesních oken, slučuje vizuální funkce pomocí třívrstvého Multi-Layer Perceptron (MLP), pomáhající zachovat pouze nejrelevantnější pohybové detaily a snižovat zbytečnou duplicaci, zatímco zachovává časový tok akcí. Prostorový max-pooling vrstva dále komprimuje počet tokenů, udržuje výpočetní náklady v mezích.

Zpracované video tokeny jsou pak předány do Qwen2-7B LLM, který generuje textové odpovědi na základě extrahovaných vizuálních funkcí a zadaného uživatelského promptu.

Tímto způsobem F-16 umožňuje, jak autoři prohlašují, přesnější rozpoznání událostí v dynamických scénách, zatímco stále zachovává efektivitu.

Stručná verze

F-16 rozšiřuje předtrénovaný obrazový LLM, LLaVA-OneVision, pro zpracování videa transformací jeho vizuálního vstupního potrubí. Zatímco standardní obrazové LLM zpracovávají izolované snímky, aligner F-16 s vysokou rychlostí snímání reformátuje více snímků do formy, kterou model může efektivněji zpracovat; tím se zabrání zahlcení systému redundantními informacemi, zatímco se zachovají klíčové pohybové signály nezbytné pro přesné porozumění videa.

Pro zajištění kompatibility se svou obrazovou základnou F-16 znovu využívá předtrénované parametry reorganizací svého aligneru do sub-matic. Tento přístup umožňuje integrovat znalosti z modelů jednoduchých snímků, zatímco se přizpůsobuje sekvencím videa.

Aligner nejprve komprimuje sekvence snímků do formátu optimalizovaného pro LLM, zachovává nejinformovanější funkce, zatímco se zbavuje zbytečných detailů. Návrh architektury umožňuje systému zpracovávat video s vysokou rychlostí snímání, zatímco udržuje výpočetní náklady pod kontrolou, což autoři považují za důkaz, že škálování není jedinou (nebo nejlepší) cestou vpřed pro popis videa.

Změna tempa

Jelikož zpracování videa na 16 snímcích za sekundu zlepšuje porozznání pohybu, ale zvyšuje výpočetní náklady, zejména během inference, F-16 zavádí metodu dekódování s proměnlivou rychlostí snímání, která umožňuje dynamicky upravovat rychlost snímání bez nutnosti opětovného trénování.

Dostupné alignery pro F-16.

Tato flexibilita umožňuje modelu fungovat efektivně při nižších rychlostech snímání, kdy není vyžadována vysoká přesnost, a snižuje výpočetní náročnost.

Při testování, kdy je vybrána nižší rychlost snímání, F-16 znovu využívá dříve trénované parametry aligneru opakovaným vstupním snímkům, aby odpovídaly očekávaným rozměrům. To zajišťuje, že model může stále zpracovávat video efektivně, aniž by měnil svou architekturu.

Na rozdíl od naivní downsamplingu (tj. jednoduchého odstranění snímků), který riskuje ztrátu kritických pohybových detailů, tato metoda zachovává naučené pohybové reprezentace aligneru, udržuje přesnost i při nižších rychlostech snímání. Pro obecné porozumění videa může nižší rychlost snímání urychlit inference bez významné ztráty výkonu, zatímco analýza rychlých pohybů může stále využívat plnou kapacitu 16 snímků za sekundu.

Data a testy

Postavený na Qwen2-7B, FP-16 rozšiřuje LLaVA-OneVision pomocí SigLIP jako obrazového kodéru. S video snímky vzorkovanými na 16 snímcích za sekundu lze získat až 1 760 snímků z každého videa. Pro delší video klipy byly snímky uniformně (tj. řidčeji) vzorkovány.

Pro trénování F-16 používal stejné obecné video datové sady jako LLaVA-Video, včetně LLaVA-Video-178K, NExT-QA, ActivityNet-QA a PerceptionTest.

F-16 byl navíc jemně trénován na high-speed sportovních datových sadách FineGym, Diving48 a SoccerNet. Autoři také kurátorovali kolekci 276 NBA zápasů hraných mezi 13. a 25. listopadem 2024, zaměřených na to, zda byl střelec úspěšný (úkol vyžadující zpracování s vysokou rychlostí snímání).

Model byl hodnocen pomocí NSVA testovací sady, s výkonem měřeným pomocí F1 skóre.

Gymnastika a potápění modely byly hodnoceny na základě přesnosti rozpoznání událostí, zatímco fotbal a basketbal modely sledovaly přihrávky a výsledky střel.

Model byl trénován po dobu 1 epochy pomocí 128 NVIDIA H100 GPU (a při standardních 80 GB VRAM na GPU, to vyžadovalo použití 10,24 terabajtů GPU paměti; i podle nedávných standardů je to nejvyšší konfigurace GPU clusteru, se kterým jsem se osobně setkal při sledování literatury počítačového vidění). Learning rate 2×10⁻⁵ byl použit během trénování.

Dále byl LoRA jemně trénován na sportovních datech s použitím LoRA adaptérů se 64 GPU po dobu 5 epoch. Zde byl trénován pouze LLM, zatímco obrazový kodér byl zmrazen.

Proti nim stály testované rámce v počáteční fázi pro „obecné porozumění videa“ byly GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; a NVILA-7B;

Modely byly hodnoceny na Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; a LongVideoBench.

Srovnání výsledků video QA napříč modely, ukazující limity FPS a výkon na více benchmarků. F-16 dosahuje nejlepších výsledků mezi 7B modely na Video-MME, NQA, TPB a MB, soupeřících s proprietárními modely, jako je GPT-4o a Gemini-1.5-Pro.

Z těchto výsledků autoři prohlašují:

‘Na Video-MME Short, Medium a NeXT-QA datové sady – každá navržená pro krátké video porozumění – náš model překonává předchozí 7B SOTA model o 3,2 %, 1,0 % a 0,9 % v přesnosti, zdůrazňující jeho silný výkon na krátkých videích.

‘Pro benchmarky, které hodnotí dlouhé video porozumění, jako je Video-MME Long, LongVideoBench a MLVU, je výzva větší kvůli řidčímu vzorkování snímků, což způsobuje, že snímky v procesním okně vykazují větší variace.

‘To zvyšuje obtížnost pro modální aligner, aby efektivně kódoval temporální změny v omezeném tokenovém reprezentaci. Jako výsledek F-16 zažívá mírný pokles výkonu ve srovnání s [LLaVA-Video-7B], který je trénován na stejném video datasetu.’

F-16 s vysokou rychlostí snímání, autoři pokračují, také vedl k 13,5% zlepšení na TemporalBench a 2,5% zlepšení na MotionBench, ve srovnání s existujícími 7B modely, a dosáhl podobné úrovně jako komerční modely, jako je GPT-4o a Gemini-1.5-Pro.

Porozumění high-speed sportovním videím

F-16 byl testován na FineGym, Diving48, SoccerNet a NBA datové sady, aby vyhodnotil jeho schopnost porozumět high-speed sportovním akcím.

Pomocí 10 000 ručně anotovaných NBA klipů se trénink zaměřil na pohyb míče a hráčské akce a zda model mohl správně určit, zda byl střelec úspěšný, pomocí NSVA testovací sady hodnocené pomocí F1 skóre.

Výsledky analýzy high-speed sportovních videí. F-16 s alignerem s vysokou rychlostí snímání fungoval lépe než jeho nízkorychlostní protějšek napříč všemi sportovními úkoly. GPT-4o a Gemini-1.5-Pro byly také hodnoceny na NBA a SoccerNet QA, kde nebyla vyžadována doménově specifická trénovací znalost.

Na FineGym, který měří rozpoznání gymnastických akcí, F-16 fungoval o 13,8 % lépe než předchozí 7B SOTA model, prokazující zlepšené jemné porozumění pohybu.

Diving48 vyžadoval identifikaci složitých pohybových sekvencí, jako je fáze vzletu, salto, skok a let, a F-16 ukázal vyšší přesnost při rozpoznávání těchto přechodů.

Pro SoccerNet model analyzoval 10sekundové klipy, identifikující přihrávky, a výsledky ukázaly zlepšení oproti existujícím 7B modelům, naznačující, že vyšší FPS přispívá k sledování malých a rychlých pohybů.

V NBA datové sadě byla schopnost F-16 určit výsledky střel blízká přesnosti větších proprietárních modelů, jako je GPT-4o a Gemini-1.5-Pro, dále naznačující, že vyšší rychlost snímání zlepšuje jeho schopnost zpracovávat dynamické pohyby.

Proměnlivá rychlost snímání

F-16 byl testován na různých rychlostech snímání, aby se měřila jeho adaptabilita. Místo opětovného trénování zpracovával nižší rychlosti snímání opakovaným snímkům, aby odpovídaly vstupní struktuře aligneru. Tento přístup zachoval více výkonu než jednoduché odstranění snímků (které je náchylné k ztrátě přesnosti).

Výsledky ukazují, že zatímco snížení rychlosti snímání mělo nějaký dopad na rozpoznání pohybu, F-16 stále překonával nízkorychlostní modely a dosahoval silných výsledků, dokonce i pod 16 snímky za sekundu.

Vlevo, časová spotřeba různých modulů F-16 během inference, měřená na 300 videích z Video-MME Long sady při různých testovacích FPS a délkách sekvencí. Vpravo, srovnání výkonu Video-MME pro modely trénované a testované na různých FPS. Plná čára reprezentuje modely trénované a testované na stejném FPS, zatímco čárkovaná čára ukazuje výkon, když model trénovaný na 16 FPS je testován na nižší rychlosti snímání.

Zpracování F-16 s vysokou rychlostí snímání zvýšilo výpočetní požadavky, ačkoli jeho aligner pomáhal spravovat tyto náklady komprimací redundantních vizuálních tokenů.

Model vyžadoval více FLOPs na video než nízkorychlostní modely, ale dosáhl lepší přesnosti na token, naznačující, že jeho strategie výběru snímků a komprese tokenů pomáhaly kompenzovat zvýšenou výpočetní zátěž.

Závěr

Je obtížné přehánět ani důležitost, ani výzvy tohoto konkrétního směru výzkumu – zejména v tomto roce, který má být průlomovým rokem pro generativní video, vrhající nedostatky kurace video datové sady a kvality popisu do ostrého světla.

Mělo by být také zdůrazněno, že výzvy spojené s získáním přesných popisů vnitřních detailů videa nelze řešit výhradně tím, že se na problém vrhne VRAM, čas nebo diskový prostor. Metoda, kterou jsou události izolovány/extractovány z jinak dlouhých a nudných částí videa (jako jsou golf nebo snooker video klipy), bude mít prospěch z přehodnocení semantických přístupů a mechanismů, které目前 dominují SOTA řešení – protože některé z těchto omezení byly stanoveny v časech s menšími zdroji.

(Mezi tím, i když 16 snímků za sekundu může vypadat jako velmi nízká rychlost snímání pro rok 2025, je zajímavé poznamenat, že toto je také nativní trénovací rychlost videa použitá v populárním Wan 2.1 generativním video modelu, a rychlost, se kterou tedy funguje s nejmenším množstvím problémů. Doufáme, že výzkumná scéna bude sledovat možnou „entropii standardů“; někdy zastaralá omezení mohou perpetuovat budoucí standardy)

Poprvé zveřejněno ve středu, 19. března 2025