Umělé inteligence raději čte knihu než sleduje film

Je překvapivě obtížné donutit modely umělé inteligence, aby sledovaly a komentovaly skutečný videoobsah, i když jsou pro tuto úlohu vytvořeny. Jsou více intéressovány psaným slovem.

Pokud jste někdy zkoušeli nahrát malé video do ChatGPT nebo podobného populárního modelu založeného na vidění a jazyce, možná jste byli překvapeni, že tyto modely vlastně nemohou analyzovat video. Zatímco modely jako ChatGPT-4o+ jsou schopny analyzovat jednotlivé snímky – ve formě obrázků, jako jsou JPEG a PNG – preferují, aby uživatel extrahoval自己的 snímky a nahrál je jako obrázky (které jsou připraveny komentovat).

V případě série OpenAI GPT lze, poměrně zdlouhavě, extrahovat kompletní běh snímků z video klipu a tyto předat ChatGPT, za účelem, například, vytvoření AI vytvořené narativní stopy pro video:

Obrázky a kód z OpenAI tutoriálu o zpracování více extrahovaných snímků za účelem vývoje AI vytvořené komentáře pro video klip. Zdroj

Ale uživatel musí provést konverzi z videa na snímky, buď voláním funkcí v větší rutině, jako je výše uvedený příklad, nebo extrahováním snímků pomocí FFMPEG nebo různých bezplatných a placených videoeditačních řešení.

Do jisté míry, možná i velké míry, omezení videoanalýzy ve velkých produktech, jako je ChatGPT, závisí na využití zdrojů: pouze jeden instanci umělé inteligence vybavit výběrem nejpopulárnějších video kodeků a zavázat výpočetní zdroje k disku-náročné a CPU-throttling procesu extrakce není žádná malá věc, pokud by se stovky milionů uživatelů rozhodly začít tyto funkce používat každý den.

Kromě toho může temporální analýza vykreslit velmi odlišný obraz než jeden snímek (představte si někoho, kdo vstupuje do domu v dobré náladě a poté objeví tělo); proto je zvažování celkového temporálního “kontrolního součtu” i krátkého video klipu náročným a náročným úkolem – a také specializovaným oblastí výzkumné literatury, například s pokračujícím vývojem rámců, jako je Optical Flow – který vlastně “rozvinuje” délku videa, aby ji bylo možné považovat a jednat s ní, jako by to byl statický dokument:

Optické tokové diagramy ukazují, jak se sleduje pohyb napříč snímky ve video sekvenci, se zelenými vektory ukazujícími směr a intenzitu pohybu. Tyto mapy poskytují temporální kontinuitu potřebnou pro VLM a mohou také sloužit jako strukturální průvodci ve VFX pracovních postupech. Zdroj

Usmíření se s Cliffovými Poznamenáním

Nicméně, protože modely, jako je Google’s Notebook LM a nedávné verze ChatGPT, jsou schopny číst přidružené metadata (tj. vložený textový obsah, který kontextualizuje video nějakým způsobem), nepřípustí video soubory nahrát; a někdy se dokonce pokusí interpretovat video, které nemá žádná taková data.

Při následujícím případě jsem nahrál 6sekundový náhodný klip z italského filmu Ruka Boží (2021) do NotebookLM, zajistil, že klip neobsahoval žádné užitečné texty, ani v metadatech, ani v názvu souboru.

NotebookLM pak procedoval s propracovaným halucinováním materiálu, který nebyl vůbec spojen s videem*, kompletně s nesmyslným a nesouvisejícím pětiminutovým rozhovorem:

Každodenní okamžik v 6sekundovém klipu z italského filmu je divoce špatně interpretován NotebookLM. Zdroj: Google NotebookLM

Although Notebook, stejně jako ChatGPT, přijme YouTube video jako vstup, udělá to pouze tehdy, pokud video obsahuje interpretabilní textovou vrstvu anotaci a/nebo titulky (ne rasterizované titulky, které jsou spáleny do videa).

Tímto způsobem je skutečná práce spojená s pohledem na obsah videa a provedením sémantické interpretace (což je právní nutnost pro YouTube, vzhledem k jeho opatřením na ochranu autorských práv, a jeho připravovanému systému na ochranu totožnosti) provedena dodatečně, po nahrání uživatelem, a to v okamžiku, kdy je klip schopen získat potřebné zdroje:

Realistická video interpretace je drahá a vyčerpávající, a zdá se, že i modely, které byly speciálně vytvořeny pro tento úkol, raději čtou text než skutečně sledují video.

TL;DW

To, podle nové studie z britské Univerzity v Bristolu, nazvané Video není worth tisíc slov, kde autoři docházejí k závěru, že současné modely vidění a jazyka (VLM) – modely, které jsou speciálně navrženy pro analýzu videa více úsilím, a pro účast ve video otázka a odpověď (VQA) – také přecházejí na textové informace, kdykoli je to možné.

Když byly modely dány pohyblivé obrázky a psané otázky a vícečetné odpovědi, autoři studie zjistili, že modely obvykle založily své výběry na vzorcích v textu, spíše než na čemkoli, co se děje na obrazovce – ve mnoha případech fungovaly stejně dobře, i když otázka byla odstraněna úplně.

V tom, co vypadá jako zvyk zkracování nebo podvádění, co bylo nejdůležitější pro většinu modelů, bylo schopnost rozpoznat vzorce v možných odpovědích; pouze tehdy, když byla úloha ztížena přidáním více odpovědí, začaly AI více dbát na video.

Autoři provedli VQA testy za různých podmínek u šesti VLM modelů s různými kontextovými délkami, na čtyřech vhodných datech; a zjistili, že výsledky ukazují, že modely se spoléhají méně na video než na text, zejména při posuzování snímku po snímku. I když video mělo rozumný výkon v celkovém příspěvku, jeho vliv na funkci byl často minimální, naznačující, že zatímco model mohl používat video v agregátu, nevěnoval mu příliš pozornosti. VideoLLaMA3 byl hlavním outlierem, s těžší vizuální závislostí, zejména na delších sekvencích v LVBench:

Příklad ze studie, ukazující, jak video-analytický model váží to, co vidí, versus to, co čte. Klip ukazuje osobu, která tká bambus, ale model přiřazuje mnohem větší důležitost psanému otazu a odpovědi textu než video snímkům. Modré zvýraznění označuje prvky, které podporují zvolenou odpověď, zatímco červené označují ty, které ji táhnou v opačném směru, ilustrující, jak se modelovo uvažování soustředí na znění spíše než na pohyblivé obrázky. Zdroj

Metoda

Pro pochopení, jak každý vstup přispívá k rozhodnutí modelu, nová práce používá metodu z herní teorie nazvanou Shapley Values. Původně navržená pro spravedlivé rozdělení odměny mezi hráči v koalici, Shapley Values přiřazují kredit každému “hráči” na základě jeho individuálního dopadu.

Efektivně tedy “hráči” v tomto scénáři jsou buď video snímky, nebo textové komponenty (anotace, titulky, popisky atd.) VQA úkolu; a “odměna” je konečná odpověď modelu. Systematickým testováním toho, co se stane, když je každá část přidána nebo odstraněna, tato technika odhaluje, jak důležitý byl každý prvek pro zvolenou odpověď.

V případě nové studie byly Shapley Values přizpůsobeny pro zpracování smíšených modalit, s video a textovými komponenty léčenými diskrétně, a jejich různé vlivy na výstupy modelů měřeny, odhalující, zda video obsah byl skutečně interpretován, nebo zda psané nápovědy byly použity jako zkratky.

Metriky

Byly definovány dvě jednoduché metriky pro srovnání, jak každý modus (tj. video, otázka nebo odpověď) přispívá k rozhodnutí modelu: Modální příspěvek měří, kolik z celkového vysvětlení pochází z každého typu vstupu; zde jsou všechny dostupné Shapley hodnoty sečteny a podíl patřící každému modusu vypočten jako procento celkového.

Druhá, Průměrný příspěvek na funkci, koriguje fakt, že některé modality, jako je video, obsahují mnohem více funkcí než ostatní. Místo toho je vypočten průměrný Shapley hodnot pro každou funkci, a tyto průměry jsou porovnány, aby určily, která modální vliv je dominantní.

Data a testy

Autoři otestovali přístup na šesti VLM modelech s různými charakteristikami, navržených tak, aby zajišťovaly, že principy testů jsou široce aplikovatelné a obecně platné. Proto byly modely vybrány pro různé kontextové délky, různé věky (tj. jak dlouho od vydání rámce) a různé architektonické konfigurace.

Účastníky byli FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (který využívá Qwen2); a LongVA (také používající Qwen2).

S stejným cílem rozmanitosti byly čtyři cílové datové sady vybrány: EgoSchema, VQA datová sada navržená tak, aby byla dokončena bez plného zobrazení spojených videí; HD-EPIC, kuchyňský datový soubor s některými neobvykle dlouhými videi; MVBench, kurátorské shromáždění příspěvků z jiných datových sad; a LVBench, který klade VQA dotazy pro velmi dlouhá videa.

Z nich autoři vytvořili 60 otázek – deset z každé otázky.

Metriky příspěvku ukázaly, že většina modelů se spoléhala méně na video než na text, zejména při posuzování snímku po snímku. I když video mělo rozumný výkon v celkovém příspěvku, jeho vliv na funkci byl často minimální, naznačující, že zatímco model mohl používat video v agregátu, nevěnoval mu příliš pozornosti. VideoLLaMA3 byl hlavním outlierem, s těžší vizuální závislostí, zejména na delších sekvencích v LVBench:

Modální příspěvek (MC) a Průměrný příspěvek na funkci (PFC) skóre napříč modely a datovými sadami, ukazující relativní váhu video (V), otázka (Q) a odpověď (A) vstupů. Chladnější barvy označují silnější příspěvky; teplejší barvy označují slabší nebo zanedbatelný vliv. Napříč většinou nastaveními je jazyk jasně dominantní, zatímco video je často marginalizováno – zejména v per-snímku vlivu.

Co se týče textu, otázka tendovala k tomu, aby měla větší význam než odpověď, zejména u silnějších modelů. To bylo nejvíce patrné v datech, jako je EgoSchema, kde otázky byly delší a více naturalistické, zatímco odpovědi byly krátké a někdy schematické. MVBench otočil to trochu, protože jeho binární odpověďová struktura inflace zdánlivý význam odpovědí tokenů.

Napříč všemi modely a datovými sadami, nicméně, vidění bylo konzistentně marginalizováno, s jazykem, který dělal většinu těžké práce.

Studie uvádí:

‘[Pro] dlouhé kontextové modely, video ukazuje výrazně snížené příspěvky, což znamená, že per-snímek Shapley hodnoty jsou mnohem menší než jejich textové funkce protějšky.

‘Video jako celá modality je jasně stále vysoce relevantní, ale toto je důkaz, že Shapley hodnoty jeho jednotlivých snímků jsou více soustředěny kolem nuly, a že modelova pozornost k nim je mnohem méně řízena než pro text.’

Aby otestovali, jak každý část vstupu přispívá k přesnosti modelu, výzkumníci provedli další testy pomocí maskování – záměrného skrytí jedné nebo více částí vstupu a zjištění, jak se změní přesnost modelu jako výsledek.

Pokud se výkon modelu dramaticky zhorší, když je konkrétní vstup odstraněn, je tento vstup pravděpodobně důležitý; pokud model funguje stejně, naznačuje to, že chybějící kus nebyl silně spoléhán. V tomto smyslu jsou maskovací testy druhem iterativní ablační studie.

Vliv výkonu na maskování video, otázka nebo odpověď vstupů napříč čtyřmi VQA benchmarky. Skóre ukazují změnu od ne-maskovaného baseline. Červená znamená nižší přesnost, zelená vyšší. Modely často udržovaly vysoké skóre bez videa, ale ztratily více, když byla (textová) odpověď odstraněna. Otázka mohla být obvykle maskována s minimálním účinkem.

Výsledky (viz výše) ukazují, že odpovědi (textové odpovědi v multiple-choice datech) nesou největší váhu napříč deskami. Maskování odpovědi obvykle způsobilo největší pokles přesnosti, často snižující modely na near-random výkon.

Maskování otázky obvykle mělo mnohem menší efekt, což podporuje dřívější zjištění, že modely často podceňují otázku.

V některých případech se přesnost dokonce zlepšila když byla otázka odstraněna, což naznačuje, že modely někdy pouze odpovídaly na odpovědi na vizuální nebo textové nápovědy, spíše než řádně vyhodnocovaly otázku.

Modely se také lišily ve své závislosti na videu: některé udržovaly rozumnou přesnost bez něj, dále potvrzující omezený příspěvek video funkcí ve většině současných nastavení.

Autoři následně otestovali, zda modely mohou být donuceny spoléhat se na video přidáním dalších špatných odpovědí do multiple-choice možností.

Když byly distraktory snadno a recyklovány z jiných otázek, výkon se zlepšil, protože modely odpovídaly na textové vzorce bez přílišného uvažování. Ale s deseti nebo více nesouvisejících odpověďmi začaly spoléhat se více na video a otázku:

Průměrný příspěvek na funkci a přesnost pro video, otázka a odpověď vstupů, jak jsou přidány další špatné odpovědi do každého VQA testu, ukazující, že zvyšující se počet distraktorů snižuje dominance textu a zvyšuje relativní vliv vizuálních a otázkových funkcí.

Pro VideoLLaMA3 snížení videa o 40 % na EgoSchema a 15 % na LVBench naznačuje, že jednoduché zvýšení počtu odpovědí může posunout modely od textových zkratkových důvodů k opravdovému multimodálnímu uvažování.

Výzkumníci také prozkoumali, jak je atribuce rozložena napříč vstupy, a níže vidíme heatmapy Shapley hodnot pro každý model vstup:

Shapley hodnot heatmapy pro čtyři datové sady, kde každá řada ukazuje jeden VQA-tuple, a každá sloupec jednu funkci. Video funkce se objevují vlevo, následované textem. Much silnější hodnoty v (červených) textových oblastech potvrzují, že modely se spoléhají mnohem více na jazyk než na video.

Komentář k výsledkům výše, autoři uvádějí:

‘Velikost Shapley hodnot jsou mnohem větší směrem k pravé straně každé heatmapy, reprezentující otázku a odpověď atribuce. Toto nápadné rozhraní je tam, kde video snímky končí a textové funkce začínají, demonstrující, že video modální příspěvek je mnohem menší než otázka/odpověď. ‘

V souhrnu, napříč všemi datovými sadami, hodnoty jsou mnohem silnější směrem k textovému konci spektra, silně naznačující, že modely se spoléhají mnohem více na jazyk než na vizuální nápovědy. I když video je použito, příspěvek je rozložen tenký napříč mnoha snímky, často bez konzistentního vzoru.

Níže vidíme anotovaný příklad z EgoSchema. 16 nej”významnějších” snímků bylo vybráno pomocí Shapley hodnot a barevně označeno podle jejich vlivu, s modrou barvou označující pozitivní příspěvek a červenou barvou označující negativní příspěvek:

Shapley atribuce pro jeden EgoSchema příklad, ukazující 16 nejvlivnějších snímků a všechny textové vstupy. Video příspěvky jsou minimální ve srovnání s textem, který dominuje modelovo uvažování. Modrá a červená barva označují pozitivní a negativní vliv na zvolenou odpověď.

Výsledek je, že téměř každý snímek má pouze slabý vliv ve srovnání se slovy v otázce a odpovědích. Vizuální nápovědy jsou řídké a nekonzistentní, zatímco názvy, jako je “židle” a “plot”, řídí model k správné volbě – nebo od ní, v závislosti na kontextu.

Závěr

Kdokoli, kdo se někdy zabýval videoeditací nebo videoanalýzou, již ví, jak náročné na zdroje tyto procesy jsou, a pochopí, proč společnosti, které zpracovávají miliony AI-založených požadavků denně, nemohou dovolit, aby uživatelé běžně spouštěli ad hoc editační a interpretační video procesy.

Jedna věc, která je třeba si uvědomit v tomto ohledu, je, že téměř každý API AI rozhraní, se kterým se setkáte (s výjimkou možného nového a krátkodobého demo v rámci nové vědecké studie), se snaží splnit požadavky uživatelů na minimální úrovni využití zdrojů.

To znamená spoléhat se na existující metadata z uživatelských dat nebo RAG načtení, pokud je to možné; a extrahovat (pokud je absolutně nezbytné) metadata pro více analyzovatelné formáty, jako jsou PDF, dokumenty a jednotlivé obrázky.

Co není na stole, je spuštění nahrávaného videa prostřednictvím CLIP nebo nejnovějšího YOLO vydání, nebo prostřednictvím jakékoli energeticky náročné a časově náročné VLM, které může skutečně identifikovat, co je ve snímcích, a pochopit, co se děje ve zadaném videu, s ohledem na temporalitu.

Nicméně, toto ne意味í, že jevy, které dokumentuje současná studie, nutně vyplývají z úsporných architektonických přístupů. Autoři poznamenávají, že text dominuje státním multimodálním tréninkovým paradigmatům každopádně, což naznačuje, že “vizuální jazyk” je buď méně vyvinutý, méně důležitý nebo informativní v multimodálním kontextu, nebo (alespoň prozatím) méně dobře pochopený,

* Zajímavě, materiál, který NotebookLM vytvořil, se zdá být buď zcela originálním nebo totalement neindexovaným Googlem, protože jsem nebyl schopen najít žádné výsledky, které by mohly proniknout do tréninkových dat a vyvolat tuto odpověď.

První publikováno v pátek, 31. října 2025; upraveno 14:20 pro formátování