V hledání umělé inteligence, která může sledovat celý film

Modely umělé inteligence stále ztrácejí přehled o tom, kdo je kdo a co se děje ve filmu. Nový systém orchestruje rozpoznávání tváří a scénářovou sumarizaci, udržuje postavy rozeznatelné a děj koherentní napříč celými filmy.

Získání umělé inteligence, která může sledovat a rozumět hollywoodským filmům, se může zdát jako okrajová nebo marginální činnost, ale systém, který může sledovat celý film od začátku do konce, sledovat postup všech postav a zůstat v obraze děje, má nejen umožnil řadu přímých aplikací, které by mohly těžit z těchto schopností, ale také řadu periferních nebo nesouvisejících výzev, napříč různými doménami.

Nejnižší ovoce pro modely umělé inteligence, které sledují filmy, jsou systémy doporučení, v streamovacích platformách, jako je Netflix, Amazon Prime a HBO Max. Podrobné pochopení vývoje děje a akcí postav umožňuje bližší shodu s (často spekulativními) preference a nadšení diváků.

Dále, hlubší pochopení filmu umožňuje generování klíčových slov a přesnější kategorizaci, spíše než udržování často kopírovaných popisů filmů, které mohly být napsány před desetiletími. Tyto poznatky by také mohly odhalit přítomnost “dospělých” témat ve filmu, která nemusí být zřejmá z dialogu nebo z vizuálu.

Kromě toho, starší filmy v katalogu mohou mít zastaralá hodnocení, jakož i přehledy; například jazyk a idiom, které byly normalizovány ve filmu z 50. let by mohly vyžadovat mnohem více pozornosti nyní. Ale bez celkového pochopení kontextu, získaného z skutečného sledování dlouhého filmového narativu, takové incidence by mohly být přeháněny nebo podceněny.

Širší, vylepšené přístupy k analýze filmů by mohly přispět značně k mnohem širšímu problému rozpoznávání událostí, které je nezbytně potřeba pro inovace v bezpečnostním monitoringu, automatizovaných sportovních komentářích a souhrnech všech druhů, napříč obrovským množstvím médií.

Proto je “AI-založené sledování filmů” překvapivě dobře zastoupeným žánrem v literatuře Computer Vision.

Pohled na velký obraz

Nejnovější přírůstek se jmenuje MovieTeller – akademicko-průmyslová spolupráce z Číny, která dělá nové pokroky, rozdělující různé sub-úkoly v této výzvě napříč různými aplikacemi umělé inteligence, které jsou vhodné pro tyto výzvy, místo toho, aby se snažila trénovat diskrétní a uzavřené modely, které mohou provádět všechny nezbytné úkoly z jednoho latentního prostoru.

Autorům bylo pozorováno, že předchozí modely Vision-Language (VLMs) čelily stejné úkolu a nebyly schopny pokročit mnohem dále, než analýza jediného snímku; a že jejich nedostatek kontextu činí obtížné pro tyto modely trvale identifikovat postavy – snad nejzákladnější charakteristikou takového systému:

Nový systém, MovieTeller, je schopen trvale identifikovat lidi ve scénách, díky použití dedikovaného systému rozpoznávání tváří; ale je to spíše celková dedikace kontextu, která umožňuje rámci zůstat v obraze vývoje děje. Zdroj

Autorům se podařilo:

‘Obecné modely VLM často bojují s rozpoznáním a trvalým sledováním konkrétních postav po celý dlouhý narativ. Mohou popisovat klíčového protagonistu jako “muže” v jedné scéně a “osobu” v další, selhávající ve vazbě vizuálního zastoupení na konzistentní identitu.’

Autorům se také podařilo pozorovat, že protože Transformers‘ self-attention mechanismus využívá kvadratickou složitost, zpracování každého snímku celého filmu najednou se stává příliš výpočetně náročným. Jako výsledek, přístupy, které spoléhají na uniformní frame-sampling nebo jednoduchou konkatenci, tendují k rozbití toku příběhu, produkující fragmentované souhrny místo koherentního narativu.

Místo toho, nový systém se skládá z orchestrovaného tréninkového pipeline, s dedikovanými nástroji pro řešení rozpoznávání tváří a persistence paměti (jak postavy opouštějí a znovu vstupují do narativu filmu).

MovieTeller byl testován proti předchozím přístupům pomocí 60 celých filmů, ekvivalentních 10 000 minutám filmového materiálu. V kvantitativních ablačních testech a lidských studiích, autoři uvádějí, že jejich přístup byl schopen zlepšit se významně oproti výchozím prostředím a předpokladům používaným předchozími systémy.

Nový článek se jmenuje MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction, a pochází od pěti autorů z Univerzity Če-ťiang v Hangzhou, státně vedené Čínské mediální skupiny a Watch AI Group* (tyto dvě posledně zmíněné jsou založeny v Pekingu).

Metoda

Schema MovieTeller se skládá ze tří fází: scénická segmentace a extrakce klíčových snímků, které jsou zpracovány prostřednictvím PySceneDetect projektu; Fakticky-založená scénická popisová generace prostřednictvím přizpůsobení Qwen2.5-VL-7B-Instruct VLM; a progressivní abstrakce, která kondenzuje podrobné scénické popisy do kapitolských souhrnů, a poté do konečného koherentního souhrnu – a to je také provedeno modelem Qwen2.5:

Přehled frameworku MovieTeller: celý film je nejprve rozdělen do scén a destilován do vysoce kvalitních klíčových snímků; poté je externí nástroj rozpoznávání tváří vstřikuje faktické základy, spojující jména postav s bounding boxy, které vedou VLM k produkci ID-konzistentních scénických popisů. Tyto popisy jsou poté progresivně abstrahovány do kapitolských souhrnů a integrovány do koherentního konečného filmového souhrnu.

První fáze používá PySceneDetect k rozdělení filmu do diskrétních scén, založených na jasných vizuálních změnách, s každou scénou reprezentovanou jediným klíčovým snímkem.

Nicméně, ne každý snímek je vhodný pro souhrnný obraz, protože přechodné momenty, fade-outy a tmavé snímky mohou zkazit pozdější analýzu. Proto je proveden jednoduchý kontrolní běh na kandidátních snímcích, měřením jasu a vizuální variability, zajišťující, že jsou vybrány pouze informace-bohaté snímky pro popis.

Umístění tváří

Byla vytvořena databáze tváří z veřejně dostupných informací o obsazení^†, ukládající jméno každé hlavní postavy spolu s numerickým tváří embedded. Když se tvář objeví v klíčovém snímku, její embedded je porovnán s databází, a nejbližší výsledek je přijat, pokud překročí práh jistoty. Toto vytváří “faktické základy”, spojující jména s konkrétními bounding boxy.

Pro tyto účely, InsightFace je použit, využívající ArcFace loss-based rozpoznávání:

Dvě známé tváře, dobře zapamatované iniciativou Additive Angular Margin Loss (ArcFace), použitou ve velmi podobném způsobu pro projekt MovieTeller. Zdroj

Anotované klíčové snímky jsou poté předány modelu Qwen s promptem, který seznamuje detekované postavy a jejich pozice.

Since Vision-Language Modely nemohou absorbovat celý film najednou, MovieTeller nejprve rozdělí materiál do scénických popisů. Tyto jsou seskupeny do po sobě jdoucích, kapitolských bloků, které jsou poté předány modelu Qwen2.5, který souhrnuje každou kapitolu, komprimuje vývoj děje, motivace postav a zvraty, zatímco zachovává dříve ověřená jména postav.

Tyto komprimované kapitolské souhrny jsou poté spojeny a vráceny modelu s novým promptem, který žádá o kompletní souhrn:

Ukázka promptu šablony, použitá k generování scénických popisů, explicitně vstřikující ověřená jména postav a bounding boxy, aby vedly VLM k produkci ID-konzistentních scénických popisů.

Předpokládá se, že proces byl úspěšný, konečný výstup by měl koherentně odrážet filmový narativ. To je zvláště obtížný úkol v strojovém učení, protože rozmanitost možných souhrnů děje a styl, ve kterém by mohly být prezentovány, spolu s nezbytnou délkou těchto datových bodů, činí téměř nemožným použít obvyklé ground-truth-based přístupy.

Data a testy

Pro testování systému, autoři připravili speciální (a nezdrojový) dataset 100 celých filmů, ekvivalentních 166 hodinám filmového materiálu. Filmy zahrnovaly Muž z oceli 3, Sbohem, má konkubína, Jez, pij, muž, žena, a Letopisy Narnie. Výzkumníci vyžadovali, aby všechny zahrnuté filmy měly hodnocení nad 5,0 na IMDB:

Složení datasetu napříč 100 filmy, ukazující vyvážené časové pokrytí od roku 1992 do 2025, mírnou většinu neanglických titulů a široké žánrové rozložení vedené dramatem a akcí, s reprezentací napříč sci-fi, hororem, komedií, romantikou a historií.

Široká škála žánrů (viz graf výše) byla navržena tak, aby se zabránilo zkreslení vůči kterémukoli žánru.

Datová sada tváří pro každý film se skládala ze dvou snímků hlavních herců – jednoho ze filmového snímku a jednoho z propagačního snímku.

Testy byly implementovány v Pythonu, testy byly spuštěny na čtyřech NVIDIA A40 GPU, každém s 48GB VRAM, a s výše zmíněným modelem Qwen2.5 jako centrálním VLM. Ablační studie^†† byly také provedeny s alternativními státními modely InternVL3-8B a WeThink-Qwen2.5VL-7B.

Nový framework byl testován proti dvěma ablačním^†† variantám: No-Hint baseline, ve kterém VLM generoval scénické popisy pouze z klíčového snímku, bez jakýchkoli textových podnětů o identitě postav; a Name-Only Hint nastavení, kde model obdržel detekovaná jména postav, ale ne jejich bounding boxy, což umožnilo autorům izolovat specifický příspěvek prostorového zakotvení k identitě konzistence a narativní koherenci

V ohledu na metriky, s ohledem na výše zmíněné obtíže při aplikaci ground-truth-based přístupů na dlouhé souhrny děje, standardní n-gram overlap metriky, jako je ROUGE a BLEU, byly nahrazeny BERTScore s F1 score, aby se měřila sémantická podobnost proti referenčnímu souhrnu, získanému z “veřejné encyklopedie”.

Kromě toho, Gemini 2.5 Flash byl použit k ohodnocení každého souhrnu pro faktickou věrnost; ID konzistenci a úplnost; narativní koherenci a tok; a stručnost, se skóre průměrně rozloženým napříč dimenzemi.

Nakonec, lidská evaluace 50 náhodně vybraných souhrnů byla provedena pomocí párového srovnání, poskytující praktickou kontrolu nad automatizovanými hodnoceními.

Níže vidíme BERTScore (F1) výsledky pro tři základní modely: Qwen2.5-VL, InternVL3 a WeThink. Každý z nich byl testován ve třech konfiguracích: No-Hint, Name-Only a plný systém MovieTeller:

BERTScore (F1) srovnání napříč třemi základními modely VLM a třemi experimentálními nastaveními, ukazující konzistentní zisky z přidání jmen postav a další zlepšení, když je použito prostorové zakotvení, s MovieTeller dosahujícím nejvyšších skóre ve všech případech.

Autorům se podařilo pozorovat, že vzorec je konzistentní napříč všemi třemi základními modely: použití pouze surového klíčového snímku vede k nejslabšímu výkonu; přidání jmen postav produkuje mírné zlepšení; a kombinace jmen s bounding boxy dodává nejsilnější výsledky. Ačkoli zisky jsou inkrementální spíše než dramatické, plně zakotvená konfigurace dosahuje nejvyšší sémantické shody s referenčním souhrnem ve všech případech.

V ohledu na LLM-založenou evaluaci narativní kvality: jak vidíme v níže uvedených výsledcích, No-Hint baseline bojuje nejvíce s konzistencí identity, což snižuje jeho celkové skóre; ale dodání jmen samo o sobě produkuje pozorovatelné zlepšení, zejména na dimenzích souvisejících s identitou. Plný systém MovieTeller opět dosahuje nejvyšších skóre ve všech případech:

LLM-as-a-Judge evaluace (1–5 škála) napříč třemi základními modely, ukazující, že přidání jmen postav zlepšuje konzistenci identity a celkovou kvalitu, zatímco plný framework MovieTeller dosahuje nejvyšších skóre napříč faktickou věrností, koherencí, stručností a konečným hodnocením.

Nejsilnější zisky se objevují v konzistenci identity a ve finálním průměrném skóre, naznačující, že prostorové zakotvení pomáhá modelu zůstat jasný o tom, kdo dělá co, jak se děj vyvíjí.

V lidské evaluaci 50 náhodně vybraných souhrnů, účastníci byli ukázáni tři souhrny najednou a požádáni, aby vybrali ten nejlepší:

Lidská preferenční míra ve třístupňovém srovnání, ukazující, že plně zakotvené souhrny MovieTeller jsou vybrány nejčastěji napříč všemi třemi základními modely, významně překonávající obě varianty No-Hint a Name-Only.

Nakonec, kvalitativní test byl proveden na filmu The Bullet Vanishes (2012):

Nemůžeme reprodukovat celou tuto figuru z původního článku, protože je velmi vysoká a textově hustá. Prosím, odkážete se na původní článek.

Zde, No-Hint baseline produkuje vágní souhrn, který odkazuje na postavy v obecných termínech a rozostřuje jejich role, činí děj obtížnějším k následování. Přidání jmen samo o sobě zlepšuje povrchovou paměť, ale narativ stále bloudí, s vztahy a motivacemi postav popsány spíše “plochým” způsobem.

Naproti tomu, plně zakotvená verze MovieTeller udržuje identity stabilní po celý souhrn a váže akce k správným postavám, umožňující vyšetřovací děj rozvinout se jasnější kauzální strukturou. Konkrétní napětí a dynamika rolí jsou zachovány spíše než abstrahovány, vedoucí k souhrnu, který čte jako koherentní vyprávění filmového narativu:

Část konečného srovnání, které nemůžeme reprodukovat zde, ukazující ablační a plný souhrn MovieTeller. Prosím, odkážete se na původní článek.

Závěr

Ačkoli většina nových projektů tohoto druhu končí v literatuře Computer Vision, AI-generovaná filmová sumarizace zahrnuje mnoho dalších disciplín a domén v oblasti výzkumu umělé inteligence – a je obtížné říci, která z nich bude nevědomky přispívat chybějící část puzzle; ačkoli MovieTeller činí krok správným směrem, rozdělující úkoly napříč vhodnými moduly, místo toho, aby se snažil vyřešit vše diskrétně v latentním prostoru, stále si uchovává “složený” pocit, který obvykle předchází pozdější, elegantnější řešení.

* Nemohu identifikovat tuto instituci, ani po nějaké době hledání.

^† Jedná se o něco jako IMDB nebo OMDB, ale zdroj není specifikován.

^†† Prosím, odkážete se na původní článek pro komplexní ablační studii, protože my pokrýváme pouze plnou ablační studii ve výjimečných případech. Poznámka: neošetřené ablační studie uvedené zde nezpochybňují obecná zjištění článku.

První publikace: pátek, 27. února 2026