I søgen efter en AI, der kan følge en hel film

AI-modeller taber stadig sporet af, hvem der er hvem, og hvad der sker i en film. Et nyt system orkestrerer ansigtsgenkendelse og scenariebeskrivelse, så karaktererne holdes rette, og plotforløbet er sammenhængende på tværs af hele film.

At få kunstig intelligens til at se og forstå Hollywood-stil film kan synes som en niche eller perifer aktivitet, men et system, der kan se en hel film fra start til slut, følge med i karakterernes udvikling og holde styr på plotforløbet, har ikke kun gjort en række direkte anvendelser mulige, men også en del perifere eller uafhængige udfordringer på tværs af forskellige domæner.

De lette frugter for film-seende AI-modeller er anbefalingsystemer, på streaming-platforme som Netflix, Amazon Prime og HBO Max. En detaljeret forståelse af plotudviklingen og karakterhandlinger giver mulighed for en tættere match til seernes (ofte tvivlsomme) præferencer og entusiasmer.

Desuden giver en dybere forståelse af en film mulighed for nøgleordsgenerering og mere præcis kategorisering, snarere end at fastholde ofte kopierede film beskrivelser, der kan være skrevet for årtier siden. Sådanne indsighter kan også afsløre tilstedeværelsen af “voksne” temaer i en film, der ikke er åbenlyse fra dialogen eller billederne.

Derudover kan ældre film i en katalog have forældede vurderinger samt oversigter, f.eks. sprog og idiom, der var normaliseret i en film fra 1950’erne kan kræve langt mere opmærksomhed nu. Men uden en samlet forståelse af konteksten, hentet fra en rigtig følgen af en lang filmnarrativ, kan sådanne tilfælde være over- eller underbetonet.

Endnu bredere kan forbedrede film analyser bidrage væsentligt til det meget bredere problem med begivenheds genkendelse, der er nødvendig for innovationer i sikkerheds overvågning, automatiserede sports kommentarer og sammenfattelser af alle slags, på tværs af en stor mængde medier.

Derfor er “AI-baseret film-seen” en overraskende velkendt genre i Computer Vision-litteraturen.

Det store billede

Den seneste deltager hedder MovieTeller – et akademisk/industrielt samarbejde fra Kina, der skaber nye muligheder ved at dele de forskellige underopgaver i udfordringen op på forskellige AI-applikationer, der passer til disse udfordringer, snarere end – som det ofte er tilfældet – at forsøge at træne diskrete og indkapslede modeller, der kan udføre alle de nødvendige opgaver fra et enkelt latent rum.

Forfatterne observerer, at tidligere Vision-Language Modeller (VLMs), der stod over for den samme opgave, ikke har kunnet fremme sig meget længere end enkelt-ramme-analyse, og at deres mangel på kontekst gør det svært for sådanne modeller at bestandigt identificere karakterer – måske den mest essentielle karakteristik af sådanne systemer:

Det nye system, MovieTeller, kan bestandigt identificere personer i scener, takket være brugen af et dedikeret ansigtsgenkendelsessystem, men det er den mere overordnede dedikation til kontekst, der giver rammen mulighed for at holde styr på plotforløbet. Kilde

Forfatterne skriver:

‘Almindelige VLMs kæmper ofte med at genkende og bestandigt spore specifikke karakterer gennem en lang narrativ. De kan beskrive en nøgleprotagonist som “en mand” i en scene og “en person” i en anden, uden at binde den visuelle repræsentation til en konsekvent identitet.’

Forfatterne bemærker, at fordi Transformers‘ selv-attention mekanisme bruger kvadratisk kompleksitet, bliver behandlingen af hver ramme i en hel film på én gang for dyrt. Derfor tenderer tilgange, der afhænger af ensartet ramme-sampling eller simpel konkatination, til at bryde op i flowet af historien, og producerer fragmenterede sammenfattelser i stedet for en sammenhængende narrativ.

Derimod består det nye system af en orkestreret træningsfri pipeline, med dedikerede værktøjer til at håndtere ansigtsgenkendelse og bestandig hukommelse (da karakterer forlader og genindtræder i filmens narrativ).

MovieTeller blev testet mod tidligere tilgange ved hjælp af 60 hel film, svarende til 10.000 minutters footage. I kvantitative ablations tests og menneskelige studier rapporterede forfatterne, at deres tilgang var i stand til at forbedre sig væsentligt på de standard miljøer og antagelser, der blev brugt af tidligere systemer.

Den nye artikel hedder MovieTeller: Tool-augmenteret film-sammenfatning med ID-konsistent progressiv abstraktion, og kommer fra fem forfattere på Zhejiang Universitet i Hangzhou, den statsledede China Media Group og Watch AI Group* (de sidste to er baseret i Beijing).

Metoden

MovieTeller-skemaet består af tre faser: scene-segmentering og nøgle-ramme-ekstraktion, der håndteres gennem PySceneDetect-projektet; Faktisk-baseret scene-beskrivelses-generering via tilpasningen af Qwen2.5-VL-7B-Instruct VLM; og progressiv abstraktion, der kondenserer detaljerede scene-beskrivelser til kapitelsammenfattelser og derefter til en samlet sammenhængende sammenfatning – og dette udføres også af Qwen2.5-modellen:

Oversigt over MovieTeller-rammen: en hel film bliver først segmenteret i scener og destilleret til højkvalitets-nøgle-rammer; derefter indsætter et eksternt ansigtsgenkendelsessystem faktiske grundlag, der kobler karakternavne til begrænsningsbokse, der guide en Vision-Language Model i at producere ID-konsistente scene-beskrivelser. Disse beskrivelser bliver derefter progressivt abstraheret til kapitelsammenfattelser og integreret i en samlet sammenhængende film-sammenfatning.

Den første fase bruger PySceneDetect til at bryde filmen op i separate scener, baseret på tydelige visuelle ændringer, hvor hver scene repræsenteres af en enkelt nøgle-ramme.

Men ikke hver ramme er en god sammenfatningsbillede, da overgangsmomenter, fade-outs og mørke rammer kan forvirre senere analyse. Derfor udføres en simpel kvalitetskontrol, der filtrerer kandidat-rammer, ved at måle lysstyrke og visuel variation, og sikrer, at kun informationsrige billeder vælges til beskrivelse.

At placere ansigtet

En ansigtsdatabase blev bygget fra offentligt tilgængelige cast-oplysninger^†, der lagrede hver hovedkarakterns navn sammen med et numerisk ansigts-embedding. Når et ansigt vises i en nøgle-ramme, kobles dets embedding til databasen, og den nærmeste resultats accepteres, hvis den klarer en tillidsgrænse. Dette skaber ‘faktiske grundlag’, der kobler navne til bestemte begrænsningsbokse.

Der bruges InsightFace til dette formål, der udnytter en ArcFace-baseret genkendelseshoved:

To velkendte ansigter, der er godt husket af Additive Angular Margin Loss (ArcFace)-initiativet, brugt på samme måde i MovieTeller-projektet. Kilde

De annoterede nøgle-rammer sendes derefter til Qwen-modellen med en prompt, der nævner detekterede karaktere og deres positioner:

Da Vision-Language Modeller ikke kan absorbere en hel film på én gang, bryder MovieTeller først materialet op i scene-beskrivelser. Disse grupperes i sammenhængende, kapitel-lignende blokke, der derefter sendes til Qwen2.5, der sammenfatter hvert kapitel, komprimerer plotudviklingen, karaktermotivationer og vendinger, mens den bevarede tidligere verificerede karakternavne.

Disse komprimerede kapitelsammenfattelser sendes derefter tilbage til modellen med en ny prompt, der anmoder om en samlet sammenfatning:

Et eksempel på en prompt-skabelon, der bruges til at generere scene-beskrivelser, der udtrykkeligt indsætter verificerede karakternavne og begrænsningsbokse for at guide Vision-Language Modellen og påtvinge ID-konsistent narration.

Antag, at processen er lykkedes, skal den endelige output sammenhængende reflektere filmens narrative bue. Dette er en særligt svær opgave i maskinlæring, da variationen af mulige plot-sammenfattelser og den stil, de kan præsenteres i, sammen med den nødvendige længde af disse datapunkter, gør det næsten umuligt at anvende de sædvanlige ground-truth-baserede metoder.

Data og tests

For at teste systemet kuraterede forfatterne en særlig (og kilde-ubestemt) dataset på 100 hel film, svarende til ca. 166 timers køretid. Filmene inkluderede Jernmand 3, Farvel, min elskede, Spis, drik, mand, kvinde og De kroniske krøniker. Forskerne krævede, at alle inkluderede film havde en vurdering på over 5,0 på IMDB:

Datasætsammensætning over 100 film, der viser en balanceret tidsmæssig dækning fra 1992 til 2025, en let overvægt af ikke-engelske titler og en bred genre-spread, der er ledet af drama og action, med repræsentation over Sci-Fi, horror, komedie, romance og historie.

Den brede genre-spread, der blev valgt (se graf ovenfor), var designet til at forhindre bias mod en enkelt genre.

Ansigt-datasættet for hver film bestod af to billeder af hovedkarakterer – ét fra en film-stil og ét fra en relateret pressefotografi.

Implementeret i Python, blev testene kørt på fire NVIDIA A40 GPU’er, hver med 48 GB VRAM, og med den ovennævnte Qwen2.5-variant som den centrale VLM. Ablationsstudier^†† blev også udført med alternativt state-of-the-art-modeller InternVL3-8B og WeThink-Qwen2.5VL-7B.

Det nye framework blev testet mod to ablations^††-varianter: en No-Hint-baseline, hvor Vision-Language Modellen genererede scene-beskrivelser fra nøgle-rammen alene, uden nogen tekstuelle hints om karakter-identiteter; og en Name-Only Hint-indstilling, hvor modellen fik detekterede karakternavne, men ikke deres begrænsningsbokse, hvilket tillod forfatterne at isolere den specifikke bidrag fra spatial grundlag til identitets-konsistens og narrativ kohærens

I forhold til metrikker, og med henblik på den ovennævnte sværhed ved at anvende ground-truth-metoder til lange plot-sammenfattelser, blev standard n-gram overlap-metrikker som ROUGE og BLEU forkastet til fordel for BERTScore med F1-score, for at måle semantisk lighed mod en reference-sammenfatning trukket fra ‘en offentlig encyklopædi’.

Desuden blev Gemini 2.5 Flash brugt til at score hver sammenfatning for faktuel trofasthed; ID-konsistens og fuldstændighed; narrativ kohærens og flow; og korthed, med scores gennemsnitligt over dimensioner.

Endelig blev en menneskelig evaluering af 50 tilfældigt udvalgte sammenfattelser udført ved hjælp af parvis sammenligning, hvilket gav en praktisk kontrol over de automatiserede vurderinger.

Nedenfor ser vi BERTScore (F1) resultater for de tre backbone-modeller: Qwen2.5-VL, InternVL3 og WeThink. Hver af disse er testet i tre konfigurationer: No-Hint, Name-Only og det fulde MovieTeller-system:

BERTScore (F1) sammenligning over tre base Vision-Language Modeller og tre eksperimentelle indstillinger, der viser konsistente forbedringer fra tilføjelse af karakternavne og yderligere forbedringer, når spatial grundlag er inkluderet, med MovieTeller, der opnår de højeste scores i alle tilfælde.

Forfatterne bemærker, at mønsteret er konsistent over alle tre backbone-modeller: brug af kun den rå nøgle-ramme giver den svageste præstation; tilføjelse af karakternavne giver en beskeden forbedring; og kombination af navne og begrænsningsbokse giver de stærkeste resultater. Selv om forbedringerne er inkrementelle og ikke dramatiske, opnår den fuldt grundlagte konfiguration den højeste semantiske alignment med reference-sammenfatningen i alle indstillinger.

I forhold til LLM-baseret evaluering af narrativ kvalitet: som vi ser i resultaterne nedenfor, kæmper No-Hint-baselinen mest med ID-konsistens, hvilket trækker dens samlede score ned; men tilføjelse af navne alene giver en bemærkelsesværdig forbedring, især på ID-relaterede dimensioner. Men det fulde MovieTeller-system opnår igen de højeste scores over alle tre backbone-modeller:

LLM-as-a-Judge evaluering (1–5 skala) over tre base-modeller, der viser, at tilføjelse af karakternavne forbedrer ID-konsistens og samlede kvalitet, mens det fulde MovieTeller-framework opnår de højeste scores over faktuel trofasthed, kohærens, korthed og slutvurdering.

De stærkeste forbedringer synes at være i ID-konsistens og i den samlede score, hvilket antyder, at spatial grundlag hjælper modellen med at holde styr på, hvem der gør hvad, mens plotforløbet udvikler sig.

I den menneskelige evaluering af 50 tilfældigt udvalgte sammenfattelser blev deltagere præsenteret for tre sammenfattelser ad gangen og bedt om at vælge den bedste:

Menneskelig præference-rater i en tre-vejs tvangssammenligning, der viser, at de fuldt grundlagte MovieTeller-sammenfattelser oftest vælges over alle tre base-modeller, og betydeligt overgår både No-Hint og Name-Only-varianterne.

Endelig blev en kvalitativ test udført på filmen The Bullet Vanishes (2012):

Vi kan ikke genskabe hele denne figur fra den oprindelige artikel, da den er meget høj og tekst-tæt. Se venligst den oprindelige artikel i stedet.

Her producerer No-Hint-baselinen en vag sammenfatning, der henviser til karakterer i generiske termer og blurrer deres roller, hvilket gør det svært at følge med i begivenhedsforløbet. Tilføjelse af navne alene forbedrer overfladisk genkaldelse, men narrativen drifter stadig, og karakterrelationer og motivationer beskrives på en ret “flad” måde.

Om vendt, holder den fuldt grundlagte MovieTeller-version identiteter stabile gennem hele sammenfatningen og binder handlinger til de rette karakterer, hvilket giver mulighed for, at undersøgelsesplotforløbet udvikler sig med en klarere årsags-struktur. Specifikke spændinger og rolle-dynamikker bevares i stedet for at blive abstraheret væk, hvilket resulterer i en sammenfatning, der læser mere som en sammenhængende genfortælling af filmens centrale bue:

En del af den endelige sammenligning, som vi ikke kan genskabe i sin helhed her, der viser en ablateret og en fuld MovieTeller-sammenfatning. Se venligst den oprindelige artikel i stedet.

Konklusion

Selv om de fleste nye projekter af denne type ender i Computer Vision-litteraturen, omfatter AI-genereret film-sammenfatning mange andre discipliner og domæner i maskinlæringsforskning – og det er svært at sige, hvilke af disse der ufrivilligt kan bidrage det manglende stykke af puslespillet; selv om MovieTeller tager et skridt i den rigtige retning ved at splitte opgaverne op over passende moduler i stedet for at forsøge at løse det hele diskret i latent rum, har det stadig en “sammenflikket” følelse, der ofte går forud for en senere, mere elegant løsning.

* Jeg kan ikke identificere denne institution, selv efter nogen søgning.

^† Man ville formode noget i retning af IMDB eller OMDB, men kilden er ikke specificeret.

^†† Se venligst den oprindelige artikel for en komplet ablation, da vi kun dækker fuld ablation i særlige tilfælde. Jeg vil bemærke, at de ubehandlet ablationsstudier, der er nævnt her, ikke undergraver artiklens generelle resultater.

Offentliggjort første gang fredag, 27. februar 2026