På leting etter en AI som kan følge en hel film

AI-modeller mister fortsatt spor av hvem som er hvem og hva som skjer i en film. Et nytt system orchestrerer ansiktsgjenkjenning og iscenesatt sammenfatting, holder karakterene rette, og plottet koherent over hele filmer.

Å få kunstig intelligens til å se og forstå Hollywood-stil filmer kan synes som en nisje eller perifer oppgave, men et system som kan se en hel film fra begynnelsen til slutten, spore fremgangen til alle karakterene, og holde på plottet, har ikke bare gjort det mulig å bruke direkte applikasjoner som kan dra nytte av slike evner, men også en del perifere eller ubeslektede utfordringer, over forskjellige domener.

De letteste fruktene for film-seende AI-modeller er anbefalingsystemer, på strømmingtjenester som Netflix, Amazon Prime og HBO Max. En detaljert forståelse av plottutviklinger og karakterhandlinger gjør det mulig å finne en nærmere match til (ofte tvilsomme) preferanser og entusiasmer hos seerne.

I tillegg kan en dypere forståelse av en film muliggjøre nøkkelordsgenerering og mer nøyaktig kategorisering, i stedet for å videreformidle ofte kopierte film beskrivelser som kan ha blitt skrevet for mange år siden. Slike innsikter kan også avdekke tilstedeværelsen av “voksne” temaer i en film som ikke er åpenbart fra dialogen eller visuelt.

I tillegg kan eldre filmer i en katalog ha foreldede vurderinger, samt oversikter; for eksempel kan språk og idiom som var normalisert i en film fra 1950-årene krevde mye mer oppmerksomhet nå. Men uten en helhetlig forståelse av konteksten, hentet fra å faktisk følge en lang film-narrativ, kunne slike hendelser bli over- eller under-betont.

Mer generelt kan forbedrede film-analyse-tilnærminger bidra mye til det mye videre-rangerte problemet med hendelses-gjenkjenning, som er livsviktig for innovasjoner i sikkerhets-overvåking, automatiserte sports-kommentarer og sammenfatninger av alle slag, over en stor rekke medier.

Derfor er ‘AI-basert film-seing’ en overraskende godt-subskribert sjanger i Computer Vision-litteraturen.

Å se det store bildet

Den nyeste deltakeren heter MovieTeller – et akademisk/industri-samarbeid fra Kina som gjør nye fremskritt ved å dele opp de forskjellige under-oppdragene i utfordringen over forskjellige AI-applikasjoner som passer disse utfordringene, i stedet for – som ofte er tilfelle – å forsøke å trene diskrete og innkapslede modeller som kan utføre alle nødvendige oppgaver fra ett latent rom.

Forfatterne observerer at tidligere Vision-Language-modeller (VLMs) som ble konfrontert med samme oppgave, ikke har klart å gå mye lengre enn enkelt-ramme-analyse; og at deres mangel på kontekst gjør det vanskelig for slike modeller å bestandig identifisere karakterer – kanskje den viktigste egenskapen til et slikt system:

Det nye systemet, MovieTeller, kan bestandig identifisere personer i scener, takket være bruk av et dedikert ansiktsgjenkjenningssystem; men det er den mer overordnede dedikasjonen til kontekst som gjør at rammeverket kan holde på plottutviklingen. Kilde

Forfatterne skriver:

‘Generiske VLMs har ofte vanskelig for å gjenkjenne og bestandig spore bestemte karakterer gjennom en lang narrativ. De kan beskrive en nøkkel-protagonist som “en mann” i en scene og “en person” i en annen, uten å binde den visuelle representasjonen til en konsistent identitet.’

Forfatterne bemerker at fordi Transformers‘ selv-oppmerksomhets-mekanisme bruker kvadratisk kompleksitet, blir behandling av hver ramme i en hel film på en gang for dyrt. Derfor tenderer tilnærminger som avhenger av uniform ramme-ampling eller enkel konkatenering til å bryte opp flyten i historien, og produsere fragmenterte sammenfatninger i stedet for en koherent narrativ.

I stedet består det nye systemet av en orkestrert, trening-fri pipeline, med dedikerte verktøy for å håndtere ansiktsgjenkjenning og bestandig minne (slik at karakterer kan forlate og returnere til narrativet i en film).

MovieTeller ble testet mot tidligere tilnærminger ved hjelp av 60 hele filmer, tilsvarende 10 000 minutters film. I kvantitative ablasjonstester og menneske-studier, rapporterte forfatterne at deres tilnærmning var i stand til å forbedre seg betydelig på de standard-miljøene og antagelsene som ble brukt av tidligere systemer.

Den nye artikkelen heter MovieTeller: Tool-augmented Movie Synopsis med ID-konsistent Progressiv Abstraksjon, og kommer fra fem forfattere over Zhejiang University i Hangzhou, den statlige ledede China Media Group, og Watch AI Group* (de to siste basert i Beijing).

Metode

MovieTeller-skjemaet består av tre stadier: scene-segmentering og nøkkel-ramme-ekstraksjon, som håndteres gjennom PySceneDetect-prosjektet; Faktisk-grunnlagt Scene-beskrivelse-generering via tilpasning av Qwen2.5-VL-7B-Instruct-VLM; og progressiv abstraksjon, som kondenserer detaljerte scene-beskrivelser til kapittel-sammenfatninger, og deretter til en koherent synopsis – og dette blir også utført av Qwen2.5-modellen:

Oversikt over MovieTeller-rammeverket: en hel film blir først segmentert i scener og destillert til høykvalitets-nøkkel-rammer; deretter injiseres faktiske grunnlag via en ekstern ansiktsgjenkjenning-verktøy, som linker karakter-navn til avgrensning-bokser, som guidere en Vision-Language-Model i å produsere ID-konsistente scene-beskrivelser. Disse beskrivelsene blir deretter progressivt abstrahert til kapittel-sammenfatninger og integrert i en koherent film-synopsis.

Den første fasen bruker PySceneDetect til å bryte filmen opp i diskrete scener, basert på klare visuelle endringer, med hver scene representert av en enkelt nøkkel-ramme.

Men ikke hver enkelt ramme gjør en god sammenfattnings-bilde, siden overgangs-momenter, fade-outer og mørke-rammer kan forvirre senere analyse. Derfor utføres en enkel kvalitets-sjekk på kandidat-rammer, ved å måle lysstyrke og visuell variasjon, og sikre at bare informasjons-rike bilder blir valgt for beskrivelse.

Plassering av ansiktet

En ansikt-database ble bygget fra offentlig tilgjengelig cast-informasjon^†, som lagrer hver hovedkarakters navn sammen med et numerisk ansikt innkapsling. Når et ansikt vises i en nøkkel-ramme, blir innkapslingen sammenlignet med databasen, og den nærmeste resultatet akseptert hvis den klarer en tillit-grense. Dette skaper ‘faktiske grunnlag’, som linker navn til bestemte avgrensning-bokser.

For disse formålene, blir InsightFace brukt, som utnytter en ArcFace-basert gjenkjenning-hode:

To kjente ansikter godt husket av Additive Angular Margin Loss (ArcFace)-initiativet, brukt på en lignende måte for MovieTeller-prosjektet. Kilde

De annoterte nøkkel-rammene blir deretter sendt til Qwen-modellen med en prompt som listar opp detekterte karakterer og deres posisjoner.

Siden Vision-Language-modeller ikke kan absorbere en hel film på en gang, bryter MovieTeller opp materialet i scene-beskrivelser. Disse blir gruppert i påfølgende, kapittel-lignende blokker, som deretter blir sendt til Qwen2.5, som sammenfatter hver kapittel, komprimerer plottutviklinger, karakter-motivasjoner og vendinger, mens den beholder de tidligere verifiserte karakter-navnene.

Disse komprimerte kapittel-sammenfatningene blir deretter koblet sammen og returnert til modellen med en ny prompt som ber om en fullstendig synopsis:

Et eksempel på en prompt-mal som brukes til å generere scene-beskrivelser, som injiserer verifiserte karakter-navn og avgrensning-bokser for å begrense Vision-Language-modellen og påtvinge ID-konsistent fortelling.

Data og tester

For å teste systemet, kuraterte forfatterne en spesiallaget (og ukreditert) datasett på 100 hele filmer, tilsvarende 166 timers spilletid. Filmene inkluderte Jernmann 3, Farvel, min elskede, Spis, drik, mann, kvinne og Det hemmelige landet. Forskerne krevde at alle inkluderte filmer skulle ha en vurdering over 5,0 på IMDB:

Datasetts sammensetning over 100 filmer, som viser en balansert tidsmessig dekning fra 1992 til 2025, en liten majoritet av ikke-engelske titler, og en bred sjanger-spreidning ledet av Drama og Action, med representasjon over Sci-Fi, Horror, Komedie, Romantikk og Historie.

Den brede sjanger-spreidningen var designet for å forhindre bias mot en bestemt sjanger.

Ansikt-databasen for hver film bestod av to bilder av hovedkarakterer – ett fra en film-still, og ett fra en relatert promotering-fotografi.

Implementert i Python, ble testene kjørt over fire NVIDIA A40-GPU-er, hver med 48 GB VRAM, og med den ovennevnte Qwen2.5-varianten som den sentrale VLM. Ablasjon-studier^†† ble også utført med alternativt state-of-the-art-modeller InternVL3-8B og WeThink-Qwen2.5VL-7B.

Det nye rammeverket ble testet mot to ablasjon^††-varianter: en No-Hint-baselinje, hvor Vision-Language-modellen genererte scene-beskrivelser fra nøkkel-rammen alene, uten noen tekstlige hint om karakter-identiteter; og en Name-Only Hint-innstilling, hvor modellen ble gitt detekterte karakter-navn, men ikke deres avgrensning-bokser, som tillot forfatterne å isolere den spesifikke bidraget fra romlig grunnlag til identitets-konsistens og narrativ koherens

I forhold til metrikker, ble standard n-gram-overlapp-metrikker som ROUGE og BLEU forkastet til fordel for BERTScore med F1-score, for å måle semantisk likhet mot en referanse-sammenfatning trukket fra ‘en offentlig encyklopedi’.

Også ble Gemini 2.5 Flash brukt til å score hver sammenfatning for faktisk trofasthet; ID-konsistens og fullstendighet; narrativ koherens og flyt; og korthet, med poeng gjennomsnittlig over dimensjoner.

Til slutt ble en menneskelig evaluering av 50 tilfeldig utvalgte sammenfatninger utført ved hjelp av parvis sammenligning, som ga en praktisk sjekk på de automatiserte vurderingene.

Nedenfor ser vi BERTScore (F1)-resultater for de tre backbone-modellene: Qwen2.5-VL, InternVL3 og WeThink. Hver av dem ble testet i tre konfigurasjoner: No-Hint, Name-Only og det fullstendige MovieTeller-systemet:

BERTScore (F1)-sammenligning over tre basis-Vision-Language-modeller og tre eksperimentelle innstillinger, som viser konsistente gevinster fra å legge til karakter-navn og ytterligere forbedringer når romlig grunnlag er inkludert, med MovieTeller som oppnår de høyeste poengene i alle tilfeller.

Forfatterne bemerker at mønsteret er konsistent over alle tre backbone-modellene: å bruke bare den rå nøkkel-rammen gir den svakeste ytelsen; å legge til karakter-navn produserer en beskjeden forbedring; og å kombinere navn med avgrensning-bokser gir de sterkeste resultater. Selv om gevinstene er inkrementelle og ikke dramatiske, oppnår den fullstendig grunnlagte konfigurasjonen de høyeste semantiske sammenfallene med referanse-sammenfatningen i alle innstillinger.

I forhold til LLM-basert evaluering av narrativ kvalitet: som vi ser i resultater nedenfor, har No-Hint-baselinjen vanskeligheter med identitets-konsistens, som trekker ned dens totale poeng; men å levere navn alene produserer en merkbart løft, spesielt på identitets-relaterte dimensjoner. Imidlertid oppnår det fullstendige MovieTeller-rammeverket de høyeste poengene over alle tre backbone-modellene:

LLM-as-a-Judge-vurdering (1–5-skala) over tre basis-modeller, som viser at å legge til karakter-navn forbedrer identitets-konsistens og total kvalitet, mens det fullstendige MovieTeller-rammeverket oppnår de høyeste poengene over faktisk trofasthet, koherens, korthet og sluttvurdering.

De sterkeste gevinstene synes i ID-konsistens, og i den totale gjennomsnittlige poengsummen, som antyder at romlig grunnlag hjelper modellen å holde rede på hvem som gjør hva mens plottet utvikler seg.

I den menneskelige evalueringen av 50 tilfeldig utvalgte sammenfatninger, ble deltakerne vist tre sammenfatninger om gangen, og bedt om å velge den beste:

Menneskelig preferanse-rater i en treveis tvangssammenligning, som viser at de fullstendig grunnlagte MovieTeller-sammenfatningene blir valgt oftest over alle tre basis-modellene, og signifikant overgår både No-Hint- og Name-Only-variantene.

Til slutt ble en kvalitativ test utført på filmen Kula forsvinner (2012):

Vi kan ikke gjengi hele figuren fra den originale artikkelen, siden den er svært høy og tekst-tett. Vennligst se den originale artikkelen i stedet.

Her produserer No-Hint-baselinjen en vag sammenfatning som refererer til karakterer i generiske termer, og blander deres roller, noe som gjør det vanskeligere å følge hendelsesforløpet. Å levere navn alene forbedrer overflatenivå-gjenkalling, men narrativet drifter fortsatt, med karakter-relasjoner og motivasjoner beskrevet på en ganske ‘flat’ måte.

Omvelt, holder den fullstendig grunnlagte MovieTeller-versjonen identiteter stabile gjennom hele sammenfatningen og binder handlinger til riktige karakterer, noe som tillater etterforskning-plottet å utvikle seg med en klarere årsak-virkning-struktur. Spesifikke spenninger og rolle-dynamikk blir bevart i stedet for å bli abstrahert bort, noe som resulterer i en sammenfatning som leser mer som en koherent gjenfortelling av filmens sentrale bue:

En del av den endelige sammenligningen, som vi ikke kan gjengi fullstendig her, som viser en ablasjon og en fullstendig MovieTeller-sammenfatning. Vennligst se den originale artikkelen i stedet.

Konklusjon

Selv om de fleste nye prosjekter av denne typen ender opp i Computer Vision-litteraturen, omfatter AI-generert film-sammenfatting mange andre disipliner og domener i maskinlærings-forskning – og det er vanskelig å si hvilke av disse som uforvarende kan bidra med den manglende biten av puslespillet; selv om MovieTeller tar et skritt i riktig retning, ved å dele opp oppgavene over egnet moduler i stedet for å forsøke å løse alt diskret i latent-rommet, har det fortsatt en ‘sammenfliket’ følelse som ofte foregår en senere, mer elegant løsning.

* Jeg kan ikke identifisere denne institusjonen, selv etter noen søking.

^† En ville anta noe lignende IMDB eller OMDB, men kilde er ikke spesifisert.

^†† Vennligst se den originale artikkelen for omfattende ablasjon, siden vi bare dekker full ablasjon i spesielle tilfeller. Jeg vil merke at de ubehandlet ablasjons-studiene som refereres til her, ikke undergraver artikkelen generelle funn.

Først publisert fredag, 27. februar 2026