Op zoek naar een AI die een hele film kan volgen

AI-modellen verliezen nog steeds het spoor van wie wie is en wat er in een film gebeurt. Een nieuw systeem orkestreert gezichtsherkenning en gestage samenvatting, waardoor personages recht worden gehouden en plots coherent zijn over hele films.

Het krijgen van kunstmatige intelligentie om naar Hollywood-stijl films te kijken en te begrijpen, lijkt misschien een niche- of marginale onderneming; maar een systeem dat een volledige film van begin tot einde kan kijken, het verloop van alle personages kan volgen en bovenop de plot kan blijven, heeft niet alleen een aantal directe toepassingen mogelijk gemaakt die van dergelijke capaciteiten kunnen profiteren, maar ook een aantal perifere of ongerelateerde uitdagingen, over verschillende domeinen.

De laaghangende vruchten voor filmkijkende AI-modellen zijn recommendersystemen, in streamingplatforms zoals Netflix, Amazon Prime en HBO Max. Een gedetailleerd begrip van plotontwikkelingen en karakteracties maakt een nauwere match mogelijk met de (vaak specieuze) voorkeuren en enthousiasme van kijkers.

Verder maakt een dieper begrip van een film het mogelijk om trefwoorden te genereren en meer accurate categorisatie, in plaats van het in stand houden van vaak gekopieerde filmomschrijvingen die mogelijk decennia geleden zijn geschreven. Dergelijke inzichten kunnen ook het voorkomen van ‘volwassen’ thema’s in een film aan het licht brengen, die niet noodzakelijkerwijs duidelijk zijn uit het dialoog of de visuele onderdelen.

Daarnaast kunnen oude films in een catalogus verouderde beoordelingen en overzichten hebben; bijvoorbeeld, taal en idiomen die in een film uit de jaren 50 werden genormaliseerd, zouden nu meer aandacht kunnen verdienen. Maar zonder een algemeen begrip van context, verkregen uit het echt volgen van een lange filmnarratief, kunnen dergelijke incidenten worden over- of onderbenadrukt.

Meer in het algemeen kunnen verbeterde filmanalysebenaderingen een grote bijdrage leveren aan het veel bredere probleem van gebeurtenisherkenning, dat dringend nodig is voor innovaties in beveiligingsmonitoring, geautomatiseerde sportcommentaren en samenvattingen van alle soorten, over een enorm bereik van media.

Dus ‘AI-gebaseerde filmkijken’ is een verrassend goed ingeschreven genre in de Computer Vision-literatuur.

Het grotere plaatje zien

De laatste nieuwkomer heet MovieTeller – een academische/industriële samenwerking uit China die nieuwe vooruitgang boekt door de verschillende subtaken in de uitdaging over verschillende AI-toepassingen te verdelen die deze uitdagingen het beste aankunnen, in plaats van – zoals vaak het geval is – te proberen om discrete en geïncapsuleerde modellen te trainen die alle nodige taken vanuit één latent space kunnen uitvoeren.

De auteurs merken op dat eerdere Vision-Language Models (VLMs) die met dezelfde taak werden geconfronteerd, niet veel verder zijn gekomen dan enkele frame-analyse; en dat hun gebrek aan context het moeilijk maakt voor dergelijke modellen om personages consistent te identificeren – misschien wel het meest essentiële kenmerk van een dergelijk systeem:

Het nieuwe systeem, MovieTeller, kan personages in scènes persistent identificeren, dankzij het gebruik van een speciaal gezichtsherkenningssysteem; maar het is de meer omvattende toewijding aan context die het kader in staat stelt om bovenop plotontwikkelingen te blijven. Bron

De auteurs stellen:

‘Algemene Vision-Language Models hebben vaak moeite om specifieke personages te herkennen en consistent te volgen gedurende een lange narratief. Ze kunnen een belangrijke protagonist beschrijven als “een man” in één scène en “een persoon” in een andere, zonder de visuele representatie te binden aan een consistente identiteit.’

De auteurs merken op dat, omdat Transformers‘ self-attention mechanism gebruik maakt van kwadratische complexiteit, het verwerken van elke frame van een volledige film tegelijk te computationeel duur wordt. Als gevolg daarvan neigen benaderingen die afhankelijk zijn van uniform frame-sampling of eenvoudige concatenatie ertoe de flow van het verhaal te onderbreken, waardoor gefragmenteerde samenvattingen ontstaan in plaats van een coherente narratief.

In plaats daarvan bestaat het nieuwe systeem uit een georkestreerde trainingsvrije pijplijn, met speciale tools om gezichtsherkenning en persistentie van geheugen (als personages de narratief van een film verlaten en weer binnentreden) aan te pakken.

MovieTeller werd getest tegen eerdere benaderingen met behulp van 60 volledige films, equivalent aan 10.000 minuten aan beeldmateriaal. In kwantitatieve ablatieonderzoeken en menselijke studies meldden de auteurs dat hun benadering aanzienlijk verbeterde ten opzichte van de standaardomgevingen en aannamen die door eerdere systemen werden gebruikt.

Het nieuwe artikel heet MovieTeller: Tool-augmenteerde filmSynopsis met ID-geconsolideerde progressieve abstractie, en komt van vijf auteurs uit Zhejiang University in Hangzhou, de door de staat geleide China Media Group en Watch AI Group* (de laatste twee zijn gevestigd in Beijing).

Methode

Het MovieTeller-schema bestaat uit drie fasen: scène-segmentatie en sleutelkaderextractie, die worden afgehandeld via het PySceneDetect-project; Factual-Grounded Scene Description Generation via de aanpassing van de Qwen2.5-VL-7B-Instruct VLM; en progressieve abstractie, die gedetailleerde scènedescripties condenseert tot hoofdstuksamenvattingen en vervolgens tot een coherente synopsis – en dit wordt ook uitgevoerd door de Qwen2.5-model:

Overzicht van het MovieTeller-kader: een volledige film wordt eerst gesegmenteerd in scènes en gedistilleerd tot hoge kwaliteit sleutelkaders; vervolgens injecteert een externe gezichtsherkenningstool feitelijke grondslagen, die karakternamen koppelen aan begrenzingsboxen, die een Vision-Language Model leiden bij het produceren van ID-geconsolideerde scènedescripties. Deze descripties worden vervolgens progressief geabstraheerd tot hoofdstuksamenvattingen en geïntegreerd in een coherente filmSynopsis.

De eerste fase gebruikt PySceneDetect om de film te breken in discrete scènes, op basis van duidelijke visuele veranderingen, met elke scène vertegenwoordigd door één sleutelkader.

Echter, niet elke frame maakt een goede samenvattingsafbeelding, omdat overgangsmomenten, fade-outs en donkere frames later onderzoek kunnen verwarren. Daarom voert een eenvoudige kwaliteitscontrole een filterrun uit op kandidaatframes, door helderheid en visuele variatie te meten, waardoor alleen informatierijke afbeeldingen worden geselecteerd voor beschrijving.

Het gezicht plaatsen

Een gezichtsdatabase werd opgebouwd uit openbaar beschikbare castinformatie^†, waarin elke hoofdrolspeler zijn naam opslaat naast een numeriek gezicht embedding. Wanneer een gezicht verschijnt in een sleutelkader, wordt zijn embedding gematcht tegen de database, en wordt de dichtstbijzijnde resultaat geaccepteerd als het een vertrouwensdrempel overschrijdt. Dit creëert ‘feitelijke grondslagen’, die namen koppelen aan specifieke begrenzingsboxen.

Voor deze doeleinden wordt InsightFace gebruikt, dat een ArcFace verlies-gebaseerde herkenning gebruikt:

Twee vertrouwde gezichten die goed worden herinnerd door de Additive Angular Margin Loss (ArcFace) initiatief, die op een vergelijkbare manier wordt gebruikt voor het MovieTeller-project. Bron

De geannoteerde sleutelkaders worden vervolgens doorgegeven aan de Qwen-model met een prompt die de gedetecteerde personages en hun posities vermeldt:

Daar Vision-Language Models niet in staat zijn om een hele speelfilm in één keer te verwerken, breekt MovieTeller de stof eerst af in scènedescripties. Deze worden gegroepeerd in opeenvolgende, hoofdstuk-achtige blokken, die vervolgens worden doorgegeven aan Qwen2.5, die elke hoofdstuk samenvat, plotontwikkelingen, karaktermotivaties en wendingen comprimeert, terwijl het eerder geverifieerde karakternamen behoudt.

Deze gecomprimeerde hoofdstuksamenvattingen worden vervolgens geconcateneerd en teruggegeven aan het model met een nieuwe prompt die een complete synopsis vraagt:

Een voorbeeldprompt-sjabloon die wordt gebruikt om scènedescripties te genereren, die expliciet geverifieerde karakternamen en begrenzingsboxen injecteert om het Vision-Language Model te beperken en ID-geconsolideerde narratie af te dwingen.

Gegevens en tests

Om het systeem te testen, hebben de auteurs een aangepaste (en bron-onvermelde) dataset van 100 volledige films gemaakt, equivalent aan ongeveer 166 uur aan beeldmateriaal. De films omvatten IJzeren Man 3, Farewell My Concubine, Eet, Drink, Man, Vrouw en De Kronieken van Narnia. De onderzoekers eisten dat alle opgenomen films een rating van boven de 5,0 op de IMDB hadden:

Dataset-samenstelling over 100 films, met een evenwichtige tijdsdekking van 1992 tot 2025, een lichte meerderheid van niet-Engelstalige titels en een brede genre-spreiding aangevoerd door Drama en Actie, met vertegenwoordiging over Sci-Fi, Horror, Komedie, Romantiek en Geschiedenis.

De brede range aan genres die werden aangepakt (zie grafiek hierboven) was ontworpen om te voorkomen dat er een voorkeur zou ontstaan voor een bepaald genre.

De gezichtsdatabase voor elke film bestond uit twee foto’s van hoofdrolspelers – één uit een filmbestand en één uit een gerelateerde publiciteitsfoto.

Geïmplementeerd in Python, werden de tests uitgevoerd op vier NVIDIA A40 GPU’s, elk met 48 GB VRAM, en met de eerder genoemde Qwen2.5-variant als centraal VLM. Ablatieonderzoeken^†† werden ook uitgevoerd met alternatieve state-of-the-art-modellen InternVL3-8B en WeThink-Qwen2.5VL-7B.

Het nieuwe kader werd getest tegen twee ablatie^††-varianten: een No-Hint-basislijn, waarin het Vision-Language Model scènedescripties gegenereerde uit het sleutelkader alleen, zonder enige tekstuele aanwijzingen over karakteridentiteiten; en een Name-Only Hint-instelling, waarin het model de gedetecteerde karakternamen kreeg, maar niet hun begrenzingsboxen, waardoor de auteurs de specifieke bijdrage van ruimtelijke grondslagen aan identiteitsconsistentie en narratieve coherentie konden isoleren

Met betrekking tot metrics, gezien de eerder genoemde moeilijkheid om grondwaarheidmethoden toe te passen op lange plot samenvattingen, werden standaard n-gram overlap metrics zoals ROUGE en BLEU verlaten ten gunste van BERTScore met F1-score, om semantische gelijkenis te meten tegen een referentie-samenvatting getrokken uit ‘een openbare encyclopedie’.

Daarnaast werd Gemini 2.5 Flash gebruikt om elke samenvatting te scoren voor feitelijke trouw; ID-consistentie en volledigheid; narratieve coherentie en flow; en bondigheid, met scores gemiddeld over dimensies.

Tenslotte werd een menselijke evaluatie van 50 willekeurig geselecteerde samenvattingen uitgevoerd met behulp van een drievoudige vergelijking, waarbij deelnemers drie samenvattingen tegelijk te zien kregen en werden gevraagd om de beste te selecteren:

Menselijke voorkeurspercentages in een drievoudige gedwongen keuze-evaluatie, waaruit blijkt dat de volledig gefundeerde MovieTeller-samenvattingen het vaakst worden geselecteerd over alle drie de basismodellen, en significant beter presteren dan zowel de No-Hint- als de Name-Only-varianten.

Tenslotte werd een kwalitatieve test uitgevoerd op de film The Bullet Vanishes (2012):

We kunnen de gehele figuur uit het oorspronkelijke artikel niet reproduceren, omdat deze zeer lang en tekstrijk is. Verwijs naar het bronartikel in plaats daarvan.

Hier produceert de No-Hint-basislijn een vage samenvatting die personages in algemene termen noemt en hun rollen vertroebelt, waardoor de keten van gebeurtenissen moeilijker te volgen is. Het verstrekken van namen alleen leidt tot een merkbare verbetering, vooral op het niveau van identiteitsgerelateerde dimensies. Echter, de volledig gefundeerde MovieTeller-versie houdt identiteiten stabiel gedurende de hele samenvatting en koppelt acties aan de juiste personages, waardoor het onderzoekplot zich kan ontvouwen met een duidelijker causale structuur.

Specifieke spanningen en rol dynamiek worden behouden in plaats van geabstraheerd, waardoor een samenvatting ontstaat die minder lijkt op een losse omschrijving en meer op een coherente hervertelling van de centrale boog van de film:

Deel van de finale vergelijking, die we hier niet volledig kunnen reproduceren, waarin een geabstraheerde en een volledige MovieTeller-samenvatting worden getoond. Verwijs naar het bronartikel in plaats daarvan.

Conclusie

Hoewel de meeste nieuwe projecten van dit type eindigen in de Computer Vision-literatuur, omvat AI-gegenereerde filmsamenvatting veel meer disciplines en domeinen in machine learning-onderzoek – en het is moeilijk te zeggen welke van deze onbewust de ontbrekende puzzelstuk zal bijdragen; hoewel MovieTeller een stap in de goede richting zet door de taken over geschikte modules te verdelen in plaats van te proberen alles discreet op te lossen in de latent space, het heeft nog steeds het ‘samengestelde’ gevoel dat vaak voorafgaat aan een latere, meer elegante oplossing.

* Ik kan deze instelling niet identificeren, zelfs niet na enig zoeken.

^† Men zou kunnen aannemen dat het iets zoals de IMDB of OMDB is, maar de bron is niet gespecificeerd.

^†† Verwijs naar het bronartikel voor een uitgebreide ablatie, aangezien we hier alleen volledige ablatie in uitzonderlijke gevallen behandelen. Ik wil opmerken dat de onbehandelde ablatieonderzoeken die hier worden genoemd, de algemene bevindingen van het artikel niet ondermijnen.

Publicatie op vrijdag 27 februari 2026