Andersons hoek

Op zoek naar een AI die een hele film kan volgen

Martin Anderson
Voeg Unite.AI toe aan je voorkeursbronnen op Google
AI-generated illustration (GPT-1.5) depicting a POV of a Steenbeck flatbed editing table as robot hands examine celluloid footage of a love scene from an old movie.
Belangrijkste puntenMovieTeller gebruikt toegewijde gezichtsherkenning en gefaseerde samenvatting om…
Meer weergeven
  • MovieTeller gebruikt toegewijde gezichtsherkenning en gefaseerde samenvatting om personages in volledige films te volgen.
  • Het georkestreerde systeempipeline overwint Transformer-beperkingen door films in scènes en hoofdstukken te segmenteren.
  • Menselijke evaluaties tonen aan dat verankerde personage-identiteiten coherentere verhalen produceren dan naam-only of geen-hint benaderingen.

AI-modellen verliezen nog steeds het spoor van wie wie is en wat er in een film gebeurt. Een nieuw systeem orkestreert gezichtsherkenning en stapsgewijze samenvatting, waardoor de identiteit van personages duidelijk blijft en plots coherent zijn over hele films.

 

Het krijgen van kunstmatige intelligentie om naar Hollywood-stijl films te kijken en te begrijpen, lijkt misschien een niche- of marginale onderneming; maar een systeem dat een volledige film van begin tot einde kan kijken, het verloop van alle personages kan volgen en bovenop de plot kan blijven, heeft niet alleen een aantal directe toepassingen mogelijk gemaakt die van dergelijke capaciteiten kunnen profiteren, maar ook een aantal perifere of ongerelateerde uitdagingen, over verschillende domeinen.

De laaghangende vruchten voor filmkijkende AI-modellen zijn recommendersystemen, in streamingplatforms zoals Netflix, Amazon Prime en HBO Max. Een gedetailleerd begrip van plotontwikkelingen en karakteracties maakt een nauwere match mogelijk met de (vaak specieuze) voorkeuren en enthousiasme van kijkers.

Verder maakt een dieper begrip van een film het mogelijk om trefwoorden te genereren en meer accurate categorisatie, in plaats van het in stand houden van vaak gekopieerde filmomschrijvingen die mogelijk decennia geleden zijn geschreven. Dergelijke inzichten kunnen ook het voorkomen van ‘volwassen’ thema’s in een film aan het licht brengen, die niet noodzakelijkerwijs duidelijk zijn uit de dialoog of de visuele onderdelen.

Daarnaast kunnen oude films in een catalogus verouderde beoordelingen en overzichten hebben; bijvoorbeeld, taal en idiomen die in een film uit de jaren 50 werden genormaliseerd, zouden nu meer aandacht kunnen verdienen. Maar zonder een algemeen begrip van context, verkregen uit het echt volgen van een lange filmnarratief, kunnen dergelijke incidenten worden over- of onderbenadrukt.

Meer in het algemeen kunnen verbeterde filmanalysebenaderingen een grote bijdrage leveren aan het veel bredere probleem van gebeurtenisherkenning, dat dringend nodig is voor innovaties in beveiligingsmonitoring, geautomatiseerde sportcommentaren en samenvattingen van alle soorten, over een enorm bereik van media.

Dus ‘AI-gebaseerde filmkijken’ is een verrassend goed vertegenwoordigd onderzoeksgebied in de Computer Vision-literatuur.

Het grotere plaatje zien

De laatste nieuwkomer heet MovieTeller – een academische/industriële samenwerking uit China die nieuwe vooruitgang boekt door de verschillende subtaken in de uitdaging over verschillende AI-toepassingen te verdelen die deze uitdagingen het beste aankunnen, in plaats van – zoals vaak het geval is – te proberen om discrete en geïncapsuleerde modellen te trainen die alle nodige taken vanuit één latent space kunnen uitvoeren.

De auteurs merken op dat eerdere Vision-Language Models (VLMs) die met dezelfde taak werden geconfronteerd, niet veel verder zijn gekomen dan enkele frame-analyse; en dat hun gebrek aan context het moeilijk maakt voor dergelijke modellen om personages consistent te identificeren – misschien wel het meest essentiële kenmerk van een dergelijk systeem:

Het nieuwe systeem, MovieTeller, kan personages in scènes persistent identificeren, dankzij het gebruik van een speciaal gezichtsherkenningssysteem; maar het is de meer omvattende toewijding aan context die het kader in staat stelt om bovenop plotontwikkelingen te blijven.

Het nieuwe systeem, MovieTeller, kan personages in scènes persistent identificeren, dankzij het gebruik van een speciaal gezichtsherkenningssysteem; maar het is de meer omvattende toewijding aan context die het kader in staat stelt om bovenop plotontwikkelingen te blijven. Bron

De auteurs stellen:

‘Algemene Vision-Language Models hebben vaak moeite om specifieke personages te herkennen en consistent te volgen gedurende een lange narratief. Ze kunnen een belangrijke protagonist beschrijven als “een man” in één scène en “een persoon” in een andere, zonder de visuele representatie te binden aan een consistente identiteit.’

De auteurs merken op dat, omdat Transformers‘ self-attention mechanism gebruik maakt van kwadratische complexiteit, het verwerken van elke frame van een volledige film tegelijk te computationeel duur wordt. Als gevolg daarvan neigen benaderingen die afhankelijk zijn van uniform frame-sampling of eenvoudige concatenatie ertoe de flow van het verhaal te onderbreken, waardoor gefragmenteerde samenvattingen ontstaan in plaats van een coherente narratief.

In plaats daarvan bestaat het nieuwe systeem uit een georkestreerde trainingsvrije pijplijn, met speciale tools om gezichtsherkenning en persistentie van geheugen (als personages de narratief van een film verlaten en weer binnentreden) aan te pakken.

MovieTeller werd getest tegen eerdere benaderingen met behulp van 60 volledige films, equivalent aan 10.000 minuten aan beeldmateriaal. In kwantitatieve ablatieonderzoeken en menselijke studies meldden de auteurs dat hun benadering aanzienlijk verbeterde ten opzichte van de standaardomgevingen en aannamen die door eerdere systemen werden gebruikt.

Het nieuwe artikel heet MovieTeller: Tool-augmenteerde filmSynopsis met ID-geconsolideerde progressieve abstractie, en komt van vijf auteurs uit Zhejiang University in Hangzhou, de door de staat geleide China Media Group en Watch AI Group* (de laatste twee zijn gevestigd in Beijing).

Methode

Het MovieTeller-schema bestaat uit drie fasen: scène-segmentatie en sleutelkaderextractie, die worden afgehandeld via het PySceneDetect-project; het genereren van op feiten gebaseerde scènebeschrijvingen via de aanpassing van de Qwen2.5-VL-7B-Instruct VLM; en progressieve abstractie, die gedetailleerde scènedescripties condenseert tot hoofdstuksamenvattingen en vervolgens tot een coherente synopsis – en dit wordt ook uitgevoerd door het Qwen2.5-model:

Overzicht van het MovieTeller-kader: een volledige film wordt eerst gesegmenteerd in scènes en gedistilleerd tot hoge kwaliteit sleutelkaders; vervolgens injecteert een externe gezichtsherkenningstool feitelijke grondslagen, die karakternamen koppelen aan begrenzingsboxen, die een Vision-Language Model leiden bij het produceren van ID-geconsolideerde scènedescripties. Deze descripties worden vervolgens progressief geabstraheerd tot hoofdstuksamenvattingen en geïntegreerd in een coherente filmSynopsis.

Overzicht van het MovieTeller-kader: een volledige film wordt eerst gesegmenteerd in scènes en gedistilleerd tot hoge kwaliteit sleutelkaders; vervolgens injecteert een externe gezichtsherkenningstool feitelijke grondslagen, die karakternamen koppelen aan begrenzingsboxen, die een Vision-Language Model leiden bij het produceren van ID-geconsolideerde scènedescripties. Deze descripties worden vervolgens progressief geabstraheerd tot hoofdstuksamenvattingen en geïntegreerd in een coherente filmSynopsis.

De eerste fase gebruikt PySceneDetect om de film te breken in discrete scènes, op basis van duidelijke visuele veranderingen, met elke scène vertegenwoordigd door één sleutelkader.

Echter, niet elke frame maakt een goede samenvattingsafbeelding, omdat overgangsmomenten, fade-outs en donkere frames later onderzoek kunnen verwarren. Daarom voert een eenvoudige kwaliteitscontrole een filterrun uit op kandidaatframes, door helderheid en visuele variatie te meten, waardoor alleen informatierijke afbeeldingen worden geselecteerd voor beschrijving.

Het gezicht plaatsen

Een gezichtsdatabase werd opgebouwd uit openbaar beschikbare castinformatie†, waarin de naam van elk hoofdpersonage wordt opgeslagen naast een numerieke gezichts embedding. Wanneer een gezicht verschijnt in een sleutelkader, wordt zijn embedding gematcht tegen de database, en wordt het dichtstbijzijnde resultaat geaccepteerd als het een vertrouwensdrempel overschrijdt. Dit creëert ‘feitelijke grondslagen’, die namen koppelen aan specifieke begrenzingsboxen.

Voor deze doeleinden wordt InsightFace gebruikt, dat een ArcFace verlies-gebaseerde herkenning gebruikt:

Twee vertrouwde gezichten die goed worden herinnerd door de Additive Angular Margin Loss (ArcFace) initiatief, die op een vergelijkbare manier wordt gebruikt voor het MovieTeller-project. Bron - https://www.youtube.com/watch?v=y-D1tReryGA&t=80s

Twee vertrouwde gezichten die goed worden herinnerd door de Additive Angular Margin Loss (ArcFace) initiatief, die op een vergelijkbare manier wordt gebruikt voor het MovieTeller-project. Bron

De geannoteerde sleutelkaders worden vervolgens doorgegeven aan het Qwen-model met een prompt die de gedetecteerde personages en hun posities vermeldt:

Daar Vision-Language Models niet in staat zijn om een hele speelfilm in één keer te verwerken, breekt MovieTeller de stof eerst af in scènedescripties. Deze worden gegroepeerd in opeenvolgende, hoofdstuk-achtige blokken, die vervolgens worden doorgegeven aan Qwen2.5, die elk hoofdstuk samenvat, plotontwikkelingen, karaktermotivaties en wendingen comprimeert, terwijl het eerder geverifieerde karakternamen behoudt.

Deze gecomprimeerde hoofdstuksamenvattingen worden vervolgens geconcateneerd en teruggegeven aan het model met een nieuwe prompt die een complete synopsis vraagt:

Een voorbeeldprompt-sjabloon die wordt gebruikt om scènedescripties te genereren, die expliciet geverifieerde karakternamen en begrenzingsboxen injecteert om het Vision-Language Model te beperken en ID-geconsolideerde narratie af te dwingen.

Net als de prompt die om een volledige synopsis vraagt, wordt dit voorbeeld gebruikt om scènebeschrijvingen te genereren. Geverifieerde personagenamen en begrenzingsboxen worden expliciet toegevoegd om het Vision-Language Model te sturen en een vertelling met consistente identiteiten af te dwingen.


Schrijver over machine learning, domeinspecialist in menselijke beeldsynthetisatie. Voormalig hoofd van onderzoekscontent bij Metaphysic.ai, tot de ontbinding ervan in DNEG's Brahma.ai.
Website: martinanderson.ai
Contact: martin@martinanderson.ai