Andersons vinkel

På leting etter en AI som kan følge en hel film

Martin Anderson
Legg til Unite.AI blant dine foretrukne kilder på Google
AI-generated illustration (GPT-1.5) depicting a POV of a Steenbeck flatbed editing table as robot hands examine celluloid footage of a love scene from an old movie.
Viktige punkterMovieTeller bruker dedikert ansiktsgjenkjenning og trinnvis oppsummering for å følge…
Vis mer
  • MovieTeller bruker dedikert ansiktsgjenkjenning og trinnvis oppsummering for å følge karakterer gjennom hele filmer.
  • Systemets orkestrerte pipeline overvinner Transformers begrensninger ved å dele filmer inn i scener og kapitler.
  • Menneskelige evalueringer viser at forankrede karakteridentiteter produserer mer sammenhengende fortellinger enn navn-bare eller ingen-hint-tilnærminger.

AI-modeller mister fortsatt spor av hvem som er hvem og hva som skjer i en film. Et nytt system orchestrerer ansiktsgjenkjenning og trinnvis sammenfatting, holder karakterenes identiteter tydelige, og plottet koherent over hele filmer.

 

Å få kunstig intelligens til å se og forstå Hollywood-stil filmer kan synes som en nisje eller perifer oppgave, men et system som kan se en hel film fra begynnelsen til slutten, spore fremgangen til alle karakterene, og holde på plottet, har ikke bare gjort det mulig å bruke direkte applikasjoner som kan dra nytte av slike evner, men også en del perifere eller ubeslektede utfordringer, over forskjellige domener.

De letteste fruktene for film-seende AI-modeller er anbefalingsystemer, på strømmingtjenester som Netflix, Amazon Prime og HBO Max. En detaljert forståelse av plottutviklinger og karakterhandlinger gjør det mulig å finne en nærmere match til (ofte tvilsomme) preferanser og entusiasmer hos seerne.

I tillegg kan en dypere forståelse av en film muliggjøre nøkkelordsgenerering og mer nøyaktig kategorisering, i stedet for å videreformidle ofte kopierte film beskrivelser som kan ha blitt skrevet for mange år siden. Slike innsikter kan også avdekke tilstedeværelsen av “voksne” temaer i en film som ikke er åpenbart fra dialogen eller visuelt.

I tillegg kan eldre filmer i en katalog ha foreldede vurderinger, samt oversikter; for eksempel kan språk og idiom som var normalisert i en film fra 1950-årene krevde mye mer oppmerksomhet nå. Men uten en helhetlig forståelse av konteksten, hentet fra å faktisk følge en lang film-narrativ, kunne slike hendelser bli over- eller under-betont.

Mer generelt kan forbedrede film-analyse-tilnærminger bidra mye til det mye videre-rangerte problemet med hendelses-gjenkjenning, som er livsviktig for innovasjoner i sikkerhets-overvåking, automatiserte sports-kommentarer og sammenfatninger av alle slag, over en stor rekke medier.

Derfor er ‘AI-basert film-seing’ et overraskende godt representert forskningsfelt i Computer Vision-litteraturen.

Å se det store bildet

Den nyeste deltakeren heter MovieTeller – et akademisk/industri-samarbeid fra Kina som gjør nye fremskritt ved å dele opp de forskjellige under-oppdragene i utfordringen over forskjellige AI-applikasjoner som passer disse utfordringene, i stedet for – som ofte er tilfelle – å forsøke å trene diskrete og innkapslede modeller som kan utføre alle nødvendige oppgaver fra ett latent rom.

Forfatterne observerer at tidligere Vision-Language-modeller (VLMs) som ble konfrontert med samme oppgave, ikke har klart å gå mye lengre enn enkelt-ramme-analyse; og at deres mangel på kontekst gjør det vanskelig for slike modeller å bestandig identifisere karakterer – kanskje den viktigste egenskapen til et slikt system:

Det nye systemet, MovieTeller, kan bestandig identifisere personer i scener, takket være bruk av et dedikert ansiktsgjenkjenningssystem; men det er den mer overordnede dedikasjonen til kontekst som gjør at rammeverket kan holde på plottutviklingen. Kilde - https://arxiv.org/pdf/2602.23228

Det nye systemet, MovieTeller, kan bestandig identifisere personer i scener, takket være bruk av et dedikert ansiktsgjenkjenningssystem; men det er den mer overordnede dedikasjonen til kontekst som gjør at rammeverket kan holde på plottutviklingen. Kilde

Forfatterne skriver:

‘Generiske VLMs har ofte vanskelig for å gjenkjenne og bestandig spore bestemte karakterer gjennom en lang narrativ. De kan beskrive en nøkkel-protagonist som “en mann” i en scene og “en person” i en annen, uten å binde den visuelle representasjonen til en konsistent identitet.’

Forfatterne bemerker at fordi Transformers‘ selv-oppmerksomhets-mekanisme bruker kvadratisk kompleksitet, blir behandling av hver ramme i en hel film på en gang for dyrt. Derfor tenderer tilnærminger som avhenger av jevn utvelging av bilderuter eller enkel konkatenering til å bryte opp flyten i historien, og produsere fragmenterte sammenfatninger i stedet for en koherent narrativ.

I stedet består det nye systemet av en orkestrert, trening-fri pipeline, med dedikerte verktøy for å håndtere ansiktsgjenkjenning og bestandig minne (slik at karakterer kan forlate og returnere til narrativet i en film).

MovieTeller ble testet mot tidligere tilnærminger ved hjelp av 60 hele filmer, tilsvarende 10 000 minutters film. I kvantitative ablasjonstester og menneske-studier, rapporterte forfatterne at deres tilnærmning var i stand til å forbedre seg betydelig på de standard-miljøene og antagelsene som ble brukt av tidligere systemer.

Den nye artikkelen heter MovieTeller: Tool-augmented Movie Synopsis med ID-konsistent Progressiv Abstraksjon, og kommer fra fem forfattere over Zhejiang University i Hangzhou, den statlige ledede China Media Group, og Watch AI Group* (de to siste basert i Beijing).

Metode

MovieTeller-skjemaet består av tre stadier: scene-segmentering og nøkkel-ramme-ekstraksjon, som håndteres gjennom PySceneDetect-prosjektet; generering av faktabaserte scenebeskrivelser via tilpasning av Qwen2.5-VL-7B-Instruct-VLM; og progressiv abstraksjon, som kondenserer detaljerte scene-beskrivelser til kapittel-sammenfatninger, og deretter til en koherent synopsis – og dette blir også utført av Qwen2.5-modellen:

Oversikt over MovieTeller-rammeverket: en hel film blir først segmentert i scener og destillert til høykvalitets-nøkkel-rammer; deretter injiseres faktiske grunnlag via en ekstern ansiktsgjenkjenning-verktøy, som linker karakter-navn til avgrensning-bokser, som guidere en Vision-Language-Model i å produsere ID-konsistente scene-beskrivelser. Disse beskrivelsene blir deretter progressivt abstrahert til kapittel-sammenfatninger og integrert i en koherent film-synopsis.

Oversikt over MovieTeller-rammeverket: en hel film blir først segmentert i scener og destillert til høykvalitets-nøkkel-rammer; deretter injiseres faktiske grunnlag via en ekstern ansiktsgjenkjenning-verktøy, som linker karakter-navn til avgrensning-bokser, som guidere en Vision-Language-Model i å produsere ID-konsistente scene-beskrivelser. Disse beskrivelsene blir deretter progressivt abstrahert til kapittel-sammenfatninger og integrert i en koherent film-synopsis.

Den første fasen bruker PySceneDetect til å bryte filmen opp i diskrete scener, basert på klare visuelle endringer, med hver scene representert av en enkelt nøkkel-ramme.

Men ikke hver enkelt ramme gjør en god sammenfattnings-bilde, siden overgangs-momenter, fade-outer og mørke-rammer kan forvirre senere analyse. Derfor utføres en enkel kvalitets-sjekk på kandidat-rammer, ved å måle lysstyrke og visuell variasjon, og sikre at bare informasjons-rike bilder blir valgt for beskrivelse.

Plassering av ansiktet

En ansikt-database ble bygget fra offentlig tilgjengelig cast-informasjon†, som lagrer hver hovedkarakters navn sammen med en numerisk vektorrepresentasjon av ansiktet. Når et ansikt vises i en nøkkel-ramme, blir vektorrepresentasjonen sammenlignet med databasen, og det nærmeste resultatet akseptert hvis den klarer en tillit-grense. Dette skaper ‘faktiske grunnlag’, som linker navn til bestemte avgrensning-bokser.

For disse formålene, blir InsightFace brukt, som utnytter en ArcFace-basert gjenkjenning-hode:

To kjente ansikter godt husket av Additive Angular Margin Loss (ArcFace)-initiativet, brukt på en lignende måte for MovieTeller-prosjektet. Kilde - https://www.youtube.com/watch?v=y-D1tReryGA&t=80s

To kjente ansikter godt husket av Additive Angular Margin Loss (ArcFace)-initiativet, brukt på en lignende måte for MovieTeller-prosjektet. Kilde

De annoterte nøkkel-rammene blir deretter sendt til Qwen-modellen med en prompt som listar opp detekterte karakterer og deres posisjoner.

Siden Vision-Language-modeller ikke kan absorbere en hel film på en gang, bryter MovieTeller opp materialet i scene-beskrivelser. Disse blir gruppert i påfølgende, kapittel-lignende blokker, som deretter blir sendt til Qwen2.5, som sammenfatter hvert kapittel, komprimerer plottutviklinger, karakter-motivasjoner og vendinger, mens den beholder de tidligere verifiserte karakter-navnene.

Disse komprimerte kapittel-sammenfatningene blir deretter koblet sammen og returnert til modellen med en ny prompt som ber om en fullstendig synopsis:

Et eksempel på en prompt-mal som brukes til å generere scene-beskrivelser, som injiserer verifiserte karakter-navn og avgrensning-bokser for å begrense Vision-Language-modellen og påtvinge ID-konsistent fortelling.

I likhet med prompten som ber om en hel synopsis brukes dette eksemplet til å generere scenebeskrivelser, ved uttrykkelig å legge inn verifiserte karakternavn og avgrensningsbokser som styrer Vision-Language-modellen og sikrer fortelling med konsekvente identiteter.


Skribent innen maskinlæring, domenespesialist i menneskelig bildesyntese. Tidligere leder for forskningsinnhold hos Metaphysic.ai, frem til oppløsningen i DNEG's Brahma.ai.
Nettsted: martinanderson.ai
Kontakt: martin@martinanderson.ai