Etsintässä AI:ta, joka voi seurata koko elokuvaa

Tekoälymallit häviävät edelleen jäljiltä, kun on kyse siitä, kuka on kuka ja mitä elokuvassa tapahtuu. Uusi järjestelmä orkestroi kasvojentunnistuksen ja näytelmän tiivistämisen, pitäen hahmot suorana ja juonen yhtenäisenä koko elokuvan ajan.

Saada tekoäly toimimaan ja ymmärtämään Hollywood-tyylisiä elokuvia voi tuntua marginaaliselta tai epäolennaiselta tavoitteelta, mutta järjestelmä, joka voi katsella koko elokuvan alusta loppuun, seurata kaikkien hahmojen edistymistä ja pysyä juonen tasolla, on mahdollistanut useita suoria sovelluksia, jotka voisivat hyötyä näistä kyvyistä, sekä useita sivullisia tai epäsuoria haasteita eri aloilla.

Helppo saalis elokuvaan perustuvista tekoälymallista on suosittelujärjestelmät suoratoistopalveluissa, kuten Netflix, Amazon Prime ja HBO Max. Yksityiskohtainen ymmärrys juonen kehityksestä ja hahmojen toiminnasta mahdollistaa paremman vastineen (usein epäilyttävien) katsojien mieltymyksille ja intohimoille.

Lisäksi elokuvan syvempi ymmärrys mahdollistaa avain-sanakehysten luomisen ja tarkemman luokittelun, eikä vain jatka vanhoja, usein kopioituja elokuva-kuvausia, jotka on voitu kirjoittaa vuosikymmeniä sitten. Nämä oivallukset voivat myös paljastaa “aikuisten” teemojen läsnäolon elokuvassa, joka ei välttämättä ole ilmiselvää vuoropuhelusta tai visuaalisista elementeistä.

Lisäksi vanhemmissa elokuvissa katalogissa voi olla vanhentuneita arvosteluita ja yhteenvetoja; esimerkiksi kieli ja idiomeja, jotka olivat normaaleja 1950-luvun elokuvassa vaativat nyt enemmän huomiota. Mutta ilman yleisen kontekstin ymmärrystä, joka saadaan todella seuraamalla pitkää elokuvan kerrontaa, tällaiset tapaukset voivat olla yli- tai alikorostettuja.

Laajemmin ottaen parannetut elokuva-analyysimenetelmät voivat vaikuttaa suuresti laajempaan ongelmaan, joka liittyy tapahtuman tunnistamiseen, jota tarvitaan innovaatioita turvallisuuden valvontaan, automaattisiin urheilukommentaattoreihin ja yhteenvedon laatimiseen kaikenlaisissa medioissa.

Siksi “AI-pohjainen elokuvakatselu” on yllättävän hyvin edustettu aihe tietokoneen näön kirjallisuudessa.

Näkemys suuresta kuuesta

Uusin tulokas on nimeltään MovieTeller – akateeminen/teollinen yhteistyö Kiinasta, joka tekee uusia edistysaskeleita jakamalla eri alitehtävät haasteessa eri tekoälysovelluksiin, jotka sopivat näihin haasteisiin, sen sijaan, että yritettäisiin kouluttaa erillisiä ja suljettuja malleja, jotka voivat suorittaa kaikki tarvittavat tehtävät yhdestä latenttiavaruudesta.

Kirjoittajat huomaavat, että aiemmat Vision-Language -mallit (VLM), jotka kohtasivat saman tehtävän, eivät ole pystyneet edistymään paljon yksittäisen kehyksen analyysin ulkopuolelle; ja että heidän puutteellinen konteksti tekee vaikeaksi näille malleille pysyvästi tunnistaa hahmoja – ehkäpä tärkein ominaisuus tällaiselle järjestelmälle:

Uusi järjestelmä, MovieTeller, pystyy pysyvästi tunnistamaan henkilöitä kohtauksissa kiitos omistetun kasvojentunnistusjärjestelmän; mutta se on enemmän kontekstiin omistautunut, joka mahdollistaa kehyksen kehittymisen. Lähde

Kirjoittajat toteavat:

‘Yleispurpose-VLM:t usein kamppailevat tunnistamaan ja pysyvästi seurataan tiettyjä hahmoja pitkän kerronnan ajan. Ne voivat kuvailla tärkeää päähenkilöä “mieheksi” yhdessä kohtauksessa ja “henkilöksi” toisessa, epäonnistuen sitoutumaan visuaaliseen edustukseen yhtenäiseen identiteettiin.’

Kirjoittajat huomaavat, että koska Transformer-mallien itsehuomio-mekanismi käyttää kvadratista monimutkaisuutta, koko elokuvan kehysten prosessointi kerran on liian laskennallinen. Siksi lähestymistavat, jotka nojaavat yhdenmukaiseen kehysnäytteeseen tai yksinkertaiseen liittämiseen, usein rikkovat kerronnan virtauksen, tuottaen pirstoutuneita yhteenvedon sijaan yhtenäistä kertomusta.

Sen sijaan uusi järjestelmä koostuu orkeoidusta, koulutusvapaasta putkistosta, jossa on omistetut työkalut kasvojentunnistuksen ja muistin pysyvyyden (kun hahmot poistuvat ja palaavat elokuvan kerrontaan) ratkaisemiseksi.

MovieTeller testattiin aiempia lähestymistapoja vastaan 60 täysipainoisen elokuvan avulla, jotka vastaavat noin 10 000 minuutin kestoa. Kirjoittajat raportoivat, että heidän lähestymistapansa pystyi parantamaan merkittävästi oletusympäristöissä ja oletuksissa, jotka olivat käytössä aiemmissa järjestelmissä.

Uusi artikkeli on nimeltään MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction, ja se tulee viideltä kirjoittajalta Zhejiangin yliopistosta Hangzhousta, Kiinan valtion johtamasta China Media Groupista ja Watch AI Groupista* (jälkimmäinen sijaitsee Pekingissä).

Menetelmä

MovieTeller-skeema koostuu kolmesta vaiheesta: kohtauksen segmentointi ja avainkehyksen poisto, jotka hoidetaan PySceneDetect-projektin avulla; Tosi-perustuva kohtauskuvausluominen Qwen2.5-VL-7B-Instruct-VLM:n mukauttamisella; ja progressiivinen abstraktio, joka tiivistää yksityiskohtaiset kohtauskuvaukset luvuksi ja sitten lopulliseksi yhteenvedoksi – ja tämä suoritetaan myös Qwen2.5-mallilla:

MovieTeller-kehyksen yleiskatsaus: täysipainoinen elokuva jaetaan ensin kohtauksiin ja tiivistetään laadukkaisiin avainkehyksiin; sitten ulkoinen kasvojentunnistustyökalu injektoi tosiasialliset perusteet, linkittäen hahmojen nimet rajoittimiin, jotka ohjaavat Vision-Language-mallia tuottamaan ID-yhtenäisiä kohtauskuvauksia. Nämä kuvaukset tiivistetään sitten progressiivisesti luvuiksi ja yhdistetään yhtenäiseen elokuvayhteenvedokseen.

Alkuvaihe käyttää PySceneDetectia elokuvan jakamiseen erillisiin kohtauksiin, joista kunkin edustaa yksittäinen avainkehys.

Kuitenkin ei kaikki kehykset sovellu yhteenvedon kuvaksi, koska siirtymiskohtaukset, häivytykset ja tummat kehykset voivat sekoittaa myöhempää analyysiä. Siksi yksinkertainen laadunvalvontatarkastus suoritetaan kandidaattikehyksille, mitattaessa kirkkautta ja visuaalista vaihtelua, varmistaen, että vain tietopohjaiset kuvat valitaan kuvaukseksi.

Kasvojen sijoittaminen

Kasvotietokanta rakennettiin julkisesti saatavilla olevasta näyttelijöiden tiedosta^†, johon tallennettiin kunkin päähenkilön nimi yhdessä numerollisen kasvojen upotukseen^†. Kun kasvoja esiintyy avainkehyksessä, upotus verrataan tietokantaan, ja lähin vastaavuus hyväksytään, jos se ylittää luottamusrajansa. Tämä luo “tosiasialliset perusteet”, jotka linkittävät nimet tiettyihin rajoittimiin.

Tätä tarkoitusta varten käytetään InsightFace-mallia, joka hyödyntää ArcFace-tunnistusohjainta:

Kaksi tuttua kasvoa, joita ArcFace-aloite muistaa hyvin, käytetty samalla tavalla MovieTeller-projektissa. Lähde

Merkityt avainkehykset välitetään sitten Qwen-malliin, jossa on ohje, joka luetellaan havaitut hahmot ja heidän sijaintinsa:

Koska Vision-Language -mallit eivät voi käsitellä koko täysipainoista elokuvaa kerran, MovieTeller jakaa aineiston ensin kohtauskuvauksiin. Nämä ryhmitellään peräkkäisiin, lukuja muistuttaviin lohkoihin, jotka välitetään sitten Qwen2.5-mallille, joka tiivistää kunkin luvun, puristaen juonen kehitystä, hahmojen motivaatiota ja käännekohtia, säilyttäen samalla aiemmin vahvistetut hahmonimet.

Nämä tiivistetyt luvun yhteenvedot yhdistetään ja palautetaan mallille uuden ohjeen kanssa, joka pyytää täydellistä yhteenvedoa:

Esimerkki ohjeista, jota käytetään kohtauskuvauksen luomiseen, jossa todennetaan hahmojen nimet ja rajoittimet, joilla ohjataan Vision-Language-mallia ja pakotetaan ID-yhtenäinen kerronta.

Oletetaan, että prosessi on onnistunut, lopullinen tuloste pitäisi yhtenäisesti heijastaa elokuvan kerronnan kaaren. Tämä on erityisen haasteellinen tehtävä koneoppimisessa, koska mahdollisten juonen yhteenvedon määrä, ja tyylit, joissa ne esitetään, yhdessä näiden tietojen tarvittavan pituuden kanssa, tekee lähes mahdottomaksi soveltaa tavallisia perusTotuus-pohjaisia lähestymistapoja.

Tiedot ja testit

Järjestelmän testaamiseksi kirjoittajat kokosivat räätälöidyn (ja lähde-merkitymättömän) tietojoukon 100 täysipainoisen elokuvan avulla, jotka vastaavat noin 166 tuntia kestoa. Elokuvat sisälsivät Rautamies 3, Hyvästi, rakkaani, Syö, juo, mies ja Narnian tarinat. Tutkijat vaativat, että kaikki mukana olevat elokuvat saavuttavat vähintään 5,0 arvosanan IMDB:ssä:

Tietojoukon koostumus 100 elokuvan yli, osoittaen tasapuolista aikaa 1992-2025, hieman enemmän ei-englanninkielisiä otsikkoja ja laajan genre-jakauman, jota johtavat Draama ja Toiminta, edustusta scifi, Kauhu, Komedia, Romantiikka ja Historia.

Laaja valikoima tyylilajeja (ks. yllä oleva kaavio) suunniteltiin välttämään puolueellisuutta minkään tietyn tyylilajin suhteen.

Kasvotietokanta kussakin elokuvassa koostui kahdesta pääroolissa olevan näyttelijän valokuvasta – yksi elokuvasta ja toinen liittyvästä julkaisukuvausta:

Testit toteutettiin Pythonilla, ja ne suoritettiin neljällä NVIDIA A40 -näytönohjaimella, joissa kussakin on 48 GB VRAM:ia, ja edellä mainitulla Qwen2.5-mallilla keskeisenä VLM:änä. Ablatio-tutkimuksia^†† toteutettiin myös vaihtoehtoisilla valmiuksilla olevilla malleilla InternVL3-8B ja WeThink-Qwen2.5VL-7B.

Uusi kehys testattiin kahta ablaatio^††-versiota vastaan: Ei-vihje-perusviiva, jossa Vision-Language-malli tuotti kohtauskuvauksia vain avainkehyksestä, ilman tekstuaalisia vihjeitä hahmojen identiteeteistä; ja Nimi-vain-vihje-asetus, jossa malli sai havaitut hahmojen nimet, mutta ei heidän rajoittimiaan, jolloin kirjoittajat voivat erottaa avaruuden perustamisen yksittäisen panoksen identiteetin yhtenäisyyteen ja kerronnan yhtenäisyyteen

Mitä tulee metriikkaan, ottaen huomioon edellä mainittua vaikeutta soveltaa perusTotuus-menetelmiä pitkiin yhteenvedoihin, standardi n-grammi-yhteensopivuus-metriikkaa, kuten ROUGE ja BLEU, hylättiin BERTScore:n ja F1-laskurin hyväksi, jotta voidaan mitata semanttista samankaltaisuutta viittaamalla julkiseen encyklopediaan.

Lisäksi Gemini 2.5 Flashia käytettiin arvioimaan kunkin yhteenvedon tosiasiallista uskollisuutta; ID-yhtenäisyyttä ja täydellisyyttä; kerronnan yhtenäisyyttä ja virtausta; ja tiivisyyttä, pisteytten keskiarvoa ulottuvuuksien yli.

Lopulta tehtiin inhimillinen arviointi 50:stä satunnaisesti otetusta yhteenvedosta, joissa osallistujat näyttivät kolmea yhteenvedoa kerran ja pyydettiin valitsemaan paras:

Inhimillisen arvioinnin tulokset kolmen valinnan pakottavassa vertailussa, osoittaen, että täysin perustetut MovieTeller-yhteenvedot valittiin useimmin kaikissa kolmessa perusmallissa, selkeästi ylittäen sekä Ei-vihje- että Nimi-vain-vihje-variantit.

Lopulta suoritettiin laadullinen testi elokuvalla Luoti katoaa (2012):

Emme voi toistaa tämän kaavan kokonaisuutta alkuperäisestä artikkelista, koska se on hyvin korkea ja tekstipohjainen. Viitataan alkuperäiseen artikkeliin.

Tässä Ei-vihje-perusviiva tuottaa epämääräisen yhteenvedon, joka viittaa hahmoihin yleisillä termeillä ja sekoittaa heidän roolinsa, tehdessä tapahtumien ketjun seuraamisen vaikeammaksi. Nimi-vain-vihje parantaa pintapuolisesti muistia, mutta kerronta edelleen haihtuu, ja hahmojen suhteet ja motivaatiot kuvataan melko “tasaisella” tavalla.

Toisin sanoen täysin perustettu MovieTeller-versio pitää identiteetit vakaana koko yhteenvedon ajan ja sitoo toimet oikeisiin hahmoihin, mahdollistaen tutkintakerronnan kehittymisen selkeämmällä syyn-seuraus-rakenteella. Tiettyjä jännitteitä ja roolidynamiikkaa säilytetään sen sijaan, että ne abstrahoidaan, johtuen yhteenvedosta, joka lukee vähemmän irtaisten kohtien luettelona ja enemmän kerronnan yhtenäisenä uudelleenkerrontana:

Osa lopullista vertailua, jota emme voi toistaa tässä, näyttää ablaation ja täysin perustetun MovieTeller-yhteenvedon. Viitataan alkuperäiseen artikkeliin.

Johtopäätös

Vaikka useimmat uudet projektit tällaisista päätyvät tietokoneen näön kirjallisuuteen, tekoälypohjainen elokuvan yhteenvedon laatiminen kattaa monia muita tieteenaloja ja aloja koneoppimisen tutkimuksessa – ja on vaikea sanoa, kuka niistä vaikuttaa vahingossa puuttuvaan palaseen; vaikka MovieTeller edistyy oikeaan suuntaan jakamalla tehtävät soveltuviin moduuleihin sen sijaan, että yritettäisiin ratkaista kaikki erillään latenttiavaruudessa, se säilyttää “klattaisen” tunteen, joka usein edeltää myöhempää, elegantimpaa ratkaisua.

* En pysty tunnistamaan tätä laitosta, vaikka olen etsinyt sitä.

^† Yksi voisi olettaa jotain, kuten IMDB tai OMDB, mutta lähde ei ole määritelty.

^†† Viitataan alkuperäiseen artikkeliin kattavaan ablaatioon, koska käsittelemme täysin ablaatiota vain poikkeustapauksissa. Huomautan, että käsittelemättömät ablaatio-tutkimukset, joista viitataan tässä, eivät heikennä artikkelin yleisiä löydöksiä.

Julkaistu ensimmäisen kerran perjantaina 27. helmikuuta 2026