Andersonin kulma
Etsimässä tekoälyä, joka pystyy seuraamaan koko elokuvan

Keskeiset kohdatMovieTeller käyttää erikoistunutta kasvojentunnistusta ja porrastettua yhteenvetoa…
Näytä lisää
- MovieTeller käyttää erikoistunutta kasvojentunnistusta ja porrastettua yhteenvetoa hahmojen seuraamiseksi koko elokuvien ajan.
- Järjestelmän orkestroitu putkisto voittaa Transformeria rajoittavat tekijät jakamalla elokuvat kohtauksiin ja lukuihin.
- Ihmisten arvioinnit osoittavat, että perustellut hahmojen identiteetit tuottavat johdonmukaisempia kertomuksia kuin pelkkien nimien tai vihjeettömät lähestymistavat.
Tekoälymallit kadottavat yhä käsityksen siitä, kuka on kuka ja mitä elokuvassa tapahtuu. Uusi järjestelmä orkestroi kasvojentunnistuksen ja vaiheittaisen tiivistämisen, pitäen hahmojen henkilöllisyydet selkeinä ja juonen yhtenäisenä koko elokuvan ajan.
Tekoälyn saaminen katsomaan ja ymmärtämään Hollywood-tyylisiä elokuvia voi tuntua marginaaliselta tai epäolennaiselta tavoitteelta, mutta järjestelmä, joka voi katsella koko elokuvan alusta loppuun, seurata kaikkien hahmojen edistymistä ja pysyä juonen tasolla, on mahdollistanut useita suoria sovelluksia, jotka voisivat hyötyä näistä kyvyistä, sekä useita sivullisia tai epäsuoria haasteita eri aloilla.
Elokuvia katsovien tekoälymallien ilmeisin sovellus ovat suosittelujärjestelmät suoratoistopalveluissa, kuten Netflix, Amazon Prime ja HBO Max. Yksityiskohtainen ymmärrys juonen kehityksestä ja hahmojen toiminnasta mahdollistaa paremman vastaavuuden katsojien (usein näennäisten) mieltymysten ja innostuksen kohteiden kanssa.
Lisäksi elokuvan syvempi ymmärrys mahdollistaa avainsanojen luomisen ja tarkemman luokittelun, eikä vain jatka vanhoja, usein kopioituja elokuvakuvauksia, jotka on voitu kirjoittaa vuosikymmeniä sitten. Nämä oivallukset voivat myös paljastaa “aikuisten” teemojen läsnäolon elokuvassa, joka ei välttämättä ole ilmiselvää vuoropuhelusta tai visuaalisista elementeistä.
Lisäksi vanhemmissa elokuvissa katalogissa voi olla vanhentuneita ikärajoja ja yhteenvetoja; esimerkiksi kieli ja idiomit, jotka olivat normaaleja 1950-luvun elokuvassa vaativat nyt enemmän huomiota. Mutta ilman yleisen kontekstin ymmärrystä, joka saadaan todella seuraamalla pitkää elokuvan kerrontaa, tällaiset tapaukset voivat olla yli- tai alikorostettuja.
Laajemmin ottaen parannetut elokuva-analyysimenetelmät voivat vaikuttaa suuresti laajempaan ongelmaan, joka liittyy tapahtuman tunnistamiseen, jota tarvitaan turvallisuusvalvonnan innovaatioissa, automaattisessa urheiluselostuksessa ja yhteenvetojen laatimisessa kaikenlaisissa medioissa.
Siksi “AI-pohjainen elokuvakatselu” on yllättävän hyvin edustettu aihe konenäön tutkimuskirjallisuudessa.
Kokonaiskuvan hahmottaminen
Uusin tulokas on nimeltään MovieTeller – akateeminen/teollinen yhteistyö Kiinasta, joka tekee uusia edistysaskeleita jakamalla eri alitehtävät haasteessa eri tekoälysovelluksiin, jotka sopivat näihin haasteisiin, sen sijaan, että yritettäisiin kouluttaa erillisiä ja suljettuja malleja, jotka voivat suorittaa kaikki tarvittavat tehtävät yhdestä latenttiavaruudesta.
Kirjoittajat huomaavat, että aiemmat Vision-Language -mallit (VLM), jotka kohtasivat saman tehtävän, eivät ole pystyneet edistymään paljon yksittäisen kehyksen analyysin ulkopuolelle; ja että kontekstin puute vaikeuttaa näissä malleissa hahmojen johdonmukaista tunnistamista – ehkäpä tärkein ominaisuus tällaiselle järjestelmälle:

MovieTeller tunnistaa kohtauksissa esiintyvät henkilöt johdonmukaisesti erillisen kasvojentunnistusjärjestelmän avulla. Kehyksen laajempi keskittyminen asiayhteyteen auttaa sitä seuraamaan myös juonen kehitystä. Lähde
Kirjoittajat toteavat:
‘Yleiskäyttöisten VLM-mallien on usein vaikea tunnistaa ja johdonmukaisesti seurata tiettyjä hahmoja pitkän kertomuksen ajan. Ne voivat kuvata keskeistä päähenkilöä yhdessä kohtauksessa “mieheksi” ja toisessa “henkilöksi” eivätkä onnistu yhdistämään visuaalista esitystä pysyvään henkilöllisyyteen.’
Kirjoittajat huomaavat, että koska Transformer-mallien itsehuomio-mekanismi käyttää kvadratista monimutkaisuutta, koko pitkän elokuvan kaikkien ruutujen käsittely kerralla tulee laskennallisesti liian kalliiksi. Siksi lähestymistavat, jotka nojaavat yhdenmukaiseen kehysnäytteeseen tai yksinkertaiseen liittämiseen, usein rikkovat kerronnan virtauksen, tuottaen pirstaleisia yhteenvetoja yhtenäisen kertomuksen sijaan.
Sen sijaan uusi järjestelmä koostuu koordinoidusta, lisäkoulutusta vaatimattomasta käsittelyketjusta, jossa on omistetut työkalut kasvojentunnistuksen ja muistin pysyvyyden (kun hahmot poistuvat ja palaavat elokuvan kerrontaan) ratkaisemiseksi.
MovieTeller testattiin aiempia lähestymistapoja vastaan 60 pitkän elokuvan avulla, jotka vastaavat noin 10 000 minuutin kestoa. Kirjoittajat raportoivat määrällisten ablaatiotestien ja ihmistutkimusten osoittaneen, että heidän lähestymistapansa paransi huomattavasti aiempien järjestelmien oletusasetuksilla ja -oletuksilla saavutettuja tuloksia.
Uusi artikkeli on nimeltään MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction, ja se tulee viideltä kirjoittajalta Zhejiangin yliopistosta Hangzhousta, Kiinan valtion johtamasta China Media Groupista ja Watch AI Groupista* (kaksi jälkimmäistä sijaitsevat Pekingissä).
Menetelmä
MovieTeller-skeema koostuu kolmesta vaiheesta: kohtausten segmentointi ja avainruutujen poiminta, jotka hoidetaan PySceneDetect-projektin avulla; tosiasioihin ankkuroitujen kohtauskuvausten luominen Qwen2.5-VL-7B-Instruct-VLM:n mukauttamisella; ja progressiivinen abstraktio, joka tiivistää yksityiskohtaiset kohtauskuvaukset lukujen yhteenvedoiksi ja sitten lopulliseksi yhteenvedoksi – ja tämä suoritetaan myös Qwen2.5-mallilla:

MovieTeller-kehyksen yleiskuva: pitkä elokuva jaetaan ensin kohtauksiin, joista poimitaan laadukkaat avainruudut. Ulkoinen kasvojentunnistustyökalu lisää tosiasiapohjaisen ankkuroinnin yhdistämällä hahmojen nimet rajauslaatikoihin. Nämä ohjaavat visio-kielimallia tuottamaan henkilöllisyyden säilyttäviä kohtauskuvauksia. Kuvaukset tiivistetään vaiheittain lukujen yhteenvedoiksi ja yhdistetään lopulta yhtenäiseksi elokuvan juonitiivistelmäksi.
Alkuvaihe käyttää PySceneDetectia elokuvan jakamiseen erillisiin kohtauksiin, joista kutakin edustaa yksi avainruutu.
Kaikki ruudut eivät kuitenkaan sovellu yhteenvedon kuvaksi, koska siirtymiskohtaukset, häivytykset ja tummat kehykset voivat sekoittaa myöhempää analyysiä. Siksi yksinkertainen laadunvalvontatarkastus suoritetaan kandidaattikehyksille, mitattaessa kirkkautta ja visuaalista vaihtelua, varmistaen, että vain runsaasti informaatiota sisältävät kuvat valitaan kuvaukseksi.
Kasvojen sijoittaminen
Kasvotietokanta rakennettiin julkisesti saatavilla olevasta näyttelijöiden tiedosta†, johon tallennettiin kunkin päähenkilön nimi yhdessä numeerisen kasvojen vektoriesityksen kanssa. Kun kasvoja esiintyy avainkehyksessä, vektoriesitystä verrataan tietokantaan, ja lähin vastaavuus hyväksytään, jos se ylittää luottamusrajansa. Tämä luo “tosiasialliset perusteet”, jotka linkittävät nimet tiettyihin rajauslaatikoihin.
Tätä tarkoitusta varten käytetään InsightFace-mallia, joka hyödyntää ArcFace-häviöfunktioon perustuvaa tunnistuspäätä:

Kaksi tuttua kasvoa, jotka Additive Angular Margin Loss (ArcFace) -menetelmä tunnistaa hyvin. MovieTeller-projektissa sitä käytetään hyvin samalla tavalla. Lähde
Merkityt avainkehykset välitetään sitten Qwen-malliin, jossa on kehote, jossa luetellaan havaitut hahmot ja heidän sijaintinsa:
Koska Vision-Language -mallit eivät voi käsitellä koko pitkää elokuvaa kerran, MovieTeller jakaa aineiston ensin kohtauskuvauksiin. Nämä ryhmitellään peräkkäisiin, lukuja muistuttaviin lohkoihin, jotka välitetään sitten Qwen2.5-mallille, joka tiivistää kunkin luvun, puristaen juonen kehitystä, hahmojen motivaatiota ja käännekohtia, säilyttäen samalla aiemmin vahvistetut hahmonimet.
Nämä tiivistetyt luvun yhteenvedot yhdistetään ja palautetaan mallille uuden ohjeen kanssa, joka pyytää täydellistä yhteenvetoa:

Koko juonitiivistelmää pyytävän kehotteen tapaan tätä esimerkkiä käytetään kohtauskuvausten luomiseen. Siihen lisätään nimenomaisesti vahvistetut hahmojen nimet ja rajauslaatikot, jotka ohjaavat visio-kielimallia ja varmistavat henkilöllisyyden säilyvän johdonmukaisena.
Oletetaan, että prosessi on onnistunut, lopullisen tulosteen pitäisi johdonmukaisesti heijastaa elokuvan kerronnan kaaren. Tämä on erityisen haasteellinen tehtävä koneoppimisessa, koska mahdollisten juonitiivistelmien kirjo, niiden esitystyylit ja näiden tietojen välttämätön pituus tekevät lähes mahdottomaksi soveltaa tavallisia vertailutotuus-pohjaisia lähestymistapoja.
Tiedot ja testit
Järjestelmän testaamiseksi kirjoittajat kokosivat räätälöidyn (ja lähde-merkitymättömän) tietojoukon 100 pitkän elokuvan avulla, jotka vastaavat noin 166 tuntia kestoa. Elokuvat sisälsivät Rautamies 3, Hyvästi, rakkaani, Eat Drink Man Woman ja Narnian tarinat. Tutkijat vaativat, että kaikki mukana olevat elokuvat saavuttavat yli 5,0:n arvosanan IMDB:ssä:

Sadan elokuvan aineiston koostumus: vuodet 1992–2025 ovat tasaisesti edustettuina, hieman yli puolet elokuvista on muunkielisiä kuin englanninkielisiä, ja lajityyppijakauma on laaja. Draama ja toiminta ovat suurimmat ryhmät, mutta mukana on myös tieteis-, kauhu-, komedia-, romantiikka- ja historiallisia elokuvia.
Laaja valikoima tyylilajeja (ks. yllä oleva kaavio) suunniteltiin välttämään puolueellisuutta minkään tietyn tyylilajin suhteen.
Kasvotietokanta kussakin elokuvassa koostui kahdesta pääroolissa olevan näyttelijän valokuvasta – yksi elokuvasta ja toinen elokuvaan liittyvästä promootiokuvasta.
Testit toteutettiin Pythonilla, ja ne suoritettiin neljällä NVIDIA A40 -näytönohjaimella, joissa kussakin on 48 GB VRAM:ia, ja edellä mainitulla Qwen2.5-mallilla keskeisenä VLM:änä. Ablatio-tutkimuksia†† toteutettiin myös vaihtoehtoisilla alan huipputason malleilla InternVL3-8B ja WeThink-Qwen2.5VL-7B.
Uusi kehys testattiin kahta ablaatio††-versiota vastaan: Ei-vihje-perusviiva, jossa Vision-Language-malli tuotti kohtauskuvauksia vain avainkehyksestä, ilman tekstuaalisia vihjeitä hahmojen identiteeteistä; ja Nimi-vain-vihje-asetus, jossa malli sai havaitut hahmojen nimet, mutta ei heitä ympäröiviä rajauslaatikoita, jolloin kirjoittajat voivat erottaa paikallisen ankkuroinnin nimenomaisen vaikutuksen identiteetin yhtenäisyyteen ja kerronnan yhtenäisyyteen
Mitä tulee metriikkaan, ottaen huomioon edellä mainittua vaikeutta soveltaa vertailutotuus-menetelmiä pitkiin yhteenvedoihin, standardi n-grammi-yhteensopivuus-metriikkaa, kuten ROUGE ja BLEU, hylättiin BERTScore:n ja F1-pistemäärän hyväksi, jotta semanttista samankaltaisuutta voidaan verrata julkisesta tietosanakirjasta saatuun vertailutiivistelmään.
Lisäksi Gemini 2.5 Flashia käytettiin arvioimaan kunkin yhteenvedon tosiasiallista uskollisuutta; ID-yhtenäisyyttä ja täydellisyyttä; kerronnan yhtenäisyyttä ja virtausta; ja tiivisyyttä, pisteytten keskiarvoa ulottuvuuksien yli.
Lopuksi 50 satunnaisesti valittua yhteenvetoa arvioitiin ihmisten tekemillä pareittaisilla vertailuilla, jotka toimivat käytännön tarkistuksena automaattisille arvioille.
Alla ovat kolmen runkomallin, Qwen2.5-VL:n, InternVL3:n ja WeThinkin, BERTScore (F1) -tulokset. Jokaista testattiin kolmessa kokoonpanossa: Ei-vihjettä, Vain-nimet ja täysi MovieTeller-järjestelmä:

BERTScore (F1) -vertailu kolmella visio-kieliperusmallilla ja kolmella koeasetuksella osoittaa johdonmukaisen parannuksen hahmojen nimien lisäämisestä ja lisäparannuksen paikallisesta ankkuroinnista. MovieTeller saavuttaa korkeimmat pisteet kaikissa tapauksissa.
Kirjoittajien mukaan kuvio toistuu kaikilla kolmella runkomallilla: pelkkä alkuperäinen avainruutu tuottaa heikoimman tuloksen, hahmojen nimien lisääminen parantaa sitä hieman, ja nimien yhdistäminen rajauslaatikoihin antaa vahvimmat tulokset. Vaikka parannukset ovat asteittaisia eivätkä dramaattisia, täysin ankkuroitu kokoonpano vastaa vertailutiivistelmän merkitystä parhaiten kaikissa asetuksissa.
Kielimalliin perustuvassa kerronnan laadun arvioinnissa Ei-vihjettä-vertailutaso kärsii eniten henkilöllisyyden johdonmukaisuuden puutteista, mikä laskee kokonaispisteitä. Pelkkien nimien antaminen tuo selvän parannuksen etenkin henkilöllisyyteen liittyviin ulottuvuuksiin. Täysi MovieTeller-kokoonpano saa silti korkeimmat pisteet kaikilla kolmella runkomallilla:

LLM-as-a-Judge-arviointi asteikolla 1–5 kolmella perusmallilla osoittaa, että hahmojen nimien lisääminen parantaa henkilöllisyyden johdonmukaisuutta ja kokonaislaatua. Täysi MovieTeller-kehys saa korkeimmat pisteet tosiasiauskollisuudesta, yhtenäisyydestä, tiiviydestä ja kokonaisarviosta.
Suurimmat parannukset näkyvät henkilöllisyyden johdonmukaisuudessa ja lopullisessa keskiarvossa. Tämä viittaa siihen, että paikallinen ankkurointi auttaa mallia pitämään selvänä, kuka tekee mitä juonen edetessä.
Ihmisten tekemässä 50 satunnaisesti valitun yhteenvedon arvioinnissa osallistujille näytettiin kolme yhteenvetoa kerrallaan ja pyydettiin valitsemaan paras:

Ihmisten mieltymykset kolmen vaihtoehdon pakkovalintakokeessa: täysin ankkuroitu MovieTeller-yhteenveto valitaan useimmin kaikilla kolmella perusmallilla ja selvästi useammin kuin Ei-vihjettä- ja Vain-nimet-versiot.
Lopulta suoritettiin laadullinen testi elokuvalla Luoti katoaa (2012):

Emme voi toistaa alkuperäisen artikkelin kuviota kokonaisuudessaan, sillä se on erittäin korkea ja sisältää runsaasti tekstiä. Katso sen sijaan lähdeartikkelia.
Tässä Ei-vihje-perusviiva tuottaa epämääräisen yhteenvedon, joka viittaa hahmoihin yleisillä termeillä ja sekoittaa heidän roolinsa, tehdessä tapahtumien ketjun seuraamisen vaikeammaksi. Pelkkien nimien antaminen parantaa pintatason muistamista, mutta kerronta edelleen haihtuu, ja hahmojen suhteet ja motivaatiot kuvataan melko “tasaisella” tavalla.
Sitä vastoin täysin ankkuroitu MovieTeller-versio pitää identiteetit vakaana koko yhteenvedon ajan ja sitoo toimet oikeisiin hahmoihin, mahdollistaen tutkintakerronnan kehittymisen selkeämmällä syyn-seuraus-rakenteella. Tiettyjä jännitteitä ja roolidynamiikkaa säilytetään sen sijaan, että ne abstrahoidaan, mikä tuottaa yhteenvedon, joka muistuttaa vähemmän irrallista hahmotelmaa ja enemmän elokuvan keskeisen tarinakaaren yhtenäistä uudelleenkerrontaa:

Osa loppuvertailusta, jota emme voi toistaa tässä kokonaan: mukana on ablaatioversion ja täyden MovieTeller-järjestelmän yhteenveto. Katso sen sijaan lähdeartikkelia.
Johtopäätös
Vaikka useimmat uudet projektit tällaisista päätyvät konenäön tutkimuskirjallisuuteen, tekoälypohjainen elokuvan yhteenvedon laatiminen kattaa monia muita tieteenaloja ja aloja koneoppimisen tutkimuksessa – ja on vaikea sanoa, mikä näistä aloista tuottaa tahattomasti palapelin puuttuvan palan; vaikka MovieTeller edistyy oikeaan suuntaan jakamalla tehtävät soveltuviin moduuleihin sen sijaan, että yritettäisiin ratkaista kaikki erillään latenttiavaruudessa, se säilyttää “kokoon kyhätyn” vaikutelman, joka usein edeltää myöhempää, elegantimpaa ratkaisua.
* En pysty tunnistamaan tätä laitosta, vaikka olen etsinyt sitä.
† Yksi voisi olettaa jotain, kuten IMDB tai OMDB, mutta lähde ei ole määritelty.
†† Viitataan alkuperäiseen artikkeliin kattavaan ablaatioon, koska käsittelemme täysin ablaatiota vain poikkeustapauksissa. Huomautan, että käsittelemättömät ablaatio-tutkimukset, joista viitataan tässä, eivät heikennä artikkelin yleisiä löydöksiä.
Julkaistu ensimmäisen kerran perjantaina 27. helmikuuta 2026












