Tekoälyllä elokuvahittien ennustaminen

Vaikka elokuva- ja televisioalalla on usein luovuutta ja avoimuutta, ne ovat pitkään olleet riskialttiita. Korkeat tuotantokustannukset (jotka saattavat pian menettää ulkomaisten sijaintien edullisuuden) ja hajanainen tuotantokenttä tekevät siitä vaikeaa itsenäisille yrityksille kärsiä merkittäviä tappioita.

Sen vuoksi viimeisen kymmenen vuoden aikana ala on osoittanut kasvavaa kiinnostusta siihen, voivatko koneoppimismenetelmät havaita trendejä tai kuvioita siinä, miten yleisö reagoi ehdotettuihin elokuva- ja televisioprojekteihin.

Pääasialliset tietolähteet ovat edelleen Nielsen-järjestelmä (joka tarjoaa mittakaavan, vaikka sen juuret ovat televisiossa ja mainonnassa) ja otosperusteiset menetelmät, kuten fokusryhmät, jotka vaihtavat mittakaavan kuratoituun demografiaan. Tähän kategoriaan kuuluvat myös ilmaisten elokuvien esikatselujen palautekortit – mutta tuotannon suurin osa on jo valmis, kun palaute saadaan.

‘Iso hitti’ -teoria

Aluksi koneoppimisjärjestelmät hyödynsivät perinteisiä analyysimenetelmiä, kuten lineaarista regressiota, K-lähimpänä naapureina, stokastista gradienttialenettä, päätöspuuta ja metsiä sekä neuroverkkoja, yleensä eri yhdistelminä, jotka muistuttavat enemmän aiempaa tilastollista analyysiä, kuten esimerkiksi Floridan yliopiston aloitteesta vuonna 2019, jossa pyrittiin ennustamaan menestyvien TV-ohjelmien perusteella näyttelijöiden ja kirjoittajien yhdistelmiä (muun muassa).

Vuoden 2018 tutkimus arvioi jaksojen suorituskykyä hahmojen ja/tai kirjoittajan yhdistelmien perusteella (useimmat jaksot oli kirjoitettu useamman henkilön toimesta). Lähde: https://arxiv.org/pdf/1910.12589

Suhde suurimpaan osaan liittyvää työtä, joka on otettu käyttöön, on suosittelevissa järjestelmissä:

Tyypillinen video-suositusputki. Videot katalogissa on indeksoitu ominaisuuksilla, jotka voidaan merkitä käsin tai poimia automaattisesti. Suositukset luodaan kahdessa vaiheessa: ensin valitaan ehdokasvideot ja sitten niiden järjestys määrätään käyttäjäprofiilin perusteella, joka on johdettu katselumielisuudesta. Lähde: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Kuitenkin nämä lähestymistavat analysoivat jo menestyneitä projekteja. Uusien elokuvien ja TV-ohjelmien kohdalla ei ole selvää, mikä perustotuus olisi sovellettavissa – ei ainakaan siksi, että yleisön maun muutokset yhdistettynä tietolähteiden parantamiseen ja laajentamiseen tarkoittavat, että useiden vuosikymmenien ajanjaksolla on yleensä saatavilla vain epäjohdonmukaisia tietoja.

Tämä on esimerkki kylmästä käynnistysongelmasta, jossa suositusjärjestelmien on arvioitava ehdokkaita ilman aiempaa vuorovaikutusdataa. Tällaisissa tapauksissa perinteinen yhteisöllinen suodatus menee rikki, koska se perustuu käyttäjän käyttäytymisen kuvioihin (kuten katseluun, arvosteluun tai jakamiseen) johtopäätöksiä varten. Ongelma on, että uusien elokuvien ja TV-ohjelmien kohdalla ei vielä ole riittävästi yleisön palautetta, jotta nämä menetelmät voisivat toimia.

Comcastin ennuste

Comcast Technology AI:n uusi tutkimus, jota tehtiin yhteistyössä George Washingtonin yliopiston kanssa, ehdottaa ratkaisua tähän ongelmaan ohjelmoiden kielen mallilla, joka sisältää rakenteellista metatietoa julkaisemattomista elokuvista.

Syötteinä ovat mukana näyttelijät, genre, synopsis, sisällön luokitus, mieliala ja palkinnot, ja malli palauttaa listan todennäköisistä tulevista menestyjistä.

Tutkijat käyttävät mallin tulostetta vastineena yleisön kiinnostukselle, kun vuorovaikutusdataa ei ole saatavilla, toivoen välttävänsä varhaisen vinouman jo hyvin tunnettuja nimiä kohtaan.

Hyvin lyhyt (kolmesivuinen) tutkimus, jonka otsikko on Julkaisemattomien elokuvahittien ennustaminen LLM:llä, tulee kuudelta tutkijalta Comcast Technology AI:sta ja yhdeltä tutkijalta GWU:sta, ja sanoo:

‘Tuloksemme osoittavat, että LLM:t voivat merkittävästi ylittää vertailukohteet, kun käytetään elokuvametatietoja. Tämä lähestymistapa voi toimia avustavana järjestelmänä useissa käyttötarkoituksissa, mahdollistaen suuren määrän uuden sisällön automaattisen arvioinnin päivittäin ja viikoittain.

‘Tarjoamalla varhaisia oivalluksia ennen kuin toimittajatiimit tai algoritmit ovat keränneet riittävästi vuorovaikutusdataa, LLM:t voivat tehostaa sisällön tarkastusprosessia.

‘Jatkuvien parannusten myötä LLM:n tehokkuudessa ja suositusagenttien kasvun myötä tämän työn tulokset ovat arvokkaita ja sovellettavissa laajaan joukkoon aloja.’

Jos lähestymistapa osoittautuu vankaksi, se voisi vähentää alan riippuvuutta jälkikäteen mittaamisesta ja voimakkaasti mainostetuista nimistä esittämällä skaalautuvan tavan merkittävän lupaavan sisällön merkintään ennen julkaisua. Näin ollen toimittajatiimit voivat saada varhaiset, metatietoihin perustuvat ennusteet yleisön kiinnostuksesta, mahdollisesti uudelleenjakaen näkyvyyttä laajemmalle joukolle uusia julkaisuja.

Menetelmä ja data

Tutkijat esittävät nelivaiheisen työvirran: omistetun tietojoukon rakentaminen julkaisemattomista elokuvametatiedoista; vertailumallin perustaminen; sovellettavien LLM:ien arviointi sekä luonnollisen kielen päättelyssä että upotusperusteisessa ennustamisessa; ja tulosten optimointi kehyskäsittelyllä generatiivisessa tilassa, käyttäen Meta Llama 3.1:ää ja 3.3:aa.

Tutkijat toteavat, että koska ei ollut saatavilla julkisesti saatavilla olevaa tietojoukkoa, joka olisi tarjonnut suoran tavan testata hypoteesiaan (koska useimmat olemassa olevat kokoelmat edeltävät LLM:itä ja puuttuvat yksityiskohtaisista metatiedoista), he rakensivat vertailukohdaksi Comcastin viihde-alustan, joka palvelee kymmeniä miljoonia käyttäjiä suoraan ja epäsuoraan.

Tietojoukko seuraa uusia elokuvajulkaisuja ja sitä, mitkä niistä myöhemmin tulivat suosituiksi, suosion määriteltynä käyttäjien vuorovaikutuksena.

Kokoelma keskittyy elokuviin eikä sarjoihin, ja tutkijat toteavat:

‘Keskityimme elokuviin, koska ne ovat vähemmän vaikutuksia ulkoisista tiedoista kuin TV-sarjat, mikä parantaa kokeiden luotettavuutta.’

Merkinnät määriteltiin analysoimalla aikaa, joka kului sille, että otsikko tuli suosituksi eri aikajaksojen ja listakokojen yli. LLM:lle annettiin metatietokenttiä, kuten genre, synopsis, arvostelu, aikakausi, näyttelijät, tuotantotiimi, mieliala, palkinnot ja hahmotypit.

Vertailukohdaksi tutkijat käyttivät kahta vertailukohdetta: satunnaista järjestystä ja suositusjärjestelmän (PE) mallia (josta puhutaan myöhemmin).

Tutkimus käytti suuria kielen malleja pääasiallisena järjestysmenetelmänä, joka tuotti järjestettyjä elokuvien luetteloa, johon sisältyi ennustettuja suosituksia ja niiden perustelut – ja nämä tulokset muotoiltiin kehyskäsittelystrategioilla, jotka suunniteltiin ohjaamaan mallin ennusteita rakenteellisen metatiedon avulla.

Jokainen vastaus koostui järjestetystä luettelosta, suosituksista, perusteluista järjestyksestä ja viittauksista aiempiin esimerkkeihin, jotka vaikuttivat lopputulokseen. Nämä useat metatason tasot oli tarkoitus parantaa mallin kontekstuaalista otetta ja sen kykyä ennakoida tulevia yleisön trendejä.

Kokeet

Koe toteutettiin kahtena päävaiheena: aluksi tutkijat testasivat useita mallin variantteja, jotta voitiin perustaa vertailukohde, jossa määriteltiin se versio, joka suoritti paremmin kuin satunnainen järjestys.

Toisessa vaiheessa he testasivat suuria kielen malleja generatiivisessa tilassa vertaamalla niiden tuloksia vahvempiin vertailukohdiin, eikä satunnaiseen järjestykseen, mikä teki tehtävästä haastavamman.

Tämä tarkoitti sitä, että mallien oli tehtävä paremmin kuin järjestelmä, joka jo osoitti joitain ennustamiskykyjä. Tutkijat toteavat, että arviointi heijasti paremmin todellisen maailman olosuhteita, joissa toimittajatiimit ja suositusjärjestelmät harvoin valitsevat mallin ja satunnaisuuden välillä, vaan kilpailevien järjestelmien välillä, joilla on eriasteisia ennustamiskykyjä.

Tietämättömyyden etu

Tärkeä rajoitus tässä asetelmassa oli aikajakso mallien tietojen leikkaamisen ja elokuvien julkaisupäivämäärien välillä. Koska kielen mallit oli koulutettu tietoihin, jotka päättyivät kuuteen-tolvettuhanteen kuukauteen ennen elokuvien julkaisua, niillä ei ollut pääsyä julkaisun jälkeisiin tietoihin, mikä takasi, että ennusteet perustuivat kokonaan metatietoihin eikä mihinkään oppimiseen yleisön vastauksista.

Vertailuarviointi

Tutkijat loivat vertailukohdaksi luomalla semanttisia edustuksia elokuvametatiedoista käyttäen kolmea upotusmallia: BERT V4; Linq-Embed-Mistral 7B; ja Llama 3.3 70B, kvantisoitu 8-bittisen tarkkuuden mukaisesti kokeellisen ympäristön rajoitusten mukaisesti.

Linq-Embed-Mistral valittiin mukaan sen johdosta, että se sijoittui MTEB (Massiivisen Tekstin Upotus Benchmark) johtajan listalle.

Kunkin mallin tuottamat vektorigraafiset upotukset ehdokas-elokuvista verrattiin keskiarvo-upotukseen sadasta suosituimmasta otsikosta viikkoja ennen kunkin elokuvan julkaisua.

Suosituksen tarkkuutta arvioitiin kosini-samankaltaisuuden avulla näiden upotusten välillä, ja korkeammat samankaltaisuuspisteet osoittivat suurempaa ennustettua suosiota. Kunkin mallin järjestyksen tarkkuutta arvioitiin vertaamalla sitä satunnaiseen järjestykseen.

Suositusjärjestelmien suorituskyvyn parantuminen satunnaiseen vertailukohdevertailuun nähden. Kunkin mallin testattiin neljällä metatietokonfiguraatiolla: V1 sisältää vain genren; V2 sisältää vain synopsiksen; V3 yhdistää genren, synopsiksen, sisällön luokituksen, hahmotypit, mielialan ja julkaisuaikakauden; V4 lisää näyttelijät, tuotantotiimin ja palkinnot V3-konfiguraatioon. Tulokset osoittavat, miten rikkaammat metatietolähdeteokset vaikuttavat järjestyksen tarkkuuteen. Lähde: https://arxiv.org/pdf/2505.02693

Tulokset (ylempänä) osoittavat, että BERT V4 ja Linq-Embed-Mistral 7B toivat vahvimmat parannukset kolmen suosituimman otsikkojen tunnistamisessa, vaikka molemmat jäivät hieman lyhyiksi yhden suosituimman kohteen ennustamisessa.

BERT valittiin lopulta vertailumalliksi, jotta voitiin verrata LLM:ien suorituskykyä, koska sen tehokkuus ja yleiset voitot ylittivät sen rajoitukset.

LLM-arviointi

Tutkijat arvioivat suorituskykyä käyttäen kahta järjestyslähestymistapaa: parillista ja listaa. Parillinen järjestys arvioi, onko malli oikein järjestänyt kaksi kappaletta toisiinsa nähden; lista-arviointi puolestaan tarkastelee koko järjestyksen tarkkuutta.

Tämä yhdistelmä mahdollisti arvioinnin siitä, onko yksittäisiä elokuva pareja järjestetty oikein (paikallinen tarkkuus) ja miten hyvin koko luettelo heijasti todellisen suosion järjestyksen (globaali tarkkuus).

Käytettiin täysiä, ei-kvantisoituja malleja, jotta voidaan välttää suorituskyvyn heikkeneminen, varmistaen johdonmukaisen ja toistettavan vertailun LLM-pohjaisen ennusteen ja upotusperusteisen vertailukohden välillä.

Tutkijat toteavat:

‘Paras suorituskyky saavutetaan, kun käytetään Llama 3.1:ää (405B) ja tietorikasta kehystä, seurattuna Llama 3.3:lla (70B). Havaitun trendin perusteella, kun käytetään monimutkaista ja pitkää kehystä (MD V4), monimutkaisempi kielen malli johtaa yleensä parantuneeseen suorituskykyyn eri mittareilla. On kuitenkin herkkä tietotyypin lisäämiselle.’

Suorituskyky parani, kun palkinnot sisällytettiin kehykseen osana rikkaimpaa metatietokonfiguraatiota, joka ylitti yksinkertaisemman version, joka sulki pois näyttelijäpalkinnot. Hyöty oli selvin suurimmissa malleissa, Llama 3.1 (405B) ja 3.3 (70B), jotka molemmat osoittivat vahvempaa ennustetta, kun niille annettiin tämä lisätieto maineesta ja yleisön tuttuudesta.

Kun kehykset rajoitettiin vain genreen, kaikki mallit alittivat vertailukohdan, osoittaen, että rajoitettu metatieto oli riittämätön merkityksellisten ennusteiden tuottamiseen.

Mittarit

Arvioidakseen, miten hyvin kielen mallit ennustivat elokuvien suosiota, käytettiin sekä järjestykseen perustuvia että luokittelumittareita, kiinnittäen erityistä huomiota kolmen suosituimman otsikkojen tunnistamiseen.

Neljää mittaria käytettiin: Tarkkuus@1 mittasi, kuinka usein suosituin kohde oli ensimmäisellä sijalla; Käänteinen sijoitus mittasi, kuinka korkealla todellinen kohde sijoittui ennustetussa luettelossa ottamalla sen sijainnin käänteisen; Normalisoitu diskontattu kertymä (NDCG@k) arvioi, miten hyvin koko järjestys vastasi todellista suosiota, ja korkeammat pisteet osoittivat paremman järjestyksen; ja Muisti@3 mittasi, kuinka suuri osa todellisista suosituksista oli mallin kolmen suosituimman ennusteen joukossa.

Koska suurin osa käyttäjien vuorovaikutuksesta tapahtuu lähellä järjestyksen huippua, arviointi keskittyi alempiin k-arvoihin, jotta heijastettaisiin käytännön käyttötapauksia.

Suurten kielen mallien suorituskyvyn parantuminen BERT V4:ään verrattuna, mitattuna prosentuaalisina voittona järjestyksen mittareilla. Tulokset on keskitetty kymmenen suorituksen keskiarvona kunkin mallin ja kehysyhdistelmän osalta, ja kaksi ylintä arvoa on korostettu. Ilmoitetut luvut heijastavat keskimääräistä prosentuaalista parantumista kaikilla mittareilla.

Llama 3.1 (8B), 3.1 (405B) ja 3.3 (70B) suorituskykyä arvioitiin mittaamalla mittarien parantumista aiemmin määritetyn BERT V4 -vertailukohdan suhteen. Kunkin mallin testattiin useilla kehyksillä, aina vähäisistä tietorikkaista kehyksistä tietorikkaisiin kehyksiin, tutkimalla syötteen yksityiskohtaisuuden vaikutusta ennusteen laatuun.

Tutkijat toteavat:

‘Paras suorituskyky saavutetaan, kun käytetään Llama 3.1:ää (405B) ja tietorikasta kehystä, seurattuna Llama 3.3:lla (70B). Havaitun trendin perusteella, kun käytetään monimutkaista ja pitkää kehystä (MD V4), monimutkaisempi kielen malli johtaa yleensä parantuneeseen suorituskykyyn eri mittareilla. On kuitenkin herkkä tietotyypin lisäämiselle.’

Suorituskyky parani, kun palkinnot sisällytettiin kehykseen osana rikkaimpaa metatietokonfiguraatiota, joka ylitti yksinkertaisemman version, joka sulki pois näyttelijäpalkinnot. Hyöty oli selvin suurimmissa malleissa, Llama 3.1 (405B) ja 3.3 (70B), jotka molemmat osoittivat vahvempaa ennustetta, kun niille annettiin tämä lisätieto maineesta ja yleisön tuttuudesta.

Toisaalta pienin malli, Llama 3.1 (8B), osoitti parantunutta suorituskykyä, kun kehykset laajenivat hieman, siirtymällä genrestä synopsikseen, mutta heikkeni, kun lisättiin useampia kenttiä, osoittaen, että malli ei pystynyt integroimaan monimutkaisia kehyksiä tehokkaasti, mikä johti heikkoon yleistymiseen.

Kun kehykset rajoitettiin vain genreen, kaikki mallit alittivat vertailukohdan, osoittaen, että rajoitettu metatieto oli riittämätön merkityksellisten ennusteiden tuottamiseen.

Johtopäätös

LLM:t ovat tulleet tunnetuiksi generatiivisen tekoälyn edustajiksi, mikä saattaa selittää, miksi niitä käytetään alueilla, joissa muut menetelmät voisivat olla parempia. Vaikka on edelleen paljon epävarmuutta siitä, mitä ne voivat tehdä eri aloilla, on järkevää antaa niille mahdollisuus.

Tässä tapauksessa, kuten osakkeiden ja sääennusteen kohdalla, on vain rajoitettu määrä, jonka verran historiallista dataa voidaan käyttää tulevien ennusteiden perustana. Elokuvien ja TV-ohjelmien kohdalla itse jakelutapa on nyt liikkuva kohde, toisin kuin vuosina 1978-2011, jolloin kaapeli-, satelliitti- ja kannettava media (VHS, DVD jne.) edustivat sarjaa väliaikaisia tai kehittyviä historiallisia häiriöitä.

Ei kuitenkaan mikään ennustemenetelmä voi ottaa huomioon sitä, kuinka paljon muiden tuotantojen menestys tai epäonnistuminen vaikuttaa ehdotetun ominaisuuden toteutettavuuteen – ja tämä on usein tapahtumista elokuva- ja TV-alalla, joka rakastaa trendien seuraamista.

Kuitenkin, kun niitä käytetään tarkoituksenmukaisesti, LLM:t voivat auttaa vahvistamaan suositusjärjestelmiä kylmän käynnistyksen aikana, tarjoten hyödyllistä tukea laajalle valikoimalle ennustemenoja varten. Ensimmäinen julkaisu tiistaina 6. toukokuuta 2025