Å bruke AI til å forutsie en blockbuster-film

Selv om film og TV ofte sees på som kreative og åpne industrier, har de lenge vært risikofylte. Høye produksjonskostnader (som kan snart tape den kompenserende fordelen av billigere utenlandske lokasjoner, i alle fall for amerikanske prosjekter) og en fragmentert produksjonslandskap gjør det vanskelig for uavhengige selskaper å absorbere et betydelig tap.

Derfor har industrien over de siste ti årene tatt en økende interesse i om maskinlæring kan detektere trender eller mønster i hvordan publikum reagerer på foreslåtte film- og TV-prosjekter.

De viktigste datakildene er fortsatt Nielsen-systemet (som tilbyr skala, selv om røttene ligger i TV og annonsering) og prøvebaserte metoder som fokusgrupper, som bytter skala mot kurerte demografi. Denne sistnevnte kategorien inkluderer også scorekort-tilbakemelding fra gratis filmforhåndsvisninger – men på dette tidspunktet er det meste av en produksjons budsjett allerede brukt.

‘Big Hit’-teorien/teoriene

Initialt brukte ML-systemer tradisjonelle analysemetoder som lineær regresjon, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree og skoger, og Neural Networks, vanligvis i forskjellige kombinasjoner nærmere i stil med pre-AI statistisk analyse, som et initiativ fra 2019 fra University of Central Florida for å forutsie suksessfulle TV-serier basert på kombinasjoner av skuespillere og forfattere (blant andre faktorer):

En studie fra 2018 vurderte episodenes ytelse basert på kombinasjoner av karakterer og/eller forfatter (de fleste episodene var skrevet av mer enn en person). Kilde: https://arxiv.org/pdf/1910.12589

Det mest relevante relaterte arbeid, i alle fall det som er deployert i det ville (selv om ofte kritisert), er i feltet recommender systems:

En typisk videoanbefalingspipeline. Videoer i katalogen er indeksert med funksjoner som kan være manuelt annotert eller automatisk ekstrahert. Anbefalinger genereres i to stadier ved først å velge kandidatvideoer og deretter rangere dem etter en brukerprofil som er inferert fra visningspreferanser. Kilde: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Men disse typene tilnærminger analyserer prosjekter som allerede er suksessfulle. I tilfelle av prospektive nye serier eller filmer, er det ikke klart hva slags bakgrunnssannhet som ville være mest anvendelig – ikke minst fordi endringer i offentlig smak, kombinert med forbedringer og utvidelser av datakilder, betyr at tiårs konsistent data vanligvis ikke er tilgjengelig.

Dette er et eksempel på kald start-problemet, hvor anbefalingsystemer må evaluere kandidater uten noen tidligere interaksjonsdata. I slike tilfeller bryter tradisjonell collaborative filtering sammen, fordi det avhenger av mønster i brukeratferd (slik som visning, vurdering eller deling) for å generere prediksjoner. Problemet er at i tilfelle de fleste nye filmer eller serier, er det ikke ennå nok publikumsrespons til å støtte disse metodene.

Comcast forutsier

En ny artikkel fra Comcast Technology AI, i samarbeid med George Washington University, foreslår en løsning på dette problemet ved å fremkalle et språkmodell med strukturert metadata om ikke-utgitte filmer.

Inndataene inkluderer rollebesetning, sjanger, synopsis, innholdsrating, stemning og priser, med modellen returnerer en rangert liste over sannsynlige fremtidige suksesser.

Forfatterne bruker modellens utgang som en erstatter for publikumsinteresse når ingen engasjementsdata er tilgjengelig, i håp om å unngå tidlig fordom mot tittel som allerede er godt kjent.

Den meget korte (tre-sidige) artikkelen, tittel Predicting Movie Hits Before They Happen with LLMs, kommer fra seks forskere ved Comcast Technology AI, og en fra GWU, og sier:

‘Våre resultater viser at LLMs, når de bruker film-metadata, kan signifikant overgå baseline. Denne tilnærmningen kan tjene som et assistert system for flere brukstilfeller, og muliggjøre automatisk scoring av store volumer nytt innhold som utgis daglig og ukentlig.

‘Ved å gi tidlige innsikter før redaksjonelle team eller algoritmer har samlet tilstrekkelig interaksjonsdata, kan LLMs strømlinjeformere prosessen for innholdsgjennomgang.

‘Med kontinuerlige forbedringer i LLM-effektivitet og oppblomstringen av anbefalingsagenter, er innsiktene fra dette arbeidet verdifulle og tilpassbare til en rekke domener.’

Hvis tilnærmingen viser seg å være robust, kan den redusere industrens avhengighet av retrospektive metrikker og tungt promoterte tittel ved å introdusere en skalerbar måte å markere lovende innhold før utgivelse. Dermed kan redaksjonelle team motta tidlige, metadata-drevne prognoser for publikumsinteresse, potensielt redistribuere eksponering over et bredere spekter av nye utgivelser.

Metode og data

Forfatterne beskriver en fire-trinns arbeidsflyt: konstruksjon av en dedikert datasett fra ikke-utgitte film-metadata; etablering av en baseline-modell for sammenligning; evaluering av egnet LLMs ved hjelp av både naturlig språklig resonnering og innbedningsbasert prediksjon; og optimalisering av utgangene gjennom prompt-ingeniørarbeid i generativ modus, ved hjelp av Meta’s Llama 3.1 og 3.3 språkmodeller.

Ettersom forfatterne sier at ingen offentlig tilgjengelig datasett tilbød en direkte måte å teste deres hypotese (fordi de fleste eksisterende samlinger forutdater LLMs og mangler detaljert metadata), bygde de en benchmark-datasett fra Comcast-underholdnings plattform, som betjener titalls millioner av brukere over direkte og tredjeparts-grensesnitt.

Datasettene sporer nyutgitte filmer og om de senere ble populære, med popularitet definert gjennom brukerinteraksjoner.

Samlingen fokuserer på filmer i stedet for serier, og forfatterne sier:

‘Vi fokuserte på filmer fordi de er mindre påvirket av ekstern kunnskap enn TV-serier, og forbedrer påliteligheten av eksperimentene.’

Etiketter ble tildelt ved å analysere tiden det tok for en tittel å bli populær over forskjellige tidsvinduer og listestørrelser. LLM ble fremkalt med metadata-felt som sjanger, synopsis, rating, æra, rollebesetning, mannskap, stemning, priser og karaktertyper.

For sammenligning brukte forfatterne to baseline: en tilfeldig orden; og en Popular Embedding (PE) modell (som vi kommer til kort).

Prosjektet brukte store språkmodeller som primær rangeringsmetode, genererte ordnet lister over filmer med forutsagte popularitetspoeng og tilhørende begrunnelser – og disse utgangene ble formet av prompt-ingeniørstrategier designet for å guide modellens prediksjoner ved hjelp av strukturert metadata.

Prompt-strategien rammet modellen som en ‘redaksjonell assistent’ som var tildelt å identifisere hvilke kommende filmer som var mest sannsynlig å bli populære, basert bare på strukturert metadata, og deretter tildelt å reordne en fast liste over tittel uten å introdusere nye elementer, og returnere utgangen i JSON-format.

Hver respons bestod av en rangert liste, tildelt popularitetspoeng, begrunnelser for rangeringen, og referanser til tidligere eksempler som påvirket resultatet. Disse multiple nivåer av metadata var ment å forbedre modellens kontekstuelle grep, og dens evne til å forutsi fremtidige publikumstrender.

Tester

Eksperimentet fulgte to hovedstadier: initialt testet forfatterne flere modellvarianter for å etablere en baseline, som inkluderte identifisering av versjonen som utførte bedre enn en tilfeldig orden-metode.

Deretter testet de store språkmodeller i generativ modus, ved å sammenligne deres utgang med en sterkere baseline, i stedet for en tilfeldig rangering, og økte vanskelighetsgraden av oppgaven.

Dette betød at modellene måtte gjøre bedre enn et system som allerede viste en viss evne til å forutsie hvilke filmer som ville bli populære. Som resultat hevder forfatterne at evalueringen bedre reflekterer virkelige verdensforhold, hvor redaksjonelle team og anbefalingsystemer sjelden velger mellom en modell og tilfeldighet, men mellom konkurrerende systemer med varierende nivåer av prediktiv evne.

Fordelen med uvitenhet

En nøkkelbegrensning i denne oppsettet var tidsavstanden mellom modellens kunnskapskutt og de faktiske utgivelsesdatoene for filmene. Fordi språkmodellene var trent på data som slutta seks til tolv måneder før filmene ble tilgjengelige, hadde de ingen tilgang til post-utgivelsesinformasjon, og sikret at forutsagnene var basert utelukkende på metadata, og ikke på noen lært publikumsrespons.

Baseline-evaluering

For å konstruere en baseline, genererte forfatterne semantiske representasjoner av film-metadata ved hjelp av tre innbedningsmodeller: BERT V4; Linq-Embed-Mistral 7B; og Llama 3.3 70B, kvantisert til 8-bit presisjon for å møte begrensningene i det eksperimentelle miljøet.

Linq-Embed-Mistral ble valgt for inklusjon på grunn av sin topposisjon på MTEB (Massive Text Embedding Benchmark) leaderboard.

Hver modell produserte vektor-innbedninger av kandidatfilmene, som deretter ble sammenlignet med gjennomsnittlig innbedning av de topp 100 mest populære tittelene fra ukene før hver films utgivelse.

Popularitet ble inferert ved hjelp av cosin-ligning mellom disse innbedningene, med høyere ligningsskår indikerer høyere forventet popularitet. Rangeringsnøyaktigheten av hver modell ble evaluert ved å måle ytelsen mot en tilfeldig orden-baseline.

Ytelsesforbedring av Popular Embedding-modeller sammenlignet med en tilfeldig baseline. Hver modell ble testet med fire metadata-konfigurasjoner: V1 inkluderer bare sjanger; V2 inkluderer bare synopsis; V3 kombinerer sjanger, synopsis, innholdsrating, karaktertyper, stemning og utgivelsesæra; V4 legger til rollebesetning, mannskap og priser til V3-konfigurasjonen. Resultatene viser hvordan rikere metadata-inndata påvirker rangeringsnøyaktigheten.

Resultatene (vist ovenfor) viser at BERT V4 og Linq-Embed-Mistral 7B leverte de sterkeste forbedringene i å identifisere de tre mest populære tittelene, selv om begge falt litt kort i å forutsie den enkelt mest populære tittelen.

BERT ble ultimate valgt som baseline-modellen for sammenligning med LLMs, ettersom dens effektivitet og totale gevinster overveide dens begrensninger.

LLM-evaluering

Forskerne vurderte ytelsen ved hjelp av to rangerings-tilnærminger: parvis og listvis. Parvis rangering vurderer om modellen korrekt ordner ett element i forhold til et annet; og listvis rangering vurderer nøyaktigheten av den hele ordnete listen over kandidater.

Dette kombinasjonen gjorde det mulig å evaluere ikke bare om individuelle film-par var rangert korrekt (lokalt nøyaktig), men også hvor godt den hele listen over kandidater reflekterte den sanne popularitetsordenen (global nøyaktig).

Fullstendige, ikke-kvantiserte modeller ble brukt for å forhindre ytelses-tap, og sikre en konsekvent og reproduserbar sammenligning mellom LLM-baserte prediksjoner og innbednings-baserte baselines.

Mål

For å vurdere hvor godt språkmodellene forutså film-popularitet, ble både rangerings-baserte og klassifiserings-baserte mål brukt, med særlig fokus på å identifisere de tre mest populære tittelene.

Fire mål ble brukt: Nøyaktighet@1 målte hvor ofte den mest populære tittelen dukket opp i den første posisjonen; Reciprocal Rank fanget hvor høyt den øverste faktiske tittelen rangerte i den forutsagte listen ved å ta inversen av dens posisjon; Normalisert diskret kumulativ gevinst (NDCG@k) vurderte hvor godt den hele rangeringen matchet faktisk popularitet, med høyere skår indikerer bedre sammenheng; og Recall@3 målte andelen av faktisk populære tittel som dukket opp i modellens tre øverste prediksjoner.

Ettersom de fleste brukerinteraksjoner skjer nær toppen av rangerte menyene, fokuserte evalueringen på lavere verdier av k, for å reflektere praktiske brukstilfeller.

Ytelsesforbedring av store språkmodeller over BERT V4, målt som prosent-forbedringer over rangerings-mål. Resultatene er gjennomsnittlig over ti kjøringer per modell-prompt-kombinasjon, med de to øverste verdiene høydeskilt. Rapporterte tall reflekterer gjennomsnittlig prosent-forbedring over alle mål.

Ytelsen til Llama-modell 3.1 (8B), 3.1 (405B) og 3.3 (70B) ble vurdert ved å måle mål-forbedringer i forhold til den tidligere etablerte BERT V4-baselinjen. Hver modell ble testet med en rekke prompter, fra minimalistiske til informasjonsrike, for å undersøke effekten av inndata-detajl på prediksjonskvalitet.

Forfatterne sier:

‘Den beste ytelsen oppnås når Llama 3.1 (405B) brukes med den mest informasjonsrike prompten, fulgt av Llama 3.3 (70B). Basert på den observerte trenden, når en kompleks og omfattende prompt (MD V4) brukes, fører en mer kompleks språkmodell vanligvis til forbedret ytelse over flere mål. Men det er følsomt for typen informasjon som legges til.’

Ytelsen forbedret seg når cast-priser ble inkludert som en del av prompten – i dette tilfelle, antall store priser mottatt av de fem mest kjente skuespillerne i hver film. Denne rikere metadata var en del av den mest detaljerte prompt-konfigurasjonen, og overgikk en enklere versjon som ekskluderte rollebesetnings-gjenkjenning. Fordelen var mest tydelig i de større modellene, Llama 3.1 (405B) og 3.3 (70B), som begge viste sterkere prediksjonsnøyaktighet når de fikk denne ekstra signalen om prestisje og publikums-kjennskap.

I motsetning viste den minste modellen, Llama 3.1 (8B), forbedret ytelse når promptene ble litt mer detaljerte, og gikk fra sjanger til synopsis, men sank når flere felt ble lagt til, noe som indikerer at modellen manglet kapasiteten til å integrere komplekse prompter effektivt, og ledet til svakere generalisering.

Når promptene var begrenset til sjanger alene, alle modellene underpresterte i forhold til baselinjen, og viste at begrenset metadata var utilstrekkelig til å støtte meningfulle prediksjoner.

Konklusjon

LLM-er har blitt det fremste eksempelet på generativ AI, noe som kan forklare hvorfor de brukes i områder hvor andre metoder kunne være bedre egnet. Likevel er det fortsatt mye vi ikke vet om hva de kan gjøre over forskjellige industrier, så det er rimelig å gi dem en sjanse.

I dette spesifikke tilfelle, som med aksjemarkeder og værforutsigelse, er det bare en begrenset utstrekning som historiske data kan tjene som grunnlag for fremtidige forutsigelse. I tilfelle av filmer og TV-serier er leveringsmetoden nå en flytende mål, i motsetning til perioden mellom 1978-2011, da kabel, satellitt og bærbare medier (VHS, DVD osv.) representerte en rekke midlertidige eller utviklende historiske forstyrrelser.

Ikke noen prediksjonsmetode kan regne med i hvilken grad suksessen eller fiaskoen til andre produksjoner kan påvirke levedyktigheten av et foreslått eigedom – og likevel er dette ofte tilfelle i film- og TV-industrien, som elsker å ri en trend.

Likevel, når de brukes tankefullt, kan LLM-er hjelpe med å styrke anbefalingssystemer under den kalde start-fasen, og tilby nyttig støtte over en rekke prediktive metoder.

Først publisert tirsdag, 6. mai 2025