Brug af AI til at forudsige en blockbuster-film

Selvom film- og tv-industrien ofte ses som kreative og åbne brancher, har de længe været risikofyldte. Høje produktionsomkostninger (der måske snart mister fordelene ved billigere udenlandske lokaliteter, i hvert fald for amerikanske projekter) og en fragmenteret produktionslandskab gør det svært for uafhængige selskaber at absorbere et betydeligt tab.

Derfor har industrien i løbet af det seneste årti taget en stigende interesse i, om maskinlæring kan registrere tendenser eller mønstre i, hvordan publikum reagerer på foreslåede film- og tv-projekter.

De vigtigste datakilder er stadig Nielsen-systemet (der tilbyder skala, selvom det har rødder i tv og reklame) og prøvebaserede metoder som fokusgrupper, der handler skala for kuraterede demografi. Denne sidstnævnte kategori inkluderer også scorekort-tilbagemelding fra gratis filmforhåndsvisninger – dog er det på det tidspunkt, hvor langt det meste af en produktionens budget allerede er brugt.

‘Big Hit’-teorien/Teorierne

Initielt udnyttede ML-systemer traditionelle analysemetoder som lineær regression, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree og Forests, og Neural Networks, normalt i forskellige kombinationer nærmere i stil med pre-AI statistisk analyse, såsom et universitetsinitiativ i Florida fra 2019 for at forudsige succesfulde tv-shows baseret på kombinationer af skuespillere og forfattere (blandt andre faktorer):

En studie fra 2018 vurderede episodernes præstation baseret på kombinationer af karakterer og/eller forfatter (de fleste episoder var skrevet af mere end en person). Kilde: https://arxiv.org/pdf/1910.12589

Det mest relevante relaterede arbejde, i hvert fald det, der er udviklet i det vilde (selvom ofte kritiseret) er på området for recommender-systemer:

En typisk videoanbefalingspipeline. Videoer i kataloget er indekseret ved hjælp af funktioner, der kan være manuelt annoterede eller automatisk udtrukne. Anbefalinger genereres i to stadier ved først at vælge kandidatvideoer og derefter rangere dem i henhold til en brugerprofil, der er afledt af visningspræferencer. Kilde: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Men disse typer af tilgange analyserer projekter, der allerede er succesfulde. I tilfælde af nye shows eller film er det ikke klart, hvilken type grundsandhed der vil være mest anvendelig – ikke mindst fordi ændringer i offentlig smag kombineret med forbedringer og udvidelser af datakilder betyder, at årtiers konsekvent data normalt ikke er tilgængelig.

Dette er et eksempel på cold start problemet, hvor anbefalings-systemer skal evaluere kandidater uden nogen forudgående interaktionsdata. I sådanne tilfælde bryder traditionel collaborative filtering sammen, fordi det afhænger af mønstre i brugeradfærd (såsom visning, vurdering eller deling) for at generere forudsigelser. Problemet er, at i tilfælde af de fleste nye film eller shows er der endnu ikke nok publikumsfeedback til at støtte disse metoder.

Comcast forudsiger

En ny artikel fra Comcast Technology AI i samarbejde med George Washington University foreslår en løsning på dette problem ved at fremkalde en sprogmodel med struktureret metadata om ikke-udgivne film.

Input inkluderer cast, genre, synopsis, indholdsrating, stemning og priser, med modellen returnerer en rangeret liste over sandsynlige fremtidige hits.

Forfatterne bruger modellens output som en erstatning for publikumsinteresse, når der ikke er nogen engagementsdata tilgængelig, i håb om at undgå tidlig bias mod titler, der allerede er velkendte.

Den meget korte (tre-sidige) artikel, med titlen Predicting Movie Hits Before They Happen with LLMs, kommer fra seks forskere ved Comcast Technology AI og en fra GWU, og fastslår:

‘Vores resultater viser, at LLM’er, når de bruger film-metadata, kan overgå baseline-målene betydeligt. Denne tilgang kan fungere som et hjælpsystem til multiple brugsområder, og muliggøre automatisk scoring af store mængder nye indhold, der udgives dagligt og ugentligt.

‘Ved at give tidlige indsigt før redaktionelle hold eller algoritmer har samlet tilstrækkelig interaktionsdata, kan LLM’er strømline den indholdsgennemgangsproces.

‘Med kontinuerlige forbedringer i LLM-effektivitet og opkomsten af anbefalingsagenter er indsigt fra dette arbejde værdifulde og tilpasningsdygtige til en bred vifte af domæner.’

Hvis tilgangen viser sig at være robust, kan den reducere industrens afhængighed af retrospektive målinger og stærkt promoverede titler ved at introducere en skalerbar måde at markere lovende indhold før udgivelsen. Derfor kan redaktionelle hold modtage tidlige, metadata-drevne forudsigelser af publikumsinteresse, potentielt redistribuerende eksponering over en bredere vifte af nye udgivelser.

Metode og Data

Forfatterne beskriver en fire-trins arbejdsgang: opbygning af en dedikeret dataset fra ikke-udgivne film-metadata; etablering af en baseline-model til sammenligning; evaluering af passende LLM’er ved hjælp af både naturlig sprogforståelse og embedding-baseret forudsigelse; og optimering af output gennem prompt-teknik i generativ tilstand, ved hjælp af Meta’s Llama 3.1 og 3.3 sprogmodeller.

Da forfatterne fastslår, at ingen offentligt tilgængelige dataset tilbød en direkte måde at teste deres hypotese (fordi de fleste eksisterende samlinger forudgår LLM’er og mangler detaljeret metadata), opbyggede de en benchmark-dataset fra Comcast-underholdnings platform, der betjener titusinder af brugere på tværs af direkte og tredjepartsgrænseflader.

Datasettet sporer nyligt udgivne film og om de senere blev populære, med popularitet defineret gennem brugerinteraktioner.

Samlingen fokuserer på film i stedet for serier, og forfatterne fastslår:

‘Vi fokuserede på film, fordi de er mindre påvirkede af ekstern viden end tv-serier, hvilket forbedrer tillid til eksperimenterne.’

Mærker blev tildelt ved at analysere den tid, det tog for en titel at blive populær på tværs af forskellige tidsvinduer og listestørrelser. LLM blev fremkaldt med metadatafelter som genre, synopsis, rating, æra, cast, crew, stemning, priser og karaktertyper.

For sammenligning brugte forfatterne to baseline-målinger: en tilfældig rækkefølge og en Popular Embedding (PE)-model (som vi kommer tilbage til senere).

Projektet brugte store sprogmodeller som primær rangeringsmetode, genererede ordnede lister over film med forudsigede popularitetsscores og tilhørende begrundelser – og disse outputs blev formet af prompt-teknik-strategier designet til at guide modellens forudsigelser ved hjælp af struktureret metadata.

Prompt-strategien ramte modellen som en ‘redaktionel assistent’ tildelt med at identificere, hvilke kommende film var mest sandsynligt at blive populære, baseret udelukkende på struktureret metadata, og derefter tildelt med at omrangere en fast liste over titler uden at introducere nye elementer, og returnere output i JSON-format.

Hver respons bestod af en rangeret liste, tildelt popularitetsscores, begrundelser for rangeringen og henvisninger til tidligere eksempler, der påvirkede udfaldet. Disse multiple niveauer af metadata var designet til at forbedre modellens kontekstuelle greb og dens evne til at forudse fremtidige publikumstendenser.

Tests

Eksperimentet fulgte to hovedfaser: først testede forfatterne flere modelvarianter for at etablere en baseline, der involverede identifikation af den version, der fungerede bedre end en tilfældig rækkefølge.

Anden, de testede store sprogmodeller i generativ tilstand, ved at sammenligne deres output med en stærkere baseline, snarere end en tilfældig rangering, hvilket øgede sværhedsgraden af opgaven.

Dette betød, at modellerne skulle gøre bedre end et system, der allerede viste en vis evne til at forudsige, hvilke film der ville blive populære. Som resultat fastslår forfatterne, at evalueringen bedre afspejlede virkelige verdensbetingelser, hvor redaktionelle hold og anbefalings-systemer sjældent vælger mellem en model og chance, men mellem konkurrerende systemer med varierende niveauer af forudsigelsesevne.

Fordelene ved uviden

En nøglebegrænsning i denne opsætning var tidsafstanden mellem modellernes kunskabsafgrænsning og de faktiske udgivelsesdatoer for filmene. Fordi sprogmodellerne var trænet på data, der sluttede seks til tolv måneder før filmene blev tilgængelige, havde de ingen adgang til post-udgivelsesinformation, hvilket sikrede, at forudsigelserne var baseret udelukkende på metadata og ikke på nogen lært publikumsrespons.

Baseline-evaluering

For at konstruere en baseline genererede forfatterne semantiske repræsentationer af film-metadata ved hjælp af tre embedding-modeller: BERT V4; Linq-Embed-Mistral 7B; og Llama 3.3 70B, kvantificeret til 8-bit præcision for at opfylde begrænsningerne i det eksperimentelle miljø.

Linq-Embed-Mistral blev valgt til inklusion på grund af sin top-position på MTEB (Massive Text Embedding Benchmark) leaderboard.

Hver model producerede vektor-embeddings af kandidatfilm, der derefter blev sammenlignet med den gennemsnitlige embedding af de øverste hundred mest populære titler fra ugerne før hver films udgivelse.

Popularitet blev afledt ved hjælp af cosin-lighed mellem disse embeddings, med højere lighedsscores indikerende højere forventet appel. Rangeringsnøjagtigheden af hver model blev evaluaret ved at måle præstationen i forhold til en tilfældig rækkefølge-baseline.

Forbedring af Popular Embedding-modeller i forhold til en tilfældig baseline. Hver model blev testet ved hjælp af fire metadata-konfigurationer: V1 inkluderer kun genre; V2 inkluderer kun synopsis; V3 kombinerer genre, synopsis, indholdsrating, karaktertyper, stemning og udgivelsesæra; V4 tilføjer cast, crew og priser til V3-konfigurationen. Resultaterne viser, hvordan rigere metadata-input påvirker rangeringsnøjagtighed.

Resultaterne (vist ovenfor) viser, at BERT V4 og Linq-Embed-Mistral 7B leverede de stærkeste forbedringer i identifikationen af de øverste tre mest populære titler, selvom begge faldt lidt kort i forhold til at forudsige den enkelt mest populære vare.

BERT blev ultimate valgt som baseline-modellen til sammenligning med LLM’er, da dets effektivitet og samlede forbedringer overgik dets begrænsninger.

LLM-evaluering

Forskerne vurderede præstationen ved hjælp af to rangerings-tilgange: parvis og listvis. Parvis rangering vurderer, om modellen korrekt ordner en vare i forhold til en anden; og listvis rangering overvejer nøjagtigheden af den fulde ordnede liste af kandidater.

Dette kombination gjorde det muligt at evaluere ikke kun, om enkelt film-par var ordnet korrekt (lokalt nøjagtighed), men også, hvor godt den fulde liste af kandidater afspejlede den sand populær rækkefølge (global nøjagtighed).

Fulde, ikke-kvantificerede modeller blev anvendt for at forhindre præstations-tab, hvilket sikrede en konsekvent og reproducerbar sammenligning mellem LLM-baserede forudsigelser og embedding-baserede baseline-målinger.

Metrikker

For at vurderer, hvor godt sprogmodellerne forudsagde film-popularitet, blev både rangerings-baserede og klassifikations-baserede metrikker anvendt, med særlig opmærksomhed på identifikation af de øverste tre mest populære titler.

Fire metrikker blev anvendt: Nøjagtighed@1 målte, hvor ofte den mest populære vare optrådte i den første position; Reciprocal Rank fanget, hvor højt den øverste faktiske vare rangerede i den forudsagte liste ved at tage inversen af dets position; Normaliseret Diskonteret Kumulativ Gevinst (NDCG@k) vurderede, hvor godt den fulde rangering afspejlede den faktiske popularitet, med højere scores indikerende bedre alignment; og Recall@3 målte proportionen af faktisk populære titler, der optrådte i modellens øverste tre forudsigelser.

Da de fleste brugerinteraktioner sker nær toppen af rangerede menuer, fokuserede evalueringen på lavere værdier af k, for at afspejle praktiske brugsområder.

Forbedringsgrad af store sprogmodeller i forhold til BERT V4, målt som procentforbedringer på tværs af rangeringsmetrikker. Resultaterne er gennemsnitligt over ti kørsler per model-prompt-kombination, med de to øverste værdier fremhævet. Angivne værdier afspejler den gennemsnitlige procentforbedring på tværs af alle metrikker.

Præstationen af Llama-modellerne 3.1 (8B), 3.1 (405B) og 3.3 (70B) blev vurderet ved at måle metrikforbedringer i forhold til den tidligere etablerede BERT V4-baseline. Hver model blev testet ved hjælp af en række prompts, der strakte sig fra minimalistiske til informationsrige, for at undersøge effekten af input-detajl på forudsigelses-kvalitet.

Forfatterne fastslår:

‘Den bedste præstation opnås, når Llama 3.1 (405B) bruges med den mest informationsrige prompt, efterfulgt af Llama 3.3 (70B). Baseret på den observerede tendens, når en kompleks og længere prompt (MD V4) bruges, fører en mere kompleks sprogmodel normalt til forbedret præstation på tværs af forskellige metrikker. Men det er følsomt over for typen af information, der tilføjes.’

Præstationen forbedredes, når cast-priser blev inkluderet som en del af prompten – i dette tilfælde var antallet af store priser, der blev modtaget af de fem mest betalte skuespillere i hver film. Denne rigere metadata var en del af den mest detaljerede prompt-konfiguration, der overgik en mere enkel version, der udelukkede cast-anerkendelse. Forbedringen var mest tydelig i de større modeller, Llama 3.1 (405B) og 3.3 (70B), der begge viste stærkere forudsigelsesnøjagtighed, når de fik denne ekstra signal om prestige og publikumsfamiliaritet.

Om modsat, viste den mindste model, Llama 3.1 (8B), forbedret præstation, da prompts blev lidt mere detaljerede, og gik fra genre til synopsis, men faldt, når flere felter blev tilføjet, hvilket tydede på, at modellen manglede kapacitet til at integrere komplekse prompts effektivt, og føre til svagere generalisering.

Når prompts var begrænset til genre alene, underpræstation alle modeller i forhold til baseline-målingen, hvilket viste, at begrænset metadata var utilstrækkeligt til at støtte meningsfulde forudsigelser.

Konklusion

LLM’er er blevet det mest omtalte emne for generativ AI, hvilket kan forklare, hvorfor de bliver anvendt i områder, hvor andre metoder kunne være bedre egnede. Alligevel er der stadig meget, vi ikke ved om, hvad de kan gøre på tværs af forskellige industrier, så det giver mening at give dem en chance.

I dette tilfælde, som med aktiemarkeder og vejrforudsigelser, er der kun en begrænset udstrækning, hvori historiske data kan fungere som grundlag for fremtidige forudsigelser. I tilfælde af film og tv-shows er leveringsmetoden nu en flydende mål, i modsætning til perioden mellem 1978-2011, hvor kabel, satellit og bærbare medier (VHS, DVD osv.) repræsenterede en række overgangs- eller udviklingsmæssige historiske forstyrrelser.

Hverken kan nogen forudsigelsesmetode tage højde for, i hvilken udstrækning succes eller fiasko af andre produktioner kan påvirke levedygtigheden af et foreslået ejendom – og alligevel er dette ofte tilfældet i film- og tv-industrien, der elsker at ride på en trend.

Nonetheless, når de bruges omhyggeligt, kan LLM’er hjælpe med at styrke anbefalingssystemer under den kolde start-fase, og tilbyde nyttig støtte på tværs af en række prædikative metoder. Først udgivet tirsdag, 6. maj 2025