Användning av AI för att förutsäga en blockbusterfilm

Även om film och television ofta ses som kreativa och öppna branscher, har de länge varit riskaverta. Hög produktionskostnad (som kan förlora den kompenserande fördelen av billigare utländska platser, åtminstone för amerikanska projekt) och en fragmenterad produktionslandskap gör det svårt för oberoende företag att absorbera en betydande förlust.

Därför har branschen under det senaste decenniet visat ett ökande intresse för om maskinlärande kan upptäcka trender eller mönster i hur publiken svarar på föreslagna film- och TV-projekt.

De viktigaste datakällorna förblir Nielsen-systemet (som erbjuder skala, även om dess rötter ligger i TV och reklam) och urvals-baserade metoder som fokusgrupper, som handlar skala för kuraterad demografi. Denna senare kategori inkluderar också scorecard-återkoppling från gratis filmförhandsvisningar – men vid den tidpunkten är det mesta av en produktionens budget redan utgift.

Den stora succéteorin

Initialt utnyttjade ML-system traditionella analysmetoder som linjär regression, K-Nearest Neighbors, Stochastic Gradient Descent, beslutsfattande träd och skogar och neurala nätverk, vanligtvis i olika kombinationer närmare i stil med pre-AI statistisk analys, såsom ett 2019-universitet i Central Florida-initiativ för att förutsäga framgångsrika TV-program baserat på kombinationer av skådespelare och författare (bland andra faktorer):

En 2018-studie rankade prestationen av avsnitt baserat på kombinationer av karaktärer och/eller författare (de flesta avsnitt skrevs av mer än en person). Källa: https://arxiv.org/pdf/1910.12589

Det mest relevanta relaterade arbetet, åtminstone det som är utplacerat i det vilda (även om det ofta kritiserats) är i fältet rekommendationssystem:

En typisk video-rekommendationspipeline. Videor i katalogen indexeras med funktioner som kan vara manuellt annoterade eller automatiskt extraherade. Rekommendationer genereras i två steg genom att först välja kandidatvideor och sedan rangordna dem enligt en användarprofil som härletts från visningspreferenser. Källa: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Men dessa typer av tillvägagångssätt analyserar projekt som redan är framgångsrika. I fallet med prospektiva nya shower eller filmer är det inte klart vilken typ av grundfakta som skulle vara mest tillämplig – inte minst eftersom förändringar i allmänhetens smak, i kombination med förbättringar och tillägg av datakällor, innebär att decennier av konsekvent data vanligtvis inte är tillgängliga.

Detta är ett exempel på det så kallade kallstart-problemet, där rekommendationssystem måste utvärdera kandidater utan någon tidigare interaktionsdata. I sådana fall bryts traditionell samarbetsfiltrering, eftersom den förlitar sig på mönster i användarbeteende (såsom vyning, betygssättning eller delning) för att generera förutsägelser. Problemet är att i fallet med de flesta nya filmer eller shower finns det ännu inte tillräckligt med publikåterkoppling för att stödja dessa metoder.

Comcast förutsäger

En ny rapport från Comcast Technology AI, i samarbete med George Washington University, föreslår en lösning på detta problem genom att framkalla ett språkmodell med strukturerad metadata om outgivna filmer.

Inmatningarna inkluderar skådespelare, genre, sammanfattning, innehållsbetyg, humör och utmärkelser, med modellen som returnerar en rangordnad lista över troliga framtida hits.

Författarna använder modellens utdata som en ersättning för publikintresse när ingen engagemangsdata är tillgänglig, i hopp om att undvika tidig bias mot titlar som redan är välkända.

Den mycket korta (tre-sidiga) rapporten, med titeln Förutsäga filmhits innan de händer med LLM, kommer från sex forskare på Comcast Technology AI och en från GWU, och påstår:

‘Våra resultat visar att LLM, när de använder film-metadata, kan betydligt överträffa baslinjerna. Detta tillvägagångssätt kan tjäna som ett assisterat system för flera användningsfall, vilket möjliggör automatisk poängsättning av stora volymer nytt innehåll som släpps dagligen och veckovis.

‘Genom att ge tidiga insikter innan redaktionella team eller algoritmer har samlat tillräckligt med interaktionsdata, kan LLM strömlinjeforma innehållsgranskningsprocessen.

‘Med kontinuerliga förbättringar av LLM-effektivitet och uppkomsten av rekommendationsagenter, är insikterna från detta arbete värdefulla och anpassningsbara till en mängd olika domäner.’

Om tillvägagångssättet visar sig vara robust, kunde det minska branschens beroende av retrospektiva mått och kraftigt främjade titlar genom att införa ett skalbart sätt att flagga lovande innehåll före utgivning. Således, snarare än att vänta på användarbeteende för att signalera efterfrågan, kunde redaktionella team få tidiga, metadata-drivna förutsägelser av publikintresse, potentiellt omfördela exponering över en bredare variation av nya utgåvor.

Metod och data

Författarna beskriver en fyra-stegs arbetsflöde: konstruktion av en dedikerad dataset från outgivna film-metadata; etablering av en baslinjemodell för jämförelse; utvärdering av lämpliga LLM med hjälp av både naturlig språkförståelse och inbäddningsbaserad förutsägelse; och optimering av utdata genom prompt-teknik i generativt läge, med hjälp av Meta’s Llama 3.1 och 3.3 språkmodeller.

Eftersom författarna påstår att ingen offentligt tillgänglig dataset erbjöd en direkt möjlighet att testa deras hypotes (eftersom de flesta befintliga samlingar föregår LLM och saknar detaljerad metadata), byggde de en benchmark-dataset från Comcast underhållningsplattform, som betjänar tiotals miljoner användare över direkt och tredjepartsgränssnitt.

Datasetet spårar nyligen släppta filmer och om de senare blev populära, med popularitet definierad genom användarinteraktioner.

Samlingen fokuserar på filmer snarare än serier, och författarna påstår:

‘Vi fokuserade på filmer eftersom de är mindre påverkade av extern kunskap än TV-serier, vilket förbättrar tillförlitligheten i experimenten.’

Etiketter tilldelades genom att analysera den tid det tog för en titel att bli populär över olika tidsfönster och liststorlekar. LLM framkallades med metadatafält som genre, sammanfattning, betyg, era, skådespelare, besättning, humör, utmärkelser och karaktärstyper.

För jämförelse använde författarna två baslinjer: en slumpmässig ordning och en Popular Embedding (PE) modell (som vi kommer att diskutera snart).

Projektet använde stora språkmodeller som den primära rangordningsmetoden, genererande ordnade listor av filmer med förutsagda popularitetspoäng och åtföljande motiveringar – och dessa utdata formades av prompt-teknikstrategier som designades för att guida modellens förutsägelser med hjälp av strukturerad metadata.

Prompt-strategin ramade in modellen som en “redaktionell assistent” som tilldelades att identifiera vilka kommande filmer som var mest sannolika att bli populära, baserat enbart på strukturerad metadata, och sedan uppgiften att omordna en fast lista med titlar utan att införa nya objekt, och att returnera utdata i JSON-format.

Varje svar bestod av en rangordnad lista, tilldelad popularitetspoäng, motiveringar för rangordningen och hänvisningar till tidigare exempel som påverkade resultatet. Dessa flera nivåer av metadata var avsedda att förbättra modellens kontextuella grepp och dess förmåga att förutse framtida publiktrender.

Tester

Experimentet följde två huvudsakliga steg: initialt testade författarna flera modellvarianter för att etablera en baslinje, vilket innebar att identifiera versionen som presterade bättre än en slumpmässig ordning.

Sedan testade de stora språkmodeller i generativt läge, genom att jämföra deras utdata med en starkare baslinje, snarare än en slumpmässig rangordning, vilket ökade svårighetsgraden av uppgiften.

Detta innebar att modellerna måste prestera bättre än ett system som redan visat en viss förmåga att förutsäga vilka filmer som skulle bli populära. Som ett resultat, påstår författarna, reflekterar utvärderingen bättre den verkliga världen, där redaktionella team och rekommendationssystem sällan väljer mellan en modell och chans, utan mellan konkurrerande system med varierande nivåer av förutsägelseförmåga.

Fördelen med okunskap

En nyckelbegränsning i denna inställning var tidsintervallet mellan modellernas kunskapsgräns och de faktiska utgivningsdatum för filmerna. Eftersom språkmodellerna tränades på data som slutade sex till tolv månader innan filmerna blev tillgängliga, hade de ingen tillgång till post-utgivningsinformation, vilket säkerställde att förutsägelserna baserades enbart på metadata, och inte på någon lärd publikrespons.

Baslinjeutvärdering

För att konstruera en baslinje genererade författarna semantiska representationer av film-metadata med hjälp av tre inbäddningsmodeller: BERT V4; Linq-Embed-Mistral 7B; och Llama 3.3 70B, kvantiserad till 8-bitars precision för att möta begränsningarna i den experimentella miljön.

Linq-Embed-Mistral valdes för inklusion på grund av sin topposition på MTEB (Massive Text Embedding Benchmark) leaderboard.

Varje modell producerade vektorinbäddningar av kandidatfilmer, som sedan jämfördes med den genomsnittliga inbäddningen av de översta hundra mest populära titlarna från veckorna före varje films utgivning.

Popularitet härleddes med hjälp av cosinuslikhet mellan dessa inbäddningar, med högre likhetspoäng som indikerade högre förutsagd attraktivitet. Rangordningsprecisionen för varje modell utvärderades genom att mäta prestationen mot en slumpmässig ordningsbaslinje.

Prestandaförbättring av Popular Embedding-modeller jämfört med en slumpmässig baslinje. Varje modell testades med fyra metadata-konfigurationer: V1 innehåller endast genre; V2 innehåller endast sammanfattning; V3 kombinerar genre, sammanfattning, innehållsbetyg, karaktärstyper, humör och utgivningsår; V4 lägger till skådespelare, besättning och utmärkelser till V3-konfigurationen. Resultaten visar hur rikare metadata-inmatningar påverkar rangordningsprecision.

Resultaten (som visas ovan) visar att BERT V4 och Linq-Embed-Mistral 7B levererade de starkaste förbättringarna i att identifiera de tre mest populära titlarna, även om båda föll något korta i att förutsäga den enskilt mest populära artikeln.

BERT valdes slutligen som baslinjemodellen för jämförelse med LLM, eftersom dess effektivitet och totala vinster överträffade dess begränsningar.

LLM-utvärdering

Forskarna utvärderade prestationen med hjälp av två rangordningsmetoder: parvisa och listvisa. Parvisa rangordning utvärderar om modellen korrekt ordnar en artikel relativt en annan; och listvisa rangordning överväger precisionen i den ordnade listan av kandidater.

Denna kombination gjorde det möjligt att utvärdera inte bara om enskilda filmpar var rangordnade korrekt (lokala precision), utan också hur väl den fullständiga listan av kandidater reflekterade den verkliga popularitetsordningen (global precision).

Fullständiga, icke-kvantifierade modeller användes för att förhindra prestandaförlust, vilket säkerställde en konsekvent och reproducerbar jämförelse mellan LLM-baserade förutsägelser och inbäddningsbaserade baslinjer.

Mätvärden

För att utvärdera hur effektivt språkmodellerna förutsåg filmens popularitet, användes både rangordningsbaserade och klassificeringsbaserade mätvärden, med särskild uppmärksamhet på att identifiera de tre mest populära titlarna.

Fyra mätvärden tillämpades: Accuracy@1 mätte hur ofta den mest populära artikeln förekom i den första positionen; Reciprocal Rank fångade hur högt den översta faktiska artikeln rankades i den förutsagda listan genom att ta inversen av dess position; Normalized Discounted Cumulative Gain (NDCG@k) utvärderade hur väl den fullständiga rangordningen matchade den verkliga populariteten, med högre poäng som indikerade bättre överensstämmelse; och Recall@3 mätte andelen verkligt populära titlar som förekom i modellens tre första förutsägelser.

Eftersom de flesta användarinteraktioner sker nära toppen av rangordnade menyer, fokuserade utvärderingen på lägre värden av k, för att reflektera praktiska användningsfall.

Prestandaförbättring av stora språkmodeller över BERT V4, mätt som procentuella vinster över rangordningsmätvärden. Resultaten är genomsnittligt över tio körningar per modell-prompt-kombination, med de två översta värdena markerade. De rapporterade siffrorna reflekterar den genomsnittliga procentuella förbättringen över alla mätvärden.

Prestandan hos Llama-modell 3.1 (8B), 3.1 (405B) och 3.3 (70B) utvärderades genom att mäta mätvärdesförbättringar relativt den tidigare etablerade BERT V4-baslinjen. Varje modell testades med hjälp av en serie promptrar, som sträckte sig från minimala till informationsrika, för att undersöka effekten av indatainformation på förutsägelsekvalitet.

Författarna påstår:

‘Den bästa prestandan uppnås när man använder Llama 3.1 (405B) med den mest informativa prompten, följt av Llama 3.3 (70B). Baserat på den observerade trenden, när man använder en komplex och lång prompt (MD V4), leder en mer komplex språkmodell vanligtvis till förbättrad prestanda över olika mätvärden. Men det är känsligt för den typ av information som läggs till.’

Prestandan förbättrades när skådespelarutmärkelser ingick som en del av prompten – i detta fall, antalet stora utmärkelser som mottogs av de fem främsta skådespelarna i varje film. Denna rikare metadata var en del av den mest detaljerade promptkonfigurationen, som överträffade en enklare version som uteslöt skådespelarerkännande. Fördelen var mest tydlig i de större modellerna, Llama 3.1 (405B) och 3.3 (70B), som båda visade starkare förutsägelseprecision när de fick denna extra signal om prestige och publikfamiliaritet.

I kontrast visade den minsta modellen, Llama 3.1 (8B), förbättrad prestanda när promptrar blev något mer detaljerade, som utvecklades från genre till sammanfattning, men minskade när fler fält lades till, vilket tyder på att modellen saknade kapacitet att integrera komplexa promptrar effektivt, vilket ledde till svagare generalisering.

När promptrar begränsades till genre ensam, underpresterade alla modeller mot baslinjen, vilket visade att begränsad metadata var otillräcklig för att stödja meningsfulla förutsägelser.

Slutsats

LLM har blivit den främsta representanten för generativ AI, vilket kan förklara varför de används i områden där andra metoder kan vara bättre lämpade. Ändå finns det fortfarande mycket som vi inte vet om vad de kan göra över olika branscher, så det är rimligt att ge dem en chans.

I detta specifika fall, som med aktiemarknader och väderprognoser, finns det endast en begränsad utsträckning till vilken historisk data kan tjäna som grund för framtida förutsägelser. I fallet med filmer och TV-serier är själva leveransmetoden nu en rörlig måltavla, i kontrast till perioden mellan 1978-2011, när kabel, satellit och bärbar media (VHS, DVD etc.) representerade en serie övergångs- eller utvecklingsmässiga störningar.

Inte heller kan någon förutsägelsemetod ta hänsyn till den utsträckning till vilken framgången eller misslyckandet av andra produktioner kan påverka livskraften i ett föreslaget ägor – och ändå är detta ofta fallet i film- och TV-branschen, som älskar att följa en trend.

Ändå, när de används med omsorg, kunde LLM hjälpa till att stärka rekommendationssystem under den kalla startfasen, vilket erbjuder användbart stöd över en mängd olika förutsägelsemetoder.

Publicerad första gången tisdagen den 6 maj 2025