Het gebruik van AI om een blockbuster-film te voorspellen

Hoewel de film- en televisie-industrie vaak wordt gezien als creatieve en open-eindige industrieën, zijn ze al lang risk-averse. Hoge productiekosten (die spoedig het voordeel van goedkopere buitenlandse locaties kunnen verliezen, tenminste voor Amerikaanse projecten) en een gefragmenteerd productielandschap maken het moeilijk voor onafhankelijke bedrijven om een aanzienlijk verlies te absorberen.

Daarom heeft de industrie de afgelopen tien jaar een groeiende interesse getoond in de vraag of machine learning trends of patronen kan detecteren in hoe het publiek reageert op voorgestelde film- en televisieprojecten.

De belangrijkste gegevensbronnen zijn het Nielsen-systeem (dat schaal biedt, hoewel het zijn wortels in tv en reclame heeft) en steekproef-gebaseerde methoden zoals focusgroepen, die schaal inruilen voor gecureerde demografie. Deze laatste categorie omvat ook scorecard-feedback van gratis filmvoorpremières – maar op dat moment is het grootste deel van de productiebegroting al uitgegeven.

De ‘Grote Hit’ Theorie/Theorieën

Aanvankelijk maakten ML-systemen gebruik van traditionele analysemethoden zoals lineaire regressie, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree en Forests, en Neural Networks, meestal in combinaties die dichter bij pre-AI statistische analyse liggen, zoals een initiatief van de Universiteit van Central Florida uit 2019 om succesvolle tv-series te voorspellen op basis van combinaties van acteurs en schrijvers (onder andere factoren):

Een studie uit 2018 beoordeelde de prestaties van afleveringen op basis van combinaties van personages en/of schrijvers (de meeste afleveringen werden door meer dan één persoon geschreven). Bron: https://arxiv.org/pdf/1910.12589

Het meest relevante gerelateerde werk, tenminste dat wat in het wild wordt ingezet (hoewel vaak bekritiseerd), is in het veld van recommender systems:

Een typische video-aanbevelingspijplijn. Video’s in de catalogus worden geïndexeerd met behulp van kenmerken die handmatig kunnen worden geannoteerd of automatisch kunnen worden geëxtraheerd. Aanbevelingen worden gegenereerd in twee fasen door eerst kandidaatvideo’s te selecteren en vervolgens te rangschikken volgens een gebruikersprofiel dat wordt afgeleid van de voorkeuren van de kijker. Bron: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Echter, deze soorten benaderingen analyseren projecten die al succesvol zijn. In het geval van nieuwe shows of films is het niet duidelijk wat voor soort grondwaarheid het meest toepasselijk zou zijn – niet in de laatste plaats omdat veranderingen in de smaak van het publiek, in combinatie met verbeteringen en uitbreidingen van gegevensbronnen, betekenen dat decennia van consistente gegevens meestal niet beschikbaar zijn.

Dit is een voorbeeld van het cold start probleem, waarbij aanbevelingssystemen kandidaten moeten evalueren zonder enige eerdere interactiegegevens. In dergelijke gevallen breekt traditionele collaborative filtering af, omdat het afhankelijk is van patronen in gebruikersgedrag (zoals weergave, beoordeling of delen) om voorspellingen te genereren. Het probleem is dat in het geval van de meeste nieuwe films of shows er nog niet genoeg feedback van het publiek is om deze methoden te ondersteunen.

Comcast Voorspelt

Een nieuw artikel van Comcast Technology AI, in samenwerking met de George Washington University, stelt een oplossing voor dit probleem voor door een taalmodel te activeren met gestructureerde metadata over niet-uitgebrachte films.

De invoer omvat cast, genre, synopsis, inhoudsbeoordeling, stemming en prijzen, met het model dat een gerangschikte lijst van waarschijnlijke toekomstige hits retourneert.

De auteurs gebruiken de uitvoer van het model als een vervanging voor het interesse van het publiek wanneer er geen interactiegegevens beschikbaar zijn, in de hoop om vroege voorkeur te vermijden voor titels die al bekend zijn.

Het zeer korte (drie pagina’s) artikel, getiteld Predicting Movie Hits Before They Happen with LLMs, komt van zes onderzoekers bij Comcast Technology AI en één van GWU, en stelt:

‘Onze resultaten laten zien dat LLM’s, wanneer ze film-metadata gebruiken, de baselines aanzienlijk kunnen overtreffen. Deze aanpak kan dienen als een ondersteund systeem voor meerdere use cases, waardoor het automatisch scoren van grote hoeveelheden nieuwe inhoud die dagelijks en wekelijks wordt uitgebracht, mogelijk wordt.

‘Door vroege inzichten te bieden voordat redactionele teams of algoritmes voldoende interactiegegevens hebben verzameld, kunnen LLM’s het inhoudbeoordelingsproces stroomlijnen.

‘Met continue verbeteringen in de efficiëntie van LLM’s en de opkomst van aanbevelingsagenten, zijn de inzichten uit dit werk waardevol en aanpasbaar aan een breed scala aan domeinen.’

Als de aanpak robuust blijkt te zijn, kan het de afhankelijkheid van de industrie van retrospectieve metrics en zwaar gepromote titels verminderen door een schaalbare manier te introduceren om veelbelovende inhoud te markeren voordat deze wordt uitgebracht. Daarom kunnen redactionele teams in plaats van te wachten op gebruikersgedrag om vraag te signaleren, vroege, metadata-gedreven voorspellingen van het interesse van het publiek ontvangen, waardoor de blootstelling mogelijk over een bredere reeks nieuwe releases kan worden herverdeeld.

Methode en Gegevens

De auteurs schetsen een vierfasen-werkstroom: de constructie van een speciale dataset van niet-uitgebrachte film-metadata; de vaststelling van een basismodel voor vergelijking; de evaluatie van geschikte LLM’s met behulp van zowel natuurlijke taalredenering als embedding-gebaseerde voorspelling; en de optimalisatie van uitvoer via prompt-engineering in generatieve modus, met behulp van Meta’s Llama 3.1 en 3.3 taalmodellen.

Aangezien, zoals de auteurs stellen, geen openbaar beschikbare dataset een directe manier bood om hun hypothese te testen (omdat de meeste bestaande verzamelingen voorafgaand aan LLM’s dateren en ontbreken aan gedetailleerde metadata), hebben ze een benchmark-dataset gebouwd van het Comcast Entertainment platform, dat tientallen miljoenen gebruikers bedient via directe en derde partijen interfaces.

De dataset volgt nieuw uitgebrachte films en of ze later populair werden, met populariteit gedefinieerd door gebruikersinteracties.

De collectie richt zich op films in plaats van series, en de auteurs stellen:

‘We richtten ons op films omdat ze minder worden beïnvloed door externe kennis dan tv-series, waardoor de betrouwbaarheid van de experimenten wordt verbeterd.’

Labels werden toegewezen door de tijd te analyseren die het duurde voordat een titel populair werd over verschillende tijdsvensters en lijstgroottes. Het LLM werd geactiveerd met metadata-velden zoals genre, synopsis, beoordeling, periode, cast, crew, stemming, prijzen en personage typen.

Voor vergelijking gebruikten de auteurs twee baselines: een willekeurige ordening; en een Popular Embedding (PE) model (die we later zullen behandelen).

Het project gebruikte grote taalmodellen als primaire rangschikkingsmethode, waardoor gerangschikte lijsten van films met voorspelde populariteitsscores en bijbehorende rechtvaardigingen werden gegenereerd – en deze uitvoer werd gevormd door prompt-engineering-strategieën die waren ontworpen om de voorspellingen van het model te leiden met behulp van gestructureerde metadata.

De prompt-strategie positioneerde het model als een ‘redactioneel assistent’ die was belast met het identificeren van welke aankomende films het meest waarschijnlijk populair zouden worden, op basis van gestructureerde metadata alleen, en vervolgens met het opnieuw ordenen van een vaste lijst van titels zonder nieuwe items toe te voegen, en om de uitvoer in JSON formaat te retourneren.

Elk antwoord bestond uit een gerangschikte lijst, toegewezen populariteitsscores, rechtvaardigingen voor de rangschikking en verwijzingen naar eerdere voorbeelden die de uitkomst beïnvloedden. Deze meerdere niveaus van metadata waren bedoeld om de contextuele greep van het model en zijn vermogen om toekomstige trends van het publiek te anticiperen te verbeteren.

Tests

Het experiment volgde twee hoofdfasen: eerst testten de auteurs verschillende modelvarianten om een baseline te vestigen, waarbij de identificatie van de versie die beter presteerde dan een willekeurige ordening.

Ten tweede testten ze grote taalmodellen in generatieve modus, door hun uitvoer te vergelijken met een sterkere baseline, in plaats van een willekeurige ordening, waardoor de moeilijkheid van de taak werd verhoogd.

Dit betekende dat de modellen beter moesten presteren dan een systeem dat al enige mate van voorspelling had getoond van welke films populair zouden worden. Als gevolg daarvan, stellen de auteurs, weerspiegelt de evaluatie beter de werkelijke wereld, waar redactionele teams en aanbevelingssystemen zelden kiezen tussen een model en kans, maar tussen concurrerende systemen met verschillende niveaus van voorspellende capaciteit.

Het Voordeel van Onwetendheid

Een belangrijke beperking in deze opzet was de tijdsvertraging tussen de kennislimiet van de modellen en de daadwerkelijke releasedata van de films. Omdat de taalmodellen waren getraind op gegevens die eindigden zes tot twaalf maanden voordat de films beschikbaar werden, hadden ze geen toegang tot post-release-informatie, waardoor de voorspellingen volledig waren gebaseerd op metadata en niet op enige geleerde reactie van het publiek.

Baseline Evaluatie

Om een baseline te construeren, hebben de auteurs semantische representaties van film-metadata gegenereerd met behulp van drie embedding-modellen: BERT V4; Linq-Embed-Mistral 7B; en Llama 3.3 70B, gequantiseerd tot 8-bit precisie om te voldoen aan de beperkingen van de experimentele omgeving.

Linq-Embed-Mistral werd geselecteerd voor opname vanwege zijn toppositie op de MTEB (Massive Text Embedding Benchmark) leaderboard.

Elk model produceerde vector-embeddings van kandidaatfilms, die vervolgens werden vergeleken met de gemiddelde embedding van de top honderd meest populaire titels uit de weken voorafgaand aan de release van elke film.

Populariteit werd afgeleid met behulp van cosine-similariteit tussen deze embeddings, waarbij hogere similariteitscores een hogere voorspelde aantrekkelijkheid aangaven. De rangschikkingsnauwkeurigheid van elk model werd geëvalueerd door de prestaties te meten tegenover een willekeurige ordening.

Verbetering van de prestaties van Popular Embedding-modellen ten opzichte van een willekeurige baseline. Elk model werd getest met vier metadata-configuraties: V1 omvat alleen genre; V2 omvat alleen synopsis; V3 combineert genre, synopsis, inhoudsbeoordeling, personage typen, stemming en releasedatum; V4 voegt cast, crew en prijzen toe aan de V3-configuratie. De resultaten laten zien hoe rijkere metadata-invoer de rangschikkingsnauwkeurigheid beïnvloedt.

De resultaten (hierboven weergegeven) laten zien dat BERT V4 en Linq-Embed-Mistral 7B de sterkste verbeteringen lieten zien in het identificeren van de top drie meest populaire titels, hoewel beide enigszins tekortkwamen in het voorspellen van het ene meest populaire item.

BERT werd uiteindelijk geselecteerd als basismodel voor vergelijking met de LLM’s, omdat zijn efficiëntie en algehele verbeteringen zijn beperkingen overtroffen.

LLM Evaluatie

De onderzoekers beoordeelden de prestaties met behulp van twee rangschikkingsbenaderingen: pairwise en listwise. Pairwise rangschikking evalueert of het model één item correct ten opzichte van een ander rangschikt; en listwise rangschikking overweegt de nauwkeurigheid van de volledige gerangschikte lijst van kandidaten.

Dit maakte het mogelijk om niet alleen te evalueren of individuele filmkoppels correct werden gerangschikt (lokale nauwkeurigheid), maar ook hoe goed de volledige lijst van kandidaten de werkelijke populariteitsvolgorde weerspiegelde (globale nauwkeurigheid).

Volledige, niet-gequantiseerde modellen werden gebruikt om prestatieverlies te voorkomen, waardoor een consistente en reproduceerbare vergelijking tussen LLM-gebaseerde voorspellingen en embedding-gebaseerde baselines mogelijk werd.

Metrieken

Om te beoordelen hoe effectief de taalmodellen de populariteit van films voorspelden, werden zowel rangschikkings- als classificatie-gebaseerde metrieken gebruikt, met speciale aandacht voor het identificeren van de top drie meest populaire titels.

Vier metrieken werden toegepast: Nauwkeurigheid@1 mat hoe vaak het meest populaire item in de eerste positie verscheen; Reciproque Rang ving hoe hoog het bovenste werkelijke item in de voorspelde lijst stond door het omgekeerde van zijn positie te nemen; Gecorrigeerde Cumulatieve Winst (NDCG@k) evalueerde hoe goed de volledige rangschikking overeenkwam met de werkelijke populariteit, waarbij hogere scores een betere overeenstemming aangaven; en Recall@3 mat het aandeel van werkelijk populaire titels dat in de top drie voorspellingen van het model verscheen.

Aangezien de meeste gebruikersinteractie plaatsvindt in de buurt van de top van gerangschikte menu’s, richtte de evaluatie zich op lagere waarden van k, om praktische gebruikscases te weerspiegelen.

Verbetering van de prestaties van grote taalmodellen ten opzichte van BERT V4, gemeten als percentageverbeteringen over rangschikkingsmetrieken. De resultaten werden gemiddeld over tien runs per model-promptcombinatie, met de bovenste twee waarden gemarkeerd. De gerapporteerde cijfers weerspiegelen het gemiddelde percentageverbetering over alle metrieken.

De prestaties van Llama 3.1 (8B), 3.1 (405B) en 3.3 (70B) werden geëvalueerd door de metriekverbeteringen ten opzichte van de eerder vastgestelde BERT V4-baseline te meten. Elk model werd getest met een reeks prompts, variërend van minimaal tot informatie-rijk, om het effect van invoerdetail op voorspellingskwaliteit te onderzoeken.

De auteurs stellen:

‘De beste prestatie wordt behaald wanneer Llama 3.1 (405B) wordt gebruikt met de meest informatieve prompt, gevolgd door Llama 3.3 (70B). Op basis van de waargenomen trend, wanneer een complexe en lange prompt (MD V4) wordt gebruikt, leidt een complexere taalmodel over het algemeen tot verbeterde prestaties over verschillende metrieken. Echter, het is gevoelig voor het type informatie dat wordt toegevoegd.’

De prestaties verbeterden wanneer castprijzen werden opgenomen als onderdeel van de prompt – in dit geval het aantal belangrijke prijzen dat door de top vijf acteurs in elke film werd ontvangen. Deze rijkere metadata maakte deel uit van de meest gedetailleerde promptconfiguratie, die een eenvoudigere versie overtrof die casterkenning uitsloot. Het voordeel was het meest evident in de grotere modellen, Llama 3.1 (405B) en 3.3 (70B), die beiden een sterkere voorspellingsnauwkeurigheid lieten zien toen ze deze extra indicator van prestige en publieke vertrouwdheid kregen.

Integendeel, het kleinste model, Llama 3.1 (8B), liet een betere prestatie zien toen prompts enigszins meer gedetailleerd werden, van genre tot synopsis, maar nam af toen meer velden werden toegevoegd, wat aangaf dat het model niet in staat was om complexe prompts effectief te integreren, waardoor een zwakke generalisatie ontstond.

Wanneer prompts werden beperkt tot genre alleen, onderpresteerden alle modellen ten opzichte van de baseline, wat aangaf dat beperkte metadata onvoldoende was om betekenisvolle voorspellingen te ondersteunen.

Conclusie

LLM’s zijn het visitekaartje van generatieve AI geworden, wat misschien verklaart waarom ze worden ingezet in gebieden waar andere methoden een betere keuze zouden kunnen zijn. Toch is er nog veel dat we niet weten over wat ze kunnen doen in verschillende industrieën, dus het is logisch om ze een kans te geven.

In dit specifieke geval, net als bij aandelenmarkten en weersvoorspelling, is er slechts een beperkte mate waarin historische gegevens de basis kunnen vormen voor toekomstige voorspellingen. In het geval van films en tv-series is de leveringsmethode nu een bewegelijk doelwit, in tegenstelling tot de periode tussen 1978-2011, toen kabel, satelliet en draagbare media (VHS, DVD, enz.) een reeks tijdelijke of evoluerende historische verstoringen vertegenwoordigden.

Noch kan enige voorspellingsmethode rekening houden met de mate waarin het succes of falen van andere producties de levensvatbaarheid van een voorgestelde eigendom kan beïnvloeden – en toch gebeurt dit vaak in de film- en tv-industrie, die graag een trend volgt.

Nonetheless, wanneer ze op een verantwoorde manier worden gebruikt, kunnen LLM’s helpen om aanbevelingssystemen te versterken tijdens de koude-startfase, waardevolle ondersteuning bieden over een breed scala aan voorspellingsmethoden. Eerst gepubliceerd op dinsdag 6 mei 2025