Mit KI eine Blockbuster-Filmprediction erstellen

Obwohl die Film- und Fernsehbranche oft als kreative und offene Industrien angesehen werden, sind sie seit langem risikoscheu. Hohe Produktionskosten (die möglicherweise bald den Vorteil günstigerer Auslandsstandorte verlieren, zumindest für US-Projekte) und eine fragmentierte Produktionslandschaft machen es schwierig für unabhängige Unternehmen, einen erheblichen Verlust zu absorbieren.

Daher hat die Branche in den letzten zehn Jahren ein wachsendes Interesse daran, ob maschinelles Lernen Trends oder Muster in der Reaktion des Publikums auf vorgeschlagene Film- und Fernsehprojekte erkennen kann.

Die Hauptdatenquellen bleiben das Nielsen-System (das Skalierbarkeit bietet, aber seine Wurzeln in TV und Werbung hat) und stichprobenbasierte Methoden wie Fokusgruppen, die Skalierbarkeit gegenüber kuratierten Demografien eintauschen. Zu dieser Kategorie gehören auch Scorecard-Feedback von kostenlosen Filmvorschauen – jedoch ist zu diesem Zeitpunkt bereits der größte Teil des Produktionsbudgets ausgegeben.

Die “Big Hit”-Theorie/Theorien

Zunächst nutzten ML-Systeme traditionelle Analysemethode wie lineare Regression, K-Nearest-Neighbors, Stochastic-Gradient-Abstieg, Entscheidungsbaum und Wälder sowie Neuronale Netze, normalerweise in verschiedenen Kombinationen, die eher der vorherigen statistischen Analyse ähneln, wie z. B. einer 2019-Initiative der University of Central Florida, erfolgreiche TV-Shows vorherzusagen, basierend auf Kombinationen von Schauspielern und Autoren (unter anderem):

Eine 2018-Studie bewertete die Leistung von Episoden basierend auf Kombinationen von Charakteren und/oder Autoren (die meisten Episoden wurden von mehr als einer Person geschrieben). Quelle: https://arxiv.org/pdf/1910.12589

Die relevanteste damit verbundene Arbeit, zumindest die, die in der Praxis eingesetzt wird (obwohl oft kritisiert), liegt im Bereich der Empfehlungssysteme:

Eine typische Videorecommendations-Pipeline. Videos im Katalog werden mit Funktionen indiziert, die manuell annotiert oder automatisch extrahiert werden können. Empfehlungen werden in zwei Stufen generiert, indem zunächst Kandidaten-Videos ausgewählt und dann nach einem Benutzerprofil, das aus den Anzeigevorlieben abgeleitet wird, gereiht werden. Quelle: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Es handelt sich jedoch um Ansätze, die Projekte analysieren, die bereits erfolgreich sind. Im Falle von neuen, noch nicht veröffentlichten Filmen oder Serien ist es nicht klar, was für eine Art von Grundwahrheit am besten anwendbar wäre – nicht zuletzt, weil sich der öffentliche Geschmack ändert und die Datenquellen verbessert und erweitert werden, was bedeutet, dass in der Regel keine konsistenten Daten über mehrere Jahrzehnte verfügbar sind.

Dies ist ein Beispiel für das Kaltstart-Problem, bei dem Empfehlungssysteme Kandidaten ohne vorherige Interaktionsdaten bewerten müssen. In solchen Fällen bricht die traditionelle kollaborative Filterung zusammen, da sie auf Mustern im Benutzerverhalten (wie Ansehen, Bewerten oder Teilen) angewiesen ist, um Vorhersagen zu generieren. Das Problem ist, dass im Falle der meisten neuen Filme oder Serien noch nicht genug Zuschauer-Feedback vorhanden ist, um diese Methoden zu unterstützen.

Comcast prognostiziert

Ein neues Papier von Comcast Technology AI, in Zusammenarbeit mit der George Washington University, schlägt eine Lösung für dieses Problem vor, indem es ein Sprachmodell mit strukturierten Metadaten über unveröffentlichte Filme auffordert.

Die Eingaben umfassen Besetzung, Genre, Zusammenfassung, Inhaltsbewertung, Stimmung und Auszeichnungen, wobei das Modell eine gereihte Liste der wahrscheinlichen zukünftigen Hits zurückgibt.

Die Autoren verwenden die Ausgabe des Modells als Ersatz für das Interesse des Publikums, wenn keine Interaktionsdaten verfügbar sind, in der Hoffnung, eine frühe Voreingenommenheit gegenüber Titeln zu vermeiden, die bereits gut bekannt sind.

Das sehr kurze (drei-seitige) Papier, betitelt Vorhersage von Filmhits, bevor sie passieren, mit LLMs, stammt von sechs Forschern von Comcast Technology AI und einem von GWU und besagt:

‘Unsere Ergebnisse zeigen, dass LLMs, wenn sie Film-Metadaten verwenden, die Baselines deutlich übertreffen können. Dieser Ansatz könnte als unterstützendes System für mehrere Anwendungsfälle dienen, indem er die automatische Bewertung großer Mengen an neuem Inhalt ermöglicht, der täglich und wöchentlich veröffentlicht wird.

‘Indem sie frühzeitig Erkenntnisse liefern, bevor Redaktionsteams oder Algorithmen ausreichend Interaktionsdaten gesammelt haben, können LLMs den Inhalt-Überprüfungsprozess rationalisieren.

‘Mit kontinuierlichen Verbesserungen der LLM-Effizienz und dem Aufkommen von Empfehlungsagenten sind die Erkenntnisse aus dieser Arbeit wertvoll und anpassbar an eine breite Palette von Bereichen.’

Wenn dieser Ansatz robust ist, könnte er die Abhängigkeit der Branche von rückblickenden Metriken und stark beworbenen Titeln verringern, indem er eine skalierbare Möglichkeit einführt, vielversprechenden Inhalt vor der Veröffentlichung zu identifizieren. So könnten Redaktionsteams anstelle von Benutzerverhalten, das die Nachfrage signalisiert, frühzeitig Metadaten-gesteuerte Vorhersagen des Publikumsinteresses erhalten, was möglicherweise die Exposition über eine breitere Palette von Neuerscheinungen verteilen könnte.

Methode und Daten

Die Autoren skizzieren einen vierstufigen Arbeitsablauf: Aufbau eines speziellen Datensatzes aus unveröffentlichten Film-Metadaten; die Einrichtung eines Baselin-Modells für den Vergleich; die Bewertung geeigneter LLMs unter Verwendung sowohl der natürlichen Sprachverarbeitung als auch der Vorhersage auf der Grundlage von Einbettungen; und die Optimierung der Ausgaben durch Prompt-Engineering im generativen Modus, unter Verwendung von Meta’s Llama 3.1 und 3.3 Sprachmodellen.

Da, so die Autoren, kein öffentlich verfügbarer Datensatz eine direkte Möglichkeit bot, ihre Hypothese zu testen (da die meisten bestehenden Sammlungen vor LLMs entstanden und detaillierte Metadaten fehlten), bauten sie einen Benchmark-Datensatz aus der Comcast-Unterhaltungsplattform auf, die Zehnmillionen von Benutzern über direkte und indirekte Schnittstellen bedient.

Der Datensatz verfolgt neu veröffentlichte Filme und ob sie später populär wurden, wobei Popularität durch Benutzerinteraktionen definiert wird.

Die Sammlung konzentriert sich auf Filme und nicht auf Serien, und die Autoren erklären:

‘Wir konzentrierten uns auf Filme, da sie weniger von externem Wissen beeinflusst werden als Fernsehserien, was die Zuverlässigkeit der Experimente verbessert.’

Labels wurden durch Analyse der Zeit zugewiesen, die es dauerte, bis ein Titel in verschiedenen Zeitfenstern und Listen populär wurde. Das LLM wurde mit Metadaten-Feldern wie Genre, Zusammenfassung, Bewertung, Ära, Besetzung, Team, Stimmung, Auszeichnungen und Charaktertypen aufgefordert.

Als Vergleich verwendeten die Autoren zwei Baselines: eine zufällige Reihenfolge und ein Popular-Embedding-Modell (das wir später besprechen werden).

Das Projekt verwendete große Sprachmodelle als primäre Rangmethode, um geordnete Listen von Filmen mit vorhergesagten Popularitätswerten und begleitenden Rechtfertigungen zu generieren – und diese Ausgaben wurden durch Prompt-Engineering-Strategien geformt, die darauf abzielten, die Vorhersagen des Modells unter Verwendung von strukturierten Metadaten zu leiten.

Die Prompt-Strategie stellte das Modell als “Redaktionsassistenten” dar, der mit der Identifizierung von Filmen betraut war, die wahrscheinlich populär werden, basierend allein auf strukturierten Metadaten, und dann mit der Neuordnung einer festen Liste von Titeln ohne neue Elemente hinzuzufügen, und die Ausgabe im JSON-Format zurückzugeben.

Jede Antwort bestand aus einer gereihten Liste, zugewiesenen Popularitätswerten, Rechtfertigungen für die Rangfolge und Verweisen auf vorherige Beispiele, die das Ergebnis beeinflussten. Diese mehrstufigen Metadaten sollten die Kontextverständnis des Modells und seine Fähigkeit, zukünftige Publikumstrends vorherzusagen, verbessern.

Tests

Das Experiment umfasste zwei Hauptphasen: Zunächst testeten die Autoren mehrere Modellvarianten, um eine Baseline zu etablieren, einschließlich der Identifizierung der Version, die besser als eine zufällige Reihenfolge funktionierte.

Zweitens testeten sie große Sprachmodelle im generativen Modus, indem sie ihre Ausgabe mit einer stärkeren Baseline verglichen, anstatt mit einer zufälligen Reihenfolge, was die Schwierigkeit der Aufgabe erhöhte.

Dies bedeutete, dass die Modelle besser als ein System sein mussten, das bereits eine gewisse Fähigkeit zur Vorhersage von Filmpopularität gezeigt hatte. Als Ergebnis behaupten die Autoren, dass die Bewertung realistischer ist, da Redaktionsteams und Empfehlungssysteme selten zwischen einem Modell und Zufall wählen, sondern zwischen konkurrierenden Systemen mit unterschiedlicher Vorhersagefähigkeit.

Der Vorteil der Unwissenheit

Eine wichtige Einschränkung in diesem Setup war der Zeitabstand zwischen dem Wissensabschluss der Modelle und den tatsächlichen Veröffentlichungsdaten der Filme. Da die Sprachmodelle auf Daten trainiert wurden, die sechs bis zwölf Monate vor der Veröffentlichung der Filme endeten, hatten sie keinen Zugang zu Nachveröffentlichungs-Informationen, was sicherstellte, dass die Vorhersagen ausschließlich auf Metadaten und nicht auf einer gelernten Publikumsreaktion basierten.

Baseline-Bewertung

Um eine Baseline zu erstellen, generierten die Autoren semantische Repräsentationen von Film-Metadaten unter Verwendung von drei Einbettungsmodellen: BERT V4; Linq-Embed-Mistral 7B; und Llama 3.3 70B, quantisiert auf 8-Bit-Präzision, um die Einschränkungen der experimentellen Umgebung zu erfüllen.

Linq-Embed-Mistral wurde aufgrund seiner Spitzenposition auf der MTEB- (Massive Text Embedding Benchmark) Leaderboard ausgewählt.

Jedes Modell erzeugte Vektoreinbettungen von Kandidatenfilmen, die dann mit der durchschnittlichen Einbettung der Top-100-Popularitäten verglichen wurden, die in den Wochen vor der Veröffentlichung jedes Films auftraten.

Die Popularität wurde unter Verwendung der Kosinus-Ähnlichkeit zwischen diesen Einbettungen inferiert, wobei höhere Ähnlichkeitswerte eine höhere vorhergesagte Attraktivität anzeigten. Die Ranggenauigkeit jedes Modells wurde durch Messung der Leistung gegenüber einer zufälligen Reihenfolge-Baseline bewertet.

Leistungsverbesserung von Popular-Embedding-Modellen im Vergleich zu einer zufälligen Baseline. Jedes Modell wurde mit vier Metadaten-Konfigurationen getestet: V1 enthält nur das Genre; V2 enthält nur die Zusammenfassung; V3 kombiniert Genre, Zusammenfassung, Inhaltsbewertung, Charaktertypen, Stimmung und Veröffentlichungsära; V4 fügt Besetzung, Team und Auszeichnungen zur V3-Konfiguration hinzu. Die Ergebnisse zeigen, wie reichere Metadaten-Eingaben die Ranggenauigkeit beeinflussen. Quelle: https://arxiv.org/pdf/2505.02693

Die Ergebnisse (siehe oben) zeigen, dass BERT V4 und Linq-Embed-Mistral 7B die stärksten Verbesserungen bei der Identifizierung der Top-3-Popularitäten lieferten, obwohl beide leicht unter der Vorhersage des einzigen populärsten Elements lagen.

BERT wurde letztendlich als Baselin-Modell für den Vergleich mit den LLMs ausgewählt, da seine Effizienz und Gesamtleistung seine Einschränkungen überwogen.

LLM-Bewertung

Die Forscher bewerteten die Leistung unter Verwendung von zwei Rangmethoden: Paarweise und Listenweise. Paarweise Rangordnung bewertet, ob das Modell ein Element relativ zu einem anderen korrekt ordnet; und listenweise Rangordnung betrachtet die Genauigkeit der gesamten geordneten Liste von Kandidaten.

Diese Kombination ermöglichte es, nicht nur zu bewerten, ob einzelne Film-Paare korrekt gerankt wurden (lokale Genauigkeit), sondern auch, wie gut die gesamte Liste von Kandidaten die tatsächliche Popularitätsreihenfolge widerspiegelte (globale Genauigkeit).

Vollständige, nicht quantisierte Modelle wurden eingesetzt, um Leistungsverluste zu vermeiden und einen konsistenten und reproduzierbaren Vergleich zwischen LLM-basierten Vorhersagen und Einbettungs-basierten Baselines zu gewährleisten.

Metriken

Um zu bewerten, wie effektiv die Sprachmodelle die Filmpopularität vorhersagten, wurden sowohl Rang-basierte als auch Klassifikations-basierte Metriken verwendet, wobei besonderes Augenmerk auf die Identifizierung der Top-3-Popularitäten gelegt wurde.

Vier Metriken wurden angewendet: Genauigkeit@1 maß, wie oft das populärste Element im ersten Platz erschien; Reziproker Rang erfasste, wie hoch das tatsächlich populärste Element in der vorhergesagten Liste rangierte, indem es den Kehrwert seiner Position nahm; Normalisierter diskreter kumulativer Gewinn (NDCG@k) bewertete, wie gut die gesamte Rangordnung der tatsächlichen Popularität entsprach, wobei höhere Werte eine bessere Übereinstimmung anzeigten; und Recall@3 maß den Anteil der tatsächlich populären Titel, die in den Top-3-Vorhersagen des Modells erschienen.

Da die meisten Benutzerinteraktionen in der Nähe der Spitze der gerankten Menüs stattfinden, konzentrierte sich die Bewertung auf niedrigere Werte von k, um praktische Anwendungsfälle widerzuspiegeln.

Leistungsverbesserung großer Sprachmodelle gegenüber BERT V4, gemessen als prozentuale Gewinne über Rangmetriken. Die Ergebnisse wurden über zehn Durchläufe pro Modell-Prompt-Kombination gemittelt, wobei die beiden besten Werte hervorgehoben sind. Die angegebenen Werte spiegeln den durchschnittlichen prozentualen Gewinn über alle Metriken wider.

Die Leistung von Llama-Modell 3.1 (8B), 3.1 (405B) und 3.3 (70B) wurde durch Messung der Metrik-Verbesserungen im Vergleich zum zuvor etablierten BERT-V4-Baseline bewertet. Jedes Modell wurde mit einer Reihe von Prompts getestet, von minimalistisch bis informationsreich, um den Effekt der Eingabedetailtiefe auf die Vorhersagequalität zu untersuchen.

Die Autoren erklären:

‘Die beste Leistung wird erzielt, wenn Llama 3.1 (405B) mit dem informativsten Prompt verwendet wird, gefolgt von Llama 3.3 (70B). Basierend auf dem beobachteten Trend führt die Verwendung eines komplexen und umfangreichen Prompts (MD V4) in der Regel zu einer verbesserten Leistung über verschiedene Metriken hinweg. Es ist jedoch empfindlich gegenüber der Art der hinzugefügten Informationen.’

Die Leistung verbesserte sich, wenn Preise und Auszeichnungen als Teil des Prompts aufgeführt wurden – in diesem Fall die Anzahl der wichtigsten Auszeichnungen, die die Top-5-Darsteller in jedem Film erhalten hatten. Diese reicheren Metadaten waren Teil der detailliertesten Prompt-Konfiguration, die eine einfachere Version übertraf, die die Anerkennung der Besetzung ausschloss. Der Vorteil war am deutlichsten in den größeren Modellen, Llama 3.1 (405B) und 3.3 (70B), die beide eine stärkere Vorhersagegenauigkeit zeigten, wenn ihnen diese zusätzliche Signalisierung von Prestige und Publikumsvertrautheit gegeben wurde.

Im Gegensatz dazu zeigte das kleinste Modell, Llama 3.1 (8B), eine verbesserte Leistung, als die Prompts etwas detaillierter wurden, von Genre zu Zusammenfassung, aber verschlechterte sich, als mehr Felder hinzugefügt wurden, was darauf hindeutet, dass das Modell nicht in der Lage war, komplexe Prompts effektiv zu integrieren, was zu einer schwächeren Verallgemeinerung führte.

Wenn die Prompts auf das Genre allein beschränkt waren, unterboten alle Modelle die Baseline, was zeigt, dass begrenzte Metadaten nicht ausreichten, um sinnvolle Vorhersagen zu unterstützen.

Schlussfolgerung

LLMs sind zum Aushängeschild der generativen KI geworden, was erklären könnte, warum sie in Bereichen eingesetzt werden, in denen andere Methoden besser geeignet wären. Trotzdem gibt es immer noch viel, was wir nicht über ihre Fähigkeiten in verschiedenen Branchen wissen, also ist es sinnvoll, sie auszuprobieren.

In diesem speziellen Fall, wie bei Aktienmärkten und Wettervorhersagen, gibt es nur einen begrenzten Umfang, in dem historische Daten die Grundlage für zukünftige Vorhersagen bilden können. Im Falle von Filmen und Fernsehserien ist die Vertriebsmethode selbst ein bewegliches Ziel, im Gegensatz zur Periode zwischen 1978-2011, als Kabel, Satellit und tragbare Medien (VHS, DVD usw.) eine Reihe von vorübergehenden oder sich entwickelnden historischen Störungen darstellten.

Keine Vorhersagemethode kann den Umfang berücksichtigen, in dem der Erfolg oder Misserfolg anderer Produktionen die Lebensfähigkeit eines vorgeschlagenen Eigentums beeinflussen kann – und dennoch ist dies häufig der Fall in der Film- und Fernsehbranche, die gerne auf einen Trend aufspringt.

Trotzdem könnten LLMs, wenn sie sorgfältig eingesetzt werden, Empfehlungssysteme während der Kaltstart-Phase stärken, indem sie nützliche Unterstützung über eine Reihe von Vorhersagemethoden hinweg bieten.

Erstveröffentlichung am Dienstag, 6. Mai 2025