Używanie sztucznej inteligencji do przewidywania sukcesu filmu

Chociaż branża filmowa i telewizyjna często postrzegana jest jako kreatywna i otwarta, jest również niechętna do ryzyka. Wysokie koszty produkcji (które mogą wkrótce stracić przewagę tanich lokalizacji za granicą, przynajmniej dla projektów amerykańskich) oraz rozproszona scena produkcyjna utrudniają firmom niezależnym absorbowanie znacznych strat.

Dlatego w ciągu ostatniej dekady branża zaczęła interesować się tym, czy możliwe jest wykrycie trendów lub wzorców w odpowiedziach publiczności na proponowane projekty filmowe i telewizyjne przy użyciu maszynowego uczenia się.

Głównymi źródłami danych pozostają system Nielsen (który oferuje skalę, choć jego korzenie tkwią w telewizji i reklamie) oraz metody oparte na próbach, takie jak grupy fokusowe, które wymieniają skalę na starannie wyselekcjonowane dane demograficzne. Do tej samej kategorii należy również opinia z karty oceny z bezpłatnych pokazów filmowych – jednak w tym momencie większość budżetu produkcji jest już wydana.

Teoria “Dużego Sukcesu” / Teorie

Początkowo systemy ML wykorzystywały tradycyjne metody analityczne, takie jak regresja liniowa, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree i lasy, oraz Neural Networks, zwykle w różnych kombinacjach, bardziej zbliżonych do przed-AI analizy statystycznej, takiej jak inicjatywa Uniwersytetu Central Florida z 2019 roku przewidywania udanych seriali telewizyjnych na podstawie kombinacji aktorów i pisarzy (wśród innych czynników):

Badanie z 2018 roku oceniło wyniki odcinków na podstawie kombinacji postaci i/lub pisarza (większość odcinków została napisana przez więcej niż jedną osobę). Źródło: https://arxiv.org/pdf/1910.12589

Najbardziej istotna powiązana praca, przynajmniej ta, która jest wdrożona w praktyce (choć często krytykowana) jest w dziedzinie systemów rekomendacji:

Typowy potok rekomendacji wideo. Filmy w katalogu są indeksowane przy użyciu funkcji, które mogą być ręcznie adnotowane lub automatycznie wyodrębnione. Rekomendacje są generowane w dwóch etapach, najpierw wybierając kandydujące filmy, a następnie klasyfikując je według profilu użytkownika wywnioskowanego z preferencji oglądania. Źródło: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Jednak tego typu podejścia analizują projekty, które są już udane. W przypadku nowych, prospektywnych seriali lub filmów nie jest jasne, jaki rodzaj danych miałby zastosowanie – nie tylko ze względu na zmiany w gustach publiczności, w połączeniu z ulepszeniami i rozszerzeniami źródeł danych, co oznacza, że zwykle nie ma dostępnych danych z poprzednich dekad.

To jest przykład problemu “zimnego startu”, gdzie systemy rekomendacji muszą oceniać kandydatów bez wcześniejszych danych interakcji. W takich przypadkach tradycyjne filtrowanie współpracy zawodzi, ponieważ opiera się na wzorcach w zachowaniu użytkowników (takich jak oglądanie, ocenianie lub udostępnianie) w celu generowania prognoz. Problem polega na tym, że w przypadku większości nowych filmów lub seriali nie ma jeszcze wystarczającej ilości informacji zwrotnej od publiczności, aby wesprzeć te metody.

Comcast Przewiduje

Nowy artykuł z Comcast Technology AI, we współpracy z Uniwersytetem George’a Washingtona, proponuje rozwiązanie tego problemu, wykorzystując model językowy z strukturalnymi metadanymi o nieopublikowanych filmach.

Wejściami są obsada, gatunek, streszczenie, ocena treści, nastroj i nagrody, a model zwraca listę prawdopodobnych przyszłych hitów.

Autorzy używają danych wyjściowych modelu jako zastępczych dla zainteresowania publiczności, kiedy nie ma dostępnych danych interakcji.

Bardzo krótki (trzystronicowy) artykuł, zatytułowany Przewidywanie filmowych hitów przed ich premierą z użyciem LLM, pochodzi od sześciu badaczy z Comcast Technology AI i jednego z GWU, i stwierdza:

‘Nasze wyniki pokazują, że LLM, przy użyciu metadanych filmowych, może znacznie przewyższyć punkt odniesienia. To podejście może służyć jako wspomagany system dla wielu przypadków użycia, umożliwiając automatyczne ocenianie dużej ilości nowej zawartości wydawanej codziennie i tygodniowo.

‘Poprzez zapewnienie wczesnych wglądów przed zebraniem wystarczających danych interakcji przez zespoły redakcyjne lub algorytmy, LLM mogą usprawnić proces przeglądu zawartości.

‘Z ciągłymi ulepszeniami w wydajności LLM i rozwojem agentów rekomendacji, wnioski z tej pracy są wartościowe i przystosowane do szerokiego zakresu dziedzin.’

Jeśli podejście okaże się solidne, może zmniejszyć zależność branży od retrospektywnych wskaźników i ciężko promowanych tytułów, wprowadzając skalowalny sposób identyfikacji obiecującej zawartości przed premierą. W ten sposób, zamiast czekać na sygnały z zachowania użytkowników, zespoły redakcyjne mogą otrzymać wczesne, oparte na metadanych prognozy zainteresowania publiczności, potencjalnie redystrybuując ekspozycję na szerszy zakres nowych wydawnictw.

Metoda i Dane

Autorzy przedstawiają czterostopniowy proces: budowę dedykowanego zestawu danych z nieopublikowanych metadanych filmowych; ustanowienie modelu bazowego do porównania; ocenę odpowiednich LLM przy użyciu naturalnego rozumowania językowego i predykcji opartej na osadzaniu; oraz optymalizację danych wyjściowych za pomocą inżynierii podpowiedzi w trybie generatywnym, wykorzystując model językowy Meta Llama 3.1 i 3.3.

Ponieważ, jak stwierdzają autorzy, nie ma publicznie dostępnego zestawu danych, który pozwoliłby na bezpośrednie przetestowanie ich hipotezy (ponieważ większość istniejących kolekcji poprzedza LLM i nie posiada szczegółowych metadanych), zbudowali benchmarkowy zestaw danych z platformy rozrywkowej Comcast, która obsługuje dziesiątki milionów użytkowników za pośrednictwem interfejsów bezpośrednich i pośrednich.

Zestaw danych śledzi nowo wydane filmy i czy później stały się one popularne, przy czym popularność jest definiowana przez interakcje użytkowników.

Kolekcja koncentruje się na filmach, a nie seriach, a autorzy stwierdzają:

‘Skoncentrowaliśmy się na filmach, ponieważ są one mniej uzależnione od zewnętrznej wiedzy niż seriale telewizyjne, co poprawia niezawodność eksperymentów.’

Etykiety zostały przypisane przez analizę czasu, jaki upłynął, zanim tytuł stał się popularny w różnych oknach czasowych i rozmiarach list.

Testy

Eksperyment składał się z dwóch głównych etapów: najpierw autorzy przetestowali kilka wariantów modelu, aby ustalić punkt odniesienia, co wiązało się z identyfikacją wersji, która działała lepiej niż podejście losowe.

Następnie przetestowali duże modele językowe w trybie generatywnym, porównując ich dane wyjściowe z silniejszym punktem odniesienia, a nie z losowym rankingiem, co zwiększało trudność zadania.

To oznaczało, że modele musiały działać lepiej niż system, który już wykazał pewną zdolność do przewidywania, które filmy staną się popularne. W ten sposób, jak twierdzą autorzy, ocena lepiej odzwierciedlała warunki rzeczywiste, w których zespoły redakcyjne i systemy rekomendacji rzadko wybierają między modelem a przypadkiem, ale między konkurującymi systemami o różnych poziomach zdolności predykcyjnych.

Przewaga Ignorancji

Kluczowym ograniczeniem w tym zestawieniu była luka czasowa między datą graniczną wiedzy modeli a rzeczywistymi datami premiery filmów. Ponieważ modele językowe były szkolone na danych, które kończyły się sześć do dwunastu miesięcy przed premierą filmów, nie miały one dostępu do informacji po premierze, co oznaczało, że prognozy opierały się wyłącznie na metadanych, a nie na jakiejkolwiek nauczonej odpowiedzi publiczności.

Ocena Bazowa

Aby utworzyć punkt odniesienia, autorzy wygenerowali reprezentacje semantyczne metadanych filmowych przy użyciu trzech modeli osadzania: BERT V4; Linq-Embed-Mistral 7B; oraz Llama 3.3 70B, kwantyzowany do 8-bitowej precyzji, aby spełnić ograniczenia środowiska eksperymentalnego.

Linq-Embed-Mistral został wybrany ze względu na swoją pozycję na liście rankingowej MTEB (Massive Text Embedding Benchmark) liderów.

Każdy model wyprodukował wektory osadzania kandydujących filmów, które następnie porównano z przeciętnym osadzaniem stu najpopularniejszych tytułów z tygodni poprzedzających premierę każdego filmu.

Popularność została wywnioskowana przy użyciu podobieństwa cosinusowego między tymi osadzeniami, przy czym wyższe wyniki podobieństwa wskazywały na wyższą przewidywaną atrakcyjność. Dokładność rankingu każdego modelu została oceniona przez pomiar wyników w porównaniu z losowym punktem odniesienia.

Poprawa wyników modeli Popular Embedding w porównaniu z losowym punktem odniesienia. Każdy model został przetestowany przy użyciu czterech konfiguracji metadanych: V1 zawiera tylko gatunek; V2 zawiera tylko streszczenie; V3 łączy gatunek, streszczenie, ocenę treści, typy postaci, nastrój i erę wydania; V4 dodaje obsadę, ekipę i nagrody do konfiguracji V3. Wyniki pokazują, jak bogatsze dane wejściowe metadanych wpływają na dokładność rankingu. Źródło: https://arxiv.org/pdf/2505.02693

Wyniki (pokazane powyżej) dowodzą, że BERT V4 i Linq-Embed-Mistral 7B przyniosły największe poprawy w identyfikacji trzech najpopularniejszych tytułów, chociaż oba nieco zawiodły w przewidywaniu najpopularniejszego tytułu.

BERT został ostatecznie wybrany jako model bazowy do porównania z LLM.

Ocena LLM

Badacze oceniali wyniki przy użyciu dwóch podejść do rankingu: para na parę i lista na listę. Para na parę ocenia, czy model poprawnie ustala kolejność jednego elementu w stosunku do innego; lista na listę bierze pod uwagę dokładność całej uporządkowanej listy kandydatów.

To pozwoliło na ocenę nie tylko tego, czy poszczególne pary filmów były poprawnie uszeregowane (lokalna dokładność), ale także jak dobrze cała lista kandydatów odzwierciedlała prawdziwą kolejność popularności (globalna dokładność).

Pełne, niekwantyzowane modele zostały zastosowane, aby uniknąć utraty wydajności, zapewniając spójne i powtarzalne porównanie między predykcjami opartymi na LLM a osadzaniem bazowym.

Metryki

Aby ocenić, jak skutecznie modele językowe przewidywały popularność filmów, zastosowano zarówno metryki rankingowe, jak i klasyfikacyjne, ze szczególnym uwzględnieniem identyfikacji trzech najpopularniejszych tytułów.

Zastosowano cztery metryki: Dokładność@1 mierzyła, jak często najpopularniejszy element pojawiał się na pierwszym miejscu; Współczynnik odwrotny mierzył, jak wysoko najpopularniejszy element był sklasyfikowany w liście przewidywań, biorąc odwrotność jego pozycji; Znormalizowany dyskontowany zysk kumulatywny (NDCG@k) oceniał, jak dobrze cały ranking odpowiadał rzeczywistej popularności, przy czym wyższe wyniki wskazywały na lepsze dopasowanie; oraz Przywołanie@3 mierzyło udział prawdziwie popularnych tytułów w trzech najlepszych przewidywaniach modelu.

Ponieważ większość interakcji użytkowników występuje w górnej części uporządkowanych menu, ocena koncentrowała się na niższych wartościach k, aby odzwierciedlić praktyczne przypadki użycia.

Poprawa wyników dużych modeli językowych w porównaniu z BERT V4, mierzona jako procentowe zyski w metrykach rankingowych. Wyniki są średnie z dziesięciu przebiegów na kombinację modelu i podpowiedzi, z dwoma najlepszymi wartościami wyróżnionymi. Podane liczby odzwierciedlają średni procentowy zysk we wszystkich metrykach.

Wyniki (pokazane powyżej) dowodzą, że Llama 3.1 (8B), 3.1 (405B) i 3.3 (70B) przyniosły najlepsze wyniki, chociaż ich wyniki były nieco gorsze w przypadku najpopularniejszego tytułu.

Autorzy stwierdzają:

‘Najlepsze wyniki osiąga się przy użyciu Llama 3.1 (405B) z najbardziej informacyjną podpowiedzią, a następnie Llama 3.3 (70B). Na podstawie obserwowanego trendu, przy użyciu złożonej i długiej podpowiedzi (MD V4), bardziej złożony model językowy generalnie prowadzi do lepszych wyników w różnych metrykach. Jednak jest to wrażliwe na rodzaj informacji, które są dodawane.’

Wyniki poprawiły się, gdy do podpowiedzi włączono nagrody dla obsady – w tym przypadku liczbę głównych nagród otrzymanych przez pięciu najważniejszych aktorów w każdym filmie. To bogatsze metadane było częścią najbardziej szczegółowej konfiguracji podpowiedzi, przewyższając prostszą wersję, która wykluczała uznanie obsady. Korzyść była najbardziej widoczna w przypadku większych modeli, Llama 3.1 (405B) i 3.3 (70B), które wykazały silniejszą dokładność predykcyjną, gdy otrzymały ten dodatkowy sygnał prestiżu i rozpoznawalności publicznej.

W przeciwieństwie do tego, najmniejszy model, Llama 3.1 (8B), wykazał poprawę wyników, gdy podpowiedzi stały się nieco bardziej szczegółowe, przechodząc od gatunku do streszczenia, ale spadł, gdy dodano więcej pól, co wskazuje, że model nie miał pojemności, aby skutecznie integrować złożone podpowiedzi, prowadząc do słabszej generalizacji.

Gdy podpowiedzi były ograniczone do samego gatunku, wszystkie modele przegrały z punktem odniesienia, dowodząc, że ograniczone metadane były niewystarczające do uzyskania znaczących predykcji.

Wnioski

Modele językowe stały się symbolem generatywnej sztucznej inteligencji, co może tłumaczyć, dlaczego są one wykorzystywane w dziedzinach, w których inne metody mogą być lepiej dopasowane. Niemniej jednak nadal wiele nie wiemy o tym, co one mogą zrobić w różnych branżach, więc ma sens, aby im dać szansę.

W tym konkretnym przypadku, tak jak w przypadku rynków akcji i prognozowania pogody, jest tylko ograniczony zakres, w jakim dane historyczne mogą służyć jako podstawa przyszłych predykcji. W przypadku filmów i seriali sposób dostarczania jest teraz ruchomym celem, w przeciwieństwie do okresu między 1978 a 2011 rokiem, kiedy kablowa, satelitarna i przenośna media (VHS, DVD itp.) reprezentowały serię przejściowych lub ewoluujących historycznych zakłóceń.

Nie można również przewidzieć, w jakim stopniu sukces lub niepowodzenie innych produkcji może wpłynąć na opłacalność proponowanego projektu – a jednak jest to często spotykane w branży filmowej i telewizyjnej, która lubi jechać na fali trendu.

Niemniej jednak, gdy są używane w sposób przemyślany, modele językowe mogą pomóc wzmocnić systemy rekomendacji podczas fazy “zimnego startu”, oferując przydatne wsparcie w szerokim zakresie metod predykcyjnych.

Pierwotnie opublikowane we wtorek, 6 maja 2025