Použití umělé inteligence k předpovědi úspěšného filmu

Přestože je film a televize často vnímána jako kreativní a otevřené odvětví, jsou ve skutečnosti často opatrné. Vysoké náklady na výrobu (které by se mohly brzy ztratit výhodu levnějších zahraničních lokalit, alespoň pro americké projekty) a fragmentovaná produkční krajina činí obtížným pro nezávislé společnosti absorbovat významnou ztrátu.

Proto se v posledních deseti letech odvětví stále více zajímá o to, zda lze pomocí strojového učení detekovat trendy nebo vzorce v tom, jak diváci reagují na navrhované filmové a televizní projekty.

Hlavními zdroji dat zůstávají systém Nielsen (který nabízí měřítko, i když jeho kořeny leží v televizi a reklamě) a vzorkové metody, jako jsou focus groups, které obchodují měřítko za kultivované demografie. Tato druhá kategorie zahrnuje také zpětnou vazbu z bezplatných filmových ukázek – nicméně, v tomto okamžiku je většina rozpočtu výroby již vynaložena.

Teorie velkého úspěchu

Zpočátku systémy strojového učení využívaly tradiční analytické metody, jako je lineární regrese, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree a lesy, a Neural Networks, obvykle ve různých kombinacích podobných předchozím statistickým analýzám, jako je například iniciativa z roku 2019 na University of Central Florida, která cílem byla předpovědět úspěšné televizní pořady na základě kombinace herců a spisovatelů (mezi jinými faktory):

Studie z roku 2018 ohodnotila výkon epizod na základě kombinace postav a/nebo spisovatelů (většina epizod byla napsána více než jednou osobou). Zdroj: https://arxiv.org/pdf/1910.12589

Nejrelevantnější související práce, alespoň ta, která je nasazena v divočině (i když často kritizovaná), je v oblasti doporučovacích systémů:

Typický video doporučovací proces. Videa v katalogu jsou indexována pomocí funkcí, které mohou být ručně anotovány nebo automaticky extrahovány. Doporučení jsou generována ve dvou fázích, nejdříve výběrem kandidátních videí a poté řazením podle uživatelského profilu odvozeného z preferencí prohlížení. Zdroj: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Jedná se o případ studeného startu, kde doporučovací systémy musí vyhodnotit kandidáty bez předchozích interakčních dat. V takových případech tradiční kolektivní filtrování selhává, protože se spoléhá na vzorce v uživatelském chování (jako je prohlížení, hodnocení nebo sdílení) pro generování předpovědí. Problém spočívá v tom, že v případě většiny nových filmů nebo pořadů není dosud dostatek zpětné vazby od diváků, aby tyto metody podporovaly.

Předpověď Comcastu

Nová práce od Comcast Technology AI, ve spolupráci s George Washington University, navrhuje řešení tohoto problému tím, že vyvolá jazykový model se strukturovanými metadata o nezveřejněných filmech.

Vstupní data zahrnují herecké obsazení, žánr, synopsis, hodnocení obsahu, nálada a ceny, s modelem, který vrací seznam pravděpodobných budoucích hitů.

Autoři používají výstup modelu jako náhradu za uživatelský zájem, když nejsou k dispozici žádné interakční údaje.

Velmi krátká (třístránková) práce, nazvaná Předpověď filmových hitů před jejich vydáním pomocí LLM, pochází od šesti výzkumníků z Comcast Technology AI a jednoho z GWU, a uvádí:

‘Naše výsledky ukazují, že LLM, při použití filmových metadat, mohou významně překonat základní hodnoty. Tento přístup by mohl sloužit jako asistovaný systém pro několik použití, umožňující automatické hodnocení velkého množství nových obsahu, vydávaného denně a týdně.

‘Poskytováním raných informací předtím, než redakční týmy nebo algoritmy získají dostatečné interakční údaje, LLM mohou zjednodušit proces přezkumu obsahu.

‘S pokračujícími zlepšeními v efektivitě LLM a vzestupem doporučovacích agentů jsou poznatky z této práce cenné a přizpůsobitelné širokému rozsahu domén.’

Pokud se tento přístup ukáže jako robustní, mohl by snížit závislost odvětví na retrospektivních metrikách a silně propagovaných titulech tím, že zavede škálovatelný způsob, jak označit slibný obsah před jeho vydáním. Takže místo čekání na uživatelské chování, které signalizuje poptávku, by redakční týmy mohly získat rané, metadata-driven předpovědi uživatelského zájmu, potenciálně redistribuující expozici napříč širším rozsahem nových vydání.

Metoda a data

Autoři popisují čtyřfázový pracovní postup: konstrukci speciálního datasetu z nezveřejněných filmových metadat; stanovení základního modelu pro srovnání; vyhodnocení vhodných LLM pomocí přírodního jazykového rozumu a embedding-založené předpovědi; a optimalizaci výstupů pomocí prompt inženýrství v generativním režimu, pomocí Meta’s Llama 3.1 a 3.3 jazykových modelů.

Protože, autoři uvádějí, žádný veřejně dostupný dataset nenabídl přímý způsob, jak otestovat jejich hypotézu (protože většina existujících sbírek předchází LLM a postrádá podrobná metadata), postavili benchmark dataset z Comcast entertainment platformy, která slouží desítkám milionů uživatelů napříč přímými a třetímistranními rozhraními.

Dataset sleduje nově vydané filmy a zda se později staly populární, s popularitou definovanou pomocí uživatelských interakcí.

Sbírka se zaměřuje na filmy spíše než seriály, a autoři uvádějí:

‘Soustředili jsme se na filmy, protože jsou méně ovlivněny vnějšími znalostmi než televizní seriály, což zlepšuje spolehlivost experimentů.’

Štítky byly přiřazeny analýzou času, který trval, než se titul stal populárním napříč různými časovými okny a seznamy. LLM byl vyvolán s metadatovými poli, jako je žánr, synopsis, hodnocení, éra, herecké obsazení, štáb, nálada, ceny a typy postav.

Pro srovnání autoři použili dva základní modely: náhodné pořadí; a Popular Embedding (PE) model (který budeme brzy probírat).

Projekt použil velké jazykové modely jako primární metodu řazení, generující uspořádané seznamy filmů s předpovězenými popularitami a doprovodnými odůvodněními – a tyto výstupy byly tvarovány prompt inženýrstvím strategiemi, které byly navrženy tak, aby vedly modelovy předpovědi pomocí strukturovaných metadat.

Prompt strategie rámovala model jako “editorského asistenta”, který byl pověřen identifikací filmů, které jsou nejpravděpodobněji stát se populárními, na základě pouze strukturovaných metadat, a poté úkol reorganizovat pevný seznam titulů bez zavedení nových položek, a vrátit výstup v JSON formátu.

Každá odpověď se skládala z řazeného seznamu, přiřazených popularitních skórů, odůvodnění pro řazení a odkazů na předchozí příklady, které ovlivnily výsledek. Tyto multiple úrovně metadat byly určeny ke zlepšení modelovy kontextuální vazby a jeho schopnosti předpovědět budoucí trendy diváckého zájmu.

Testy

Experiment sledoval dvě hlavní fáze:最初, autoři otestovali několik modelových variant, aby stanovili základní hodnotu, včetně identifikace verze, která fungovala lépe než náhodné pořadí.

Druhá, otestovali velké jazykové modely v generativním režimu, srovnáním jejich výstupu s lepším základním modelem, spíše než s náhodným řazením, zvyšujícím obtížnost úkolu.

To znamenalo, že modely musely fungovat lépe než systém, který již ukázal some schopnost předpovědět, které filmy se stanou populárními. Jako výsledek, autoři tvrdí, že vyhodnocení lépe odráželo reálné podmínky, kde redakční týmy a doporučovací systémy zřídka volí mezi modelem a náhodou, ale mezi soutěžícími systémy s různou mírou předpovědní schopnosti.

Výhoda nevědomosti

Klíčovým omezením v tomto nastavení byl časový rozdíl mezi modelem knowledge cutoff a skutečným vydáním filmů. Protože jazykové modely byly trénovány na datech, která skončila šest až dvanáct měsíců předtím, než se filmy staly dostupnými, neměly přístup k žádné post-vydání informaci, zajišťující, že předpovědi byly založeny výhradně na metadatech, a ne na žádné naučené divácké reakci.

Vyhodnocení základního modelu

Pro vytvoření základního modelu autoři generovali semantické reprezentace filmových metadat pomocí tří embedding modelů: BERT V4; Linq-Embed-Mistral 7B; a Llama 3.3 70B, kvantizovaný na 8-bit přesnost, aby splnil omezení experimentálního prostředí.

Linq-Embed-Mistral byl vybrán pro zařazení kvůli jeho první pozici na MTEB (Massive Text Embedding Benchmark) leaderboardu.

Každý model produkoval vector embeddings kandidátních filmů, které byly poté srovnány s průměrným embeddingem top 100 nejpopulárnějších titulů z týdnů předcházejících vydání každého filmu.

Popularita byla odvozena pomocí kosinové podobnosti mezi těmito embeddingy, s vyššími skóre podobnosti indikujícími vyšší předpovězenou atraktivitu. Řazení přesnost každého modelu byla vyhodnocena měřením výkonu proti náhodnému pořadí základního modelu.

Vylepšení výkonu Popular Embedding modelů ve srovnání s náhodným základním modelem. Každý model byl testován pomocí čtyř konfigurací metadat: V1 zahrnuje pouze žánr; V2 zahrnuje pouze synopsis; V3 kombinuje žánr, synopsis, hodnocení obsahu, typy postav, náladu a dobu vydání; V4 přidává herecké obsazení, štáb a ceny do konfigurace V3. Výsledky ukazují, jak bohatší metadata vstupy ovlivňují řazení přesnost. Zdroj: https://arxiv.org/pdf/2505.02693

Výsledky (zobrazené výše) ukazují, že BERT V4 a Linq-Embed-Mistral 7B dosáhly nejvýznamnějších zlepšení v identifikaci top tří nejpopulárnějších titulů, i když oba slightly pokulhávali při předpovědi jediného nejpopulárnějšího položky.

BERT byl nakonec vybrán jako základní model pro srovnání s LLM, protože jeho efektivita a celkové zisky převážily jeho omezení.

Vyhodnocení LLM

Výzkumníci vyhodnotili výkon pomocí dvou řazeních přístupů: pairwise a listwise. Pairwise řazení vyhodnocuje, zda model správně řadí jednu položku relativně k druhé; a listwise řazení zvažuje přesnost celého řazeného seznamu kandidátů.

Tato kombinace umožnila vyhodnotit nejen, zda jednotlivé filmové páry byly řazeny správně (místní přesnost), ale také, jak dobře celý seznam kandidátů odrážel skutečné pořadí popularity (globální přesnost).

Plné, nekvantizované modely byly použity, aby se zabránilo ztrátě výkonu, zajišťující konzistentní a reprodukovatelné srovnání mezi LLM-založenými předpověďmi a embedding-založenými základními modely.

Metriky

Pro vyhodnocení, jak účinně jazykové modely předpovídaly popularitu filmů, byly použity jak řazení-založené, tak klasifikační metriky, se zvláštním zaměřením na identifikaci top tří nejpopulárnějších titulů.

Čtyři metriky byly použity: Accuracy@1 měřil, jak často se nejpopulárnější položka objevila na prvním místě; Reciprocal Rank zachytil, jak vysoko se nejpopulárnější položka řadila v předpovězeném seznamu, bere se inverzní hodnota jeho pozice; Normalized Discounted Cumulative Gain (NDCG@k) vyhodnotil, jak dobře celé řazení odpovídalo skutečné popularitě, s vyššími skóre indikujícími lepší shodu; a Recall@3 měřil podíl skutečně populárních titulů, které se objevily v top třech předpovědích modelu.

Pokud většina uživatelské interakce probíhá poblíž vrcholu řazených menu, vyhodnocení se zaměřilo na nižší hodnoty k, aby odráželo praktické použití.

Vylepšení výkonu velkých jazykových modelů oproti BERT V4, měřeno jako procentuální zisky napříč řazeními metrikami. Výsledky byly průměrovány přes deset běhů na model-prompt kombinaci, s dvěma nejvyššími hodnotami zvýrazněnými. Uvedené hodnoty odrážejí průměrné procentuální zlepšení napříč všemi metrikami.

Výkon Llama modelu 3.1 (8B), 3.1 (405B) a 3.3 (70B) byl vyhodnocen měřením metrických zlepšení ve srovnání s dříve stanoveným BERT V4 základním modelem. Každý model byl testován pomocí série promptů, od minimálních po informačně bohaté, aby se prozkoumala závislost předpovědní kvality na detailu vstupních dat.

Autoři uvádějí:

‘Nejlepší výkon je dosažen, když se používá Llama 3.1 (405B) s nejinformačnějším promptem, následovaný Llama 3.3 (70B). Na základě pozorovaného trendu, když se používá komplexní a dlouhý prompt (MD V4), obecně vede k lepšímu výkonu napříč různými metrikami. Nicméně, je citlivý na typ přidávaných informací.’

Výkon se zlepšil, když byly ceny a ceny přidány jako část promptu – v tomto případě, počet hlavních cen získaných top pětici herců ve filmu. Tyto bohatší metadata byly součástí nejpodrobnější konfigurace promptu, překonávající jednodušší verzi, která vyloučila uznání herců. Výhoda byla nejvíce patrná u větších modelů, Llama 3.1 (405B) a 3.3 (70B), které both ukázaly silnější předpovědní přesnost, když jim byly poskytnuty tyto dodatečné signály prestiže a divácké povědomí.

Naproti tomu, nejmenší model, Llama 3.1 (8B), ukázal zlepšení výkonu, když prompty byly mírně podrobnější, postupující od žánru k synopisu, ale poklesl, když byly přidány další pole, naznačující, že model postrádal kapacitu integrovat komplexní prompty efektivně, vedoucí k slabší generalizaci.

Když byly prompty omezeny pouze na žánr, všechny modely podperformed proti základnímu modelu, demonstrujíce, že omezená metadata nebyla dostatečná pro podporu smysluplných předpovědí.

Závěr

LLM se staly synonymem pro generativní umělou inteligenci, což může vysvětlovat, proč jsou nasazeny v oblastech, kde by jiné metody mohly být lepší volbou. Přesto, stále existuje mnoho věcí, které nevíme o jejich schopnostech napříč různými odvětvími, takže má smysl jim dát šanci.

V tomto konkrétním případě, stejně jako u akciových trhů a předpovědi počasí, existuje pouze omezený rozsah, do kterého historická data mohou sloužit jako základ budoucích předpovědí. V případě filmů a televizních pořadů je samotný způsob doručování nyní se pohybuje, na rozdíl od období mezi 1978-2011, kdy kabel, satelit a přenosná média (VHS, DVD atd.) reprezentovala řadu přechodných nebo evolučních historických narušení.

Ani žádná předpovědní metoda nemůže zohlednit rozsah, do kterého úspěch nebo neúspěch jiných produkcí může ovlivnit životaschopnost navrhovaného property – a přesto je to často případ filmového a televizního průmyslu, který rád využívá trendy.

Přesto, když se používají uvážlivě, LLM mohly pomoci posílit doporučovací systémy během fáze studeného startu, nabízející užitečnou podporu napříč řadou předpovědních metod.

První publikováno v úterý, 6. května 2025