Utilizzare l’IA per prevedere un film di successo

Sebbene il cinema e la televisione siano spesso visti come industrie creative e aperte, sono state a lungo restie ai rischi. I costi di produzione elevati (che potrebbero prestare il vantaggio di luoghi più economici all’estero, almeno per i progetti statunitensi) e un paesaggio di produzione frammentato rendono difficile per le società indipendenti assorbire una perdita significativa.

Pertanto, nel corso dell’ultimo decennio, l’industria ha mostrato un crescente interesse nel determinare se il machine learning possa rilevare tendenze o modelli nel modo in cui il pubblico risponde ai progetti di film e televisione proposti.

Le principali fonti di dati rimangono il sistema Nielsen (che offre scala, sebbene le sue radici siano nella televisione e nella pubblicità) e metodi basati su campioni come i gruppi di discussione, che scambiano scala per demografia curata. Quest’ultima categoria include anche il feedback delle schede di valutazione dalle anteprime gratuite dei film – tuttavia, a quel punto, la maggior parte del budget di produzione è già stato speso.

La teoria del “grande successo”

Inizialmente, i sistemi di apprendimento automatico hanno sfruttato metodi di analisi tradizionali come la regressione lineare, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree e Forest, e Neural Networks, di solito in varie combinazioni più vicine allo stile di analisi statistica pre-AI, come ad esempio un’iniziativa del 2019 dell’Università della Florida Centrale per prevedere spettacoli televisivi di successo in base a combinazioni di attori e scrittori (tra gli altri fattori):

Uno studio del 2018 ha valutato le prestazioni degli episodi in base a combinazioni di personaggi e/o scrittore (la maggior parte degli episodi è stata scritta da più di una persona). Fonte: https://arxiv.org/pdf/1910.12589

Il lavoro più rilevante, almeno quello che è stato implementato nel mondo reale (sebbene spesso criticato) è nel campo dei sistemi di raccomandazione:

Una pipeline di raccomandazione video tipica. I video nel catalogo sono indicizzati utilizzando funzionalità che possono essere annotate manualmente o estratte automaticamente. Le raccomandazioni vengono generate in due fasi, selezionando prima i video candidati e poi classificandoli in base a un profilo utente inferito dalle preferenze di visualizzazione. Fonte: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Tuttavia, questi tipi di approcci analizzano progetti che sono già di successo. Nel caso di nuovi spettacoli o film, non è chiaro quale tipo di verità fondamentale sarebbe più applicabile – non ultimo perché i cambiamenti nel gusto del pubblico, combinati con miglioramenti e ampliamenti delle fonti di dati, significano che decenni di dati coerenti di solito non sono disponibili.

Questo è un esempio del problema di avvio a freddo, in cui i sistemi di raccomandazione devono valutare i candidati senza alcun dato di interazione precedente. In tali casi, il filtraggio collaborativo tradizionale si rompe, poiché si basa su modelli di comportamento degli utenti (come la visualizzazione, la valutazione o la condivisione) per generare previsioni. Il problema è che nel caso della maggior parte dei nuovi film o spettacoli, non c’è ancora abbastanza feedback del pubblico per supportare questi metodi.

Comcast prevede

Un nuovo articolo di Comcast Technology AI, in associazione con la George Washington University, propone una soluzione a questo problema, fornendo a un modello linguistico metadati strutturati su film non ancora rilasciati.

I dati di input includono cast, genere, sinossi, valutazione del contenuto, umore e premi, con il modello che restituisce un elenco classificato di probabili futuri successi.

Gli autori utilizzano l’output del modello come sostituto dell’interesse del pubblico quando non sono disponibili dati di interazione.

L’articolo molto breve (tre pagine) articolo, intitolato Predizione dei film di successo prima che accadano con LLM, proviene da sei ricercatori di Comcast Technology AI e uno della GWU, e afferma:

‘I nostri risultati mostrano che gli LLM, quando utilizzano i metadati del film, possono superare significativamente i dati di base. Questo approccio potrebbe servire come sistema assistito per più casi d’uso, abilitando la valutazione automatica di grandi volumi di nuovo contenuto rilasciato quotidianamente e settimanalmente.

‘Fornendo informazioni precoci prima che i team editoriali o gli algoritmi abbiano accumulato dati di interazione sufficienti, gli LLM possono semplificare il processo di revisione del contenuto.

‘Con continui miglioramenti nell’efficienza degli LLM e la crescita degli agenti di raccomandazione, le informazioni da questo lavoro sono preziose e adattabili a una vasta gamma di domini.’

Se l’approccio si dimostra robusto, potrebbe ridurre la dipendenza dell’industria da metriche retrospettive e titoli fortemente promossi, introducendo un metodo scalabile per segnalare contenuti promettenti prima del rilascio. Pertanto, invece di attendere il comportamento degli utenti per segnalare la domanda, i team editoriali potrebbero ricevere previsioni precoci e basate sui metadati dell’interesse del pubblico, potenzialmente ridistribuendo l’esposizione su una gamma più ampia di nuove uscite.

Metodo e dati

Gli autori delineano un flusso di lavoro in quattro fasi: costruzione di un set di dati dedicato da metadati non rilasciati dei film; l’istituzione di un modello di base per il confronto; la valutazione di LLM appropriati utilizzando sia la ragione linguistica naturale che la previsione basata sull’incorporamento; e l’ottimizzazione degli output attraverso l’ingegneria dei prompt in modalità generativa, utilizzando Meta’s Llama 3.1 e 3.3 modelli linguistici.

Poiché, affermano gli autori, non esiste un set di dati pubblicamente disponibile che offra un modo diretto per testare la loro ipotesi (poiché la maggior parte delle raccolte esistenti precede gli LLM e manca di metadati dettagliati), hanno costruito un set di dati di riferimento dalla piattaforma di intrattenimento Comcast, che serve decine di milioni di utenti attraverso interfacce dirette e di terze parti.

Il set di dati traccia i film appena rilasciati e se in seguito sono diventati popolari, con la popolarità definita attraverso le interazioni degli utenti.

La raccolta si concentra sui film piuttosto che sulle serie, e gli autori affermano:

‘Ci siamo concentrati sui film perché sono meno influenzati dalla conoscenza esterna rispetto alle serie TV, migliorando l’affidabilità degli esperimenti.’

I dati di etichetta sono stati assegnati analizzando il tempo necessario per un titolo per diventare popolare in diverse finestre di tempo e dimensioni di elenco. L’LLM è stato fornito con campi di metadati come genere, sinossi, valutazione, epoca, cast, equipaggio, umore, premi e tipi di personaggi.

Per il confronto, gli autori hanno utilizzato due dati di base: un ordinamento casuale; e un modello di incorporamento popolare (PE) (che verrà discusso in seguito).

Il progetto ha utilizzato grandi modelli linguistici come metodo di classificazione principale, generando elenchi ordinati di film con punteggi di popolarità previsti e giustificazioni accompagnatori – e questi output sono stati plasmati da strategie di ingegneria dei prompt progettate per guidare le previsioni del modello utilizzando metadati strutturati.

La strategia di prompt ha inquadrato il modello come un ‘assistente editoriale’ assegnato all’identificazione dei film in uscita più probabilmente popolari, basandosi solo su metadati strutturati, e quindi assegnato al riordinamento di un elenco fisso di titoli senza introdurre nuovi elementi, e restituire l’output in JSON formato.

Ogni risposta consisteva in un elenco classificato, punteggi di popolarità assegnati, giustificazioni per la classificazione e riferimenti a eventuali esempi precedenti che hanno influenzato il risultato. Questi livelli multipli di metadati erano destinati a migliorare la comprensione contestuale del modello e la sua capacità di anticipare le tendenze del pubblico futuro.

Test

L’esperimento ha seguito due fasi principali: inizialmente, gli autori hanno testato diverse varianti del modello per stabilire un dato di base, coinvolgendo l’identificazione della versione che ha eseguito meglio di un approccio di ordinamento casuale.

In secondo luogo, hanno testato grandi modelli linguistici in modalità generativa, confrontando l’output con un dato di base più forte, piuttosto che un ordinamento casuale, aumentando la difficoltà del compito.

Ciò significava che i modelli dovevano fare meglio di un sistema che già mostrava una certa capacità di prevedere quali film sarebbero diventati popolari. Di conseguenza, affermano gli autori, la valutazione ha meglio riflesso le condizioni del mondo reale, in cui i team editoriali e i sistemi di raccomandazione raramente scelgono tra un modello e una possibilità, ma tra sistemi concorrenti con livelli di capacità predittiva variabili.

Il vantaggio dell’ignoranza

Una chiave di vincolo in questo setup era il divario temporale tra la data di chiusura delle conoscenze dei modelli e le date di rilascio effettive dei film. Poiché i modelli linguistici erano stati addestrati con dati che terminavano sei o dodici mesi prima che i film diventassero disponibili, non avevano accesso a informazioni post-rilascio, garantendo che le previsioni si basassero interamente sui metadati e non su alcuna risposta del pubblico appresa.

Valutazione del dato di base

Per costruire un dato di base, gli autori hanno generato rappresentazioni semantiche dei metadati del film utilizzando tre modelli di incorporamento: BERT V4; Linq-Embed-Mistral 7B; e Llama 3.3 70B, quantizzato a 8 bit per soddisfare i vincoli dell’ambiente sperimentale.

Linq-Embed-Mistral è stato selezionato per l’inclusione a causa della sua posizione in testa alla classifica MTEB (Massive Text Embedding Benchmark) leaderboard.

Ogni modello ha prodotto incorporamenti vettoriali di film candidati, che sono stati confrontati con l’incorporamento medio dei primi cento titoli più popolari delle settimane precedenti l’uscita di ogni film.

La popolarità è stata inferita utilizzando similarità coseno tra questi incorporamenti, con punteggi di similarità più alti che indicano un appeal previsto più alto. La precisione di classificazione di ogni modello è stata valutata misurando le prestazioni rispetto a un ordinamento casuale.

Miglioramento delle prestazioni dei modelli di incorporamento popolare rispetto a un dato di base casuale. Ogni modello è stato testato utilizzando quattro configurazioni di metadati: V1 include solo il genere; V2 include solo la sinossi; V3 combina genere, sinossi, valutazione del contenuto, tipi di personaggi, umore e epoca di rilascio; V4 aggiunge cast, equipaggio e premi alla configurazione V3. I risultati mostrano come input di metadati più ricchi influenzino la precisione di classificazione. Fonte: https://arxiv.org/pdf/2505.02693

I risultati (mostrati sopra) dimostrano che BERT V4 e Linq-Embed-Mistral 7B hanno conseguito i migliori miglioramenti nell’identificazione dei primi tre titoli più popolari, sebbene entrambi siano leggermente scesi nella previsione del singolo titolo più popolare.

BERT è stato selezionato come modello di base per il confronto con gli LLM, poiché la sua efficienza e i suoi guadagni generali superavano le sue limitazioni.

Valutazione LLM

I ricercatori hanno valutato le prestazioni utilizzando due approcci di classificazione: pairwise e listwise. La classificazione pairwise valuta se il modello ordina correttamente un elemento relativo a un altro; e la classificazione listwise considera l’accuratezza dell’intero elenco ordinato dei candidati.

Questa combinazione ha reso possibile valutare non solo se le coppie di film sono state classificate correttamente (accuratezza locale), ma anche come l’intero elenco di candidati riflette l’ordine di popolarità reale (accuratezza globale).

Sono stati utilizzati modelli completi, non quantizzati, per evitare la perdita di prestazioni, garantendo un confronto coerente e riproducibile tra le previsioni basate su LLM e i dati di base basati sull’incorporamento.

Metriche

Per valutare quanto efficacemente i modelli linguistici abbiano previsto la popolarità del film, sono state utilizzate metriche basate sulla classificazione e sulla previsione, con particolare attenzione all’identificazione dei primi tre titoli più popolari.

Sono state applicate quattro metriche: Accuracy@1 ha misurato quanto spesso l’elemento più popolare appariva nella prima posizione; Reciprocal Rank ha catturato quanto alto l’elemento più alto si classificava nell’elenco previsto, prendendo l’inverso della sua posizione; Normalized Discounted Cumulative Gain (NDCG@k) ha valutato quanto bene l’intera classificazione corrispondeva alla popolarità reale, con punteggi più alti che indicano un allineamento migliore; e Recall@3 ha misurato la proporzione di titoli realmente popolari che apparivano nelle prime tre previsioni del modello.

Dal momento che la maggior parte dell’interazione degli utenti si verifica vicino alla parte superiore degli elenchi classificati, la valutazione si è concentrata su valori più bassi di k, per riflettere casi d’uso pratici.

Miglioramento delle prestazioni dei grandi modelli linguistici rispetto a BERT V4, misurato come guadagni percentuali attraverso le metriche di classificazione. I risultati sono stati mediati su dieci esecuzioni per ogni combinazione modello-prompt, con i due valori più alti evidenziati. I dati segnalati riflettono il guadagno percentuale medio attraverso tutte le metriche.

Le prestazioni di Llama model 3.1 (8B), 3.1 (405B) e 3.3 (70B) sono state valutate misurando i miglioramenti delle metriche rispetto al dato di base BERT V4 stabilito in precedenza. Ogni modello è stato testato utilizzando una serie di prompt, che vanno da minimi a ricchi di informazioni, per esaminare l’effetto del dettaglio di input sulla qualità della previsione.

Gli autori affermano:

‘La migliore prestazione si ottiene quando si utilizza Llama 3.1 (405B) con il prompt più informativo, seguito da Llama 3.3 (70B). Sulla base della tendenza osservata, quando si utilizza un prompt complesso e lungo (MD V4), un modello linguistico più complesso conduce generalmente a una prestazione migliorata attraverso varie metriche. Tuttavia, è sensibile al tipo di informazione aggiunta.’

La prestazione è migliorata quando sono stati inclusi premi del cast come parte del prompt – in questo caso, il numero di importanti premi ricevuti dagli attori principali di ogni film. Questo metadato più ricco faceva parte della configurazione di prompt più dettagliata, superando una versione più semplice che escludeva il riconoscimento del cast. Il beneficio è stato più evidente nei modelli più grandi, Llama 3.1 (405B) e 3.3 (70B), entrambi dei quali hanno mostrato una maggiore accuratezza predittiva quando è stato fornito questo segnale aggiuntivo di prestigio e familiarità del pubblico.

Al contrario, il modello più piccolo, Llama 3.1 (8B), ha mostrato una prestazione migliorata quando i prompt sono diventati leggermente più dettagliati, passando dal genere alla sinossi, ma è sceso quando sono stati aggiunti più campi, suggerendo che il modello non aveva la capacità di integrare prompt complessi in modo efficace, portando a una generalizzazione più debole.

Quando i prompt erano limitati al genere solo, tutti i modelli hanno sotto-performato rispetto al dato di base, dimostrando che i metadati limitati non erano sufficienti per supportare previsioni significative.

Conclusione

Gli LLM sono diventati il simbolo dell’IA generativa, il che potrebbe spiegare perché vengono utilizzati in aree in cui altri metodi potrebbero essere più adatti. Tuttavia, c’è ancora molto che non sappiamo su cosa possono fare attraverso diverse industrie, quindi ha senso provarli.

In questo caso specifico, come per i mercati azionari e le previsioni del tempo, c’è solo una limitata estensione in cui i dati storici possono servire come base per previsioni future. Nel caso dei film e degli spettacoli televisivi, il metodo di consegna è ora un bersaglio mobile, in contrasto con il periodo tra il 1978 e il 2011, quando cavo, satellite e supporti portatili (VHS, DVD, ecc.) rappresentavano una serie di interruzioni storiche transitorie o in evoluzione.

Né può alcun metodo di previsione tener conto della misura in cui il successo o il fallimento di altre produzioni possa influenzare la fattibilità di una proprietà proposta – e tuttavia questo è spesso il caso nell’industria cinematografica e televisiva, che ama cavalcare una tendenza.

Tuttavia, quando utilizzati in modo pensato, gli LLM potrebbero aiutare a rafforzare i sistemi di raccomandazione durante la fase di avvio a freddo, offrendo un supporto utile attraverso una gamma di metodi predittivi.

Pubblicato per la prima volta martedì, 6 maggio 2025