Utilizarea inteligenței artificiale pentru a prezice un film de succes

Deși industria filmului și a televiziunii este adesea considerată creativă și deschisă, ea a fost de multe ori reticentă la risc. Costurile ridicate de producție (care ar putea pierde în curând avantajul compensatoriu al locațiilor mai ieftine din străinătate, cel puțin pentru proiectele din SUA) și peisajul de producție fragmentat fac dificilă pentru companiile independente să absoarbă o pierdere semnificativă.

Prin urmare, în ultimul deceniu, industria a arătat un interes tot mai mare în a descoperi dacă învățarea automată poate detecta tendințe sau modele în modul în care publicul răspunde la proiecte de film și televiziune propuse.

Principalele surse de date rămân sistemul Nielsen (care oferă scară, deși rădăcinile sale se află în televiziune și publicitate) și metodele bazate pe mostre, cum ar fi grupurile de focus, care fac schimb între scară și demografie selectată. Această ultimă categorie include, de asemenea, feedback-ul de la prezentările gratuite de film – cu toate acestea, în acel moment, cea mai mare parte a bugetului de producție este deja cheltuită.

Teoria “Lovitură Mare” / Teoriile

Inițial, sistemele de învățare automată au utilizat metode de analiză tradițională, cum ar fi regresia liniară, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree și Forests, și Neural Networks, de obicei în diverse combinații mai apropiate de analiza statistică pre-IA, cum ar fi o inițiativă a Universității Centrale din Florida din 2019 pentru a prezice emisiuni de televiziune de succes pe baza combinațiilor de actori și scriitori (printre altele):

Un studiu din 2018 a evaluat performanța episoadelor pe baza combinațiilor de personaje și / sau scriitor (majoritatea episoadelor au fost scrise de mai mult de o persoană). Sursă: https://arxiv.org/pdf/1910.12589

Cel mai relevant lucru legat de această temă, cel puțin cel care este implementat în sălbăticie (deși adesea criticat) se află în domeniul sistemelor de recomandare:

O pipelină tipică de recomandare video. Videoclipurile din catalog sunt indexate folosind caracteristici care pot fi annotate manual sau extrase automat. Recomandările sunt generate în două etape, prin selectarea inițială a videoclipurilor candidate și apoi prin clasarea lor în funcție de un profil de utilizator dedus din preferințele de vizualizare. Sursă: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Cu toate acestea, aceste abordări analizează proiecte care sunt deja de succes. În cazul noilor spectacole sau filme, nu este clar ce fel de adevăr fundamental ar fi cel mai aplicabil – nu în ultimul rând, schimbările în gustul public, combinate cu îmbunătățirile și extinderile surselor de date, fac ca zecile de ani de date consistente să fie de obicei indisponibile.

Acesta este un exemplu al problemei de “pornire rece”, în care sistemele de recomandare trebuie să evalueze candidații fără niciun date de interacțiune anterioară. În astfel de cazuri, filtrarea colaborativă tradițională se deteriorează, deoarece se bazează pe modele de comportament utilizator (cum ar fi vizualizarea, evaluarea sau partajarea) pentru a genera predicții. Problema este că, în cazul majorității noilor filme sau emisiuni, nu există încă suficient feedback din partea publicului pentru a susține aceste metode.

Comcast Prezice

Un nou articol de la Comcast Technology AI, în asociere cu Universitatea George Washington, propune o soluție pentru această problemă, prin furnizarea unui model de limbaj cu metadate structurate despre filme nelansate.

Intrările includ distribuția, genul, sinopsisul, clasificarea conținutului, starea de spirit și premiile, modelul returnând o listă clasificată a celor mai probabile viitoare succese.

Autorii folosesc ieșirea modelului ca înlocuitor pentru interesul public atunci când nu există date de angajament, sperând să evite o tendință timpurie către titluri care sunt deja bine cunoscute.

Articolul foarte scurt (trei pagini) articol, intitulat Predicting Movie Hits Before They Happen with LLMs, provine de la șase cercetători de la Comcast Technology AI și unul de la GWU și afirmă:

‘Rezultatele noastre arată că LLM-urile, atunci când utilizează metadatele filmului, pot depăși semnificativ valorile de referință. Această abordare poate servi ca sistem asistat pentru multiple cazuri de utilizare, permițând evaluarea automată a unor volume mari de conținut nou lansat zilnic și săptămânal.

‘Prin furnizarea de informații timpurii înainte ca echipele editoriale sau algoritmii să acumuleze suficiente date de interacțiune, LLM-urile pot simplifica procesul de examinare a conținutului.

‘Cu îmbunătățiri continue în eficiența LLM și creșterea agenților de recomandare, rezultatele acestei lucrări sunt valoroase și adaptabile pentru o gamă largă de domenii.’

Dacă abordarea se dovedește robustă, ar putea reduce dependența industriei de metricele retrospective și de titlurile puternic promovate, introducând o modalitate escalabilă de a identifica conținutul promițător înainte de lansare. Astfel, în loc de a aștepta ca comportamentul utilizatorului să semnaleze cererea, echipele editoriale ar putea primi previziuni timpurii, bazate pe metadate, ale interesului public, redistribuind potențial expunerea pe o gamă mai largă de lansări noi.

Metodă și Date

Autorii descriu un flux de lucru în patru etape: construirea unui set de date dedicat din metadate nelansate de film; stabilirea unui model de referință pentru comparație; evaluarea LLM-urilor adecvate utilizând atât raționamentul limbajului natural, cât și predicția bazată pe încorporare; și optimizarea ieșirilor prin ingineria prompturilor în modul generativ, utilizând modelul de limbaj Llama 3.1 și 3.3 al Meta.

Deoarece, după cum afirmă autorii, nu există un set de date public disponibil care să ofere o modalitate directă de a testa ipoteza lor (deoarece majoritatea colecțiilor existente preced LLM-urile și lipsesc metadatele detaliate), ei au construit un set de date de referință din platforma de divertisment Comcast, care deservește zeci de milioane de utilizatori în interfețe directe și terțe.

Setul de date urmărește filmele nou lansate și dacă acestea devin populare ulterior, popularitatea fiind definită prin interacțiunile utilizatorilor.

Colecția se concentrează pe filme, mai degrabă decât pe serii, și autorii afirmă:

‘Ne-am concentrat pe filme pentru că sunt mai puțin influențate de cunoștințe externe decât serialele de televiziune, ceea ce îmbunătățește fiabilitatea experimentelor.’

Etichetele au fost atribuite prin analizarea timpului necesar pentru ca un titlu să devină popular în diferite ferestre de timp și dimensiuni de listă. LLM a fost promptat cu câmpuri de metadate, cum ar fi genul, sinopsisul, clasificarea, epoca, distribuția, echipa, starea de spirit, premiile și tipurile de personaje.

Pentru comparație, autorii au utilizat două valori de referință: o ordonare aleatorie; și un model de încorporare populară (PE) (pe care îl vom aborda în curând).

Proiectul a utilizat modele de limbaj mari ca metodă principală de clasificare, generând liste ordonate de filme cu scoruri de popularitate predictivă și justificări însoțitoare – și aceste ieșiri au fost modelate de strategii de inginerie a prompturilor concepute pentru a ghida predicțiile modelului utilizând metadate structurate.

Strategia de prompt a înfățișat modelul ca pe un “asistent editorial” însărcinat cu identificarea filmelor care urmează să devină populare, pe baza exclusivă a metadatelor structurate, și apoi să reordoneze o listă fixă de titluri fără a introduce articole noi și să returneze ieșirea în format JSON.

Fiecare răspuns a constat într-o listă clasificată, scoruri de popularitate atribuite, justificări pentru clasificări și referiri la exemple anterioare care au influențat rezultatul. Aceste multiple niveluri de metadate au fost menite să îmbunătățească înțelegerea contextuală a modelului și capacitatea sa de a anticipa tendințele viitoare ale publicului.

Teste

Experimentul a urmat două etape principale: inițial, autorii au testat mai multe variante de modele pentru a stabili o valoare de referință, implicând identificarea versiunii care a performant mai bine decât o abordare de ordonare aleatorie.

În al doilea rând, ei au testat modelele de limbaj mari în modul generativ, comparând ieșirile lor cu o valoare de referință mai puternică, mai degrabă decât o clasificare aleatorie, ceea ce a crescut dificultatea sarcinii.

Acest lucru a însemnat că modelele trebuiau să facă mai bine decât un sistem care a demonstrat deja o anumită capacitate de a prezice care filme vor deveni populare. Ca urmare, autorii afirmă că evaluarea reflectă mai bine condițiile din lumea reală, în care echipele editoriale și sistemele de recomandare rareori aleg între un model și șansa, ci între sisteme concurente cu niveluri diferite de capacitate predictivă.

Avantajul Ignoranței

O constrângere cheie în această configurație a fost decalajul de timp dintre data de închidere a cunoștințelor modelului și datele de lansare efective ale filmelor. Deoarece modelele de limbaj au fost antrenate pe date care s-au încheiat cu șase până la doisprezece luni înainte de lansarea filmelor, ele nu au avut acces la informații post-lansare, asigurând că predicțiile s-au bazat exclusiv pe metadate și nu pe niciun răspuns al publicului învățat.

Evaluarea de Referință

Pentru a construi o valoare de referință, autorii au generat reprezentări semantice ale metadatelor filmului utilizând trei modele de încorporare: BERT V4; Linq-Embed-Mistral 7B; și Llama 3.3 70B, cuantificat la 8 biți pentru a îndeplini constrângerile mediului experimental.

Linq-Embed-Mistral a fost selectat pentru includere datorită poziției sale de top pe clasamentul MTEB (Massive Text Embedding Benchmark).

Fiecare model a produs încorporări vectoriale ale filmelor candidate, care au fost comparate cu încorporarea medie a celor o sută de titluri cele mai populare din săptămânile care au precedat lansarea fiecărui film.

Popularitatea a fost inferată utilizând similaritatea cosinusoidală între aceste încorporări, cu scoruri de similaritate mai mari care indică un interes predictiv mai mare. Precizia de clasificare a fiecărui model a fost evaluată prin măsurarea performanței împotriva unei ordonări aleatorii.

Îmbunătățirea performanței modelelor de încorporare populară față de o valoare de referință aleatorie. Fiecare model a fost testat utilizând patru configurații de metadate: V1 include doar genul; V2 include doar sinopsisul; V3 combină genul, sinopsisul, clasificarea conținutului, tipurile de personaje, starea de spirit și epoca de lansare; V4 adaugă distribuția, echipa și premiile la configurația V3. Rezultatele arată cum intrările de metadate mai bogate afectează acuratețea clasificării. Sursă: https://arxiv.org/pdf/2505.02693

Rezultatele (prezentate mai sus) demonstrează că BERT V4 și Linq-Embed-Mistral 7B au oferit cele mai puternice îmbunătățiri în identificarea celor trei titluri cele mai populare, deși ambele au fost puțin sub nivelul de a prezice singurul titlu cel mai popular.

BERT a fost în cele din urmă selectat ca model de referință pentru comparație cu LLM-urile, deoarece eficiența și câștigurile sale generale au depășit limitările sale.

Evaluarea LLM

Cercetătorii au evaluat performanța utilizând două abordări de clasificare: pairwise și listwise. Clasificarea pairwise evaluează dacă modelul clasifică corect un articol relativ la altul; și clasificarea listwise consideră acuratețea întregii liste ordonate de candidați.

Această combinație a făcut posibilă evaluarea nu numai dacă perechile individuale de filme au fost clasificate corect (acuratețe locală), ci și cât de bine lista completă de candidați reflectă ordinea reală de popularitate (acuratețe globală).

Modelele complete, nequantificate, au fost utilizate pentru a preveni pierderea de performanță, asigurând o comparație consistentă și reproductibilă între predicțiile bazate pe LLM și valorile de referință bazate pe încorporare.

Metrici

Pentru a evalua cât de bine modelele de limbaj au prezis popularitatea filmelor, au fost utilizate atât metrici de clasificare, cât și de rang, cu atenție specială pentru identificarea celor trei titluri cele mai populare.

Patru metrici au fost aplicate: Acuratețea @1 a măsurat cât de des articolul cel mai popular a apărut în prima poziție; Reciproca Rangului a capturat cât de sus a fost clasificat articolul de top în lista prezisă, luând inversa poziției sale; Câștigul Cumulativ Discountat Normalizat (NDCG@k) a evaluat cât de bine clasificarea reflectă popularitatea reală, cu scoruri mai mari care indică o mai bună aliniere; și Recall @3 a măsurat proporția titlurilor cu adevărat populare care au apărut în primele trei predicții ale modelului.

Deoarece majoritatea interacțiunilor utilizatorilor au loc în apropierea vârfului listelor ordonate, evaluarea s-a concentrat pe valori mai mici ale k, pentru a reflecta cazuri de utilizare practice.

Îmbunătățirea performanței modelelor de limbaj mare față de BERT V4, măsurată ca procente de câștiguri în metricile de clasificare. Rezultatele au fost mediate pe zece rulări pe model-combinare de prompt, cu primele două valori evidențiate. Valorile raportate reflectă media de îmbunătățire a procentuală pe toate metricile.

Performanța modelului Llama 3.1 (8B), 3.1 (405B) și 3.3 (70B) a fost evaluată prin măsurarea îmbunătățirilor metrice față de valoarea de referință BERT V4 stabilită anterior. Fiecare model a fost testat utilizând o serie de prompturi, de la minimale la informații bogate, pentru a examina efectul detaliilor de intrare asupra calității predicțiilor.

Autorii afirmă:

‘Cea mai bună performanță se obține atunci când se utilizează Llama 3.1 (405B) cu promptul cel mai informativ, urmat de Llama 3.3 (70B). Pe baza tendinței observate, atunci când se utilizează un prompt complex și lung (MD V4), un model de limbaj mai complex duce în general la o performanță îmbunătățită pe diverse metrici. Cu toate acestea, este sensibil la tipul de informație adăugată.’

Performanța s-a îmbunătățit atunci când au fost incluse premii pentru distribuție ca parte a promptului – în acest caz, numărul de premii majore primite de cei cinci actori principali din fiecare film. Aceste metadate mai bogate au făcut parte din configurația de prompt cea mai detaliată, depășind o versiune mai simplă care excludea recunoașterea distribuției. Beneficiul a fost cel mai evident în modelele mai mari, Llama 3.1 (405B) și 3.3 (70B), ambele arătând o acuratețe predictivă mai puternică atunci când li s-a furnizat acest semnal suplimentar de prestigiu și familiaritate a publicului.

În schimb, cel mai mic model, Llama 3.1 (8B), a arătat o performanță îmbunătățită atunci când prompturile au devenit puțin mai detaliate, trecând de la gen la sinopsis, dar a scăzut atunci când au fost adăugate mai multe câmpuri, sugerând că modelul a lipsit de capacitatea de a integra prompturi complexe în mod eficient, conducând la o generalizare mai slabă.

Atunci când prompturile au fost limitate la genul singur, toate modelele au subperformat față de valoarea de referință, demonstrând că metadatele limitate au fost insuficiente pentru a susține predicții semnificative.

Concluzie

LLM-urile au devenit copilul minune al inteligenței artificiale generative, ceea ce ar putea explica de ce sunt folosite în domenii în care alte metode ar putea fi mai potrivite. Chiar și așa, există încă multe lucruri pe care nu le știm despre ceea ce pot face în diferite industrii, deci are sens să le dăm o șansă.

În acest caz particular, la fel ca și în cazul piețelor bursiere și al prognozelor meteo, există doar o anumită limită până la care datele istorice pot servi ca fundament pentru predicțiile viitoare. În cazul filmelor și emisiunilor de televiziune, metoda de livrare este acum o țintă în mișcare, în contrast cu perioada 1978-2011, când cablul, satelitul și suporturile media portabile (VHS, DVD etc.) au reprezentat o serie de perturbări istorice tranzitorii sau evolutive.

Nici o metodă de predicție nu poate lua în considerare măsura în care succesul sau eșecul altor producții poate influența viabilitatea unei proprietăți propuse – și totuși, acest lucru se întâmplă adesea în industria filmului și a televiziunii, care îi place să urmeze o tendință.

Cu toate acestea, atunci când sunt utilizate cu grijă, LLM-urile ar putea ajuta la consolidarea sistemelor de recomandare în faza de “pornire rece”, oferind un sprijin util într-o gamă de metode predictive.

Publicat pentru prima dată marți, 6 mai 2025