Menggunakan AI untuk Memprediksi Film Blokbuster

Meskipun film dan televisi sering dianggap sebagai industri kreatif dan terbuka, mereka telah lama menjadi risk-averse. Biaya produksi yang tinggi (yang mungkin segera kehilangan keuntungan dari lokasi luar negeri yang lebih murah, setidaknya untuk proyek AS) dan lanskap produksi yang terfragmentasi membuatnya sulit bagi perusahaan independen untuk menyerap kerugian yang signifikan.

Oleh karena itu, selama dekade terakhir, industri ini telah mengambil minat yang semakin besar dalam mengetahui apakah machine learning dapat mendeteksi tren atau pola dalam cara audiens merespons proyek film dan televisi yang diusulkan.

Sumber data utama masih sistem Nielsen (yang menawarkan skala, meskipun akarnya terletak pada TV dan iklan) dan metode berbasis sampel seperti focus group, yang menukar skala untuk demografi yang dikurasi. Kategori terakhir ini juga termasuk umpan balik kartu skor dari pratinjau film gratis – namun, pada titik itu, sebagian besar anggaran produksi sudah habis.

Teori ‘Big Hit’ / Teori-Teori

Awalnya, sistem ML menggunakan metode analisis tradisional seperti regresi linier, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree dan Forests, dan Neural Networks, biasanya dalam berbagai kombinasi yang lebih dekat dengan gaya analisis statistik sebelum-AI, seperti inisiatif Universitas Central Florida 2019 untuk memperkirakan acara TV yang sukses berdasarkan kombinasi aktor dan penulis (di antara faktor lainnya):

Sebuah studi 2018 menilai kinerja episode berdasarkan kombinasi karakter dan/atau penulis (sebagian besar episode ditulis oleh lebih dari satu orang). Sumber: https://arxiv.org/pdf/1910.12589

Pekerjaan terkait yang paling relevan, setidaknya yang diterapkan di lapangan (meskipun sering dikritik) adalah di bidang sistem rekomendasi:

Sebuah pipa rekomendasi video khas. Video dalam katalog diindeks menggunakan fitur yang mungkin dianotasi secara manual atau diekstrak secara otomatis. Rekomendasi dihasilkan dalam dua tahap dengan terlebih dahulu memilih kandidat video dan kemudian menilai mereka sesuai dengan profil pengguna yang diperoleh dari preferensi tontonan. Sumber: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Namun, pendekatan semacam ini menganalisis proyek yang sudah sukses. Dalam kasus acara atau film baru yang prospektif, tidak jelas apa jenis kebenaran dasar yang paling sesuai – tidak kurang karena perubahan selera masyarakat, dikombinasikan dengan perbaikan dan peningkatan sumber data, berarti bahwa dekade data konsisten biasanya tidak tersedia.

Ini adalah contoh dari masalah cold start, di mana sistem rekomendasi harus mengevaluasi kandidat tanpa data interaksi sebelumnya. Dalam kasus seperti itu, penyaringan kolaboratif tradisional gagal, karena bergantung pada pola perilaku pengguna (seperti menonton, menilai, atau berbagi) untuk menghasilkan prediksi. Masalahnya adalah bahwa dalam kasus sebagian besar film atau acara baru, belum ada umpan balik audiens yang cukup untuk mendukung metode ini.

Comcast Memprediksi

Sebuah makalah baru dari Comcast Technology AI, dalam asosiasi dengan Universitas George Washington, mengusulkan solusi untuk masalah ini dengan memicu model bahasa dengan metadata terstruktur tentang film yang belum dirilis.

Inputnya termasuk cast, genre, sinopsis, peringkat konten, suasana hati, dan penghargaan, dengan model yang mengembalikan daftar peringkat kemungkinan hit masa depan.

Penulis menggunakan output model sebagai pengganti minat audiens ketika tidak ada data interaksi yang tersedia, berharap untuk menghindari bias awal terhadap judul yang sudah terkenal.

Makalah yang sangat singkat (tiga halaman), paper, berjudul Memprediksi Film Hit Sebelum Terjadi dengan LLMs, berasal dari enam peneliti di Comcast Technology AI, dan satu dari GWU, dan menyatakan:

‘Hasil kami menunjukkan bahwa LLMs, ketika menggunakan metadata film, dapat secara signifikan mengungguli baseline. Pendekatan ini dapat berfungsi sebagai sistem bantu untuk berbagai kasus penggunaan, memungkinkan skoring otomatis dari volume besar konten baru yang dirilis harian dan mingguan.

‘Dengan memberikan wawasan awal sebelum tim editorial atau algoritma mengumpulkan data interaksi yang cukup, LLMs dapat mempermudah proses tinjauan konten.

‘Dengan perbaikan terus-menerus dalam efisiensi LLM dan munculnya agen rekomendasi, wawasan dari pekerjaan ini berharga dan dapat disesuaikan dengan berbagai domain.’

Jika pendekatan ini terbukti kuat, itu bisa mengurangi ketergantungan industri pada metrik retrospektif dan judul yang dipromosikan secara berat dengan memperkenalkan cara yang dapat diukur untuk menandai konten yang menjanjikan sebelum rilis. Dengan demikian, tim editorial bisa menerima ramalan awal tentang minat audiens, berpotensi meng redistribusi eksposur di seluruh rentang rilis baru.

Metode dan Data

Penulis menguraikan empat tahap alur kerja: konstruksi dataset khusus dari metadata film yang belum dirilis; pembentukan model baseline untuk perbandingan; evaluasi LLM yang sesuai menggunakan alasan bahasa alami dan prediksi berbasis embedding; dan optimasi output melalui teknik prompt dalam mode generatif, menggunakan Llama 3.1 dan 3.3 model bahasa Meta.

Karena, penulis menyatakan, tidak ada dataset yang tersedia secara publik yang menawarkan cara langsung untuk menguji hipotesis mereka (karena sebagian besar koleksi sebelumnya mendahului LLMs dan kekurangan metadata terperinci), mereka membangun dataset benchmark dari platform hiburan Comcast, yang melayani puluhan juta pengguna di seluruh antarmuka langsung dan pihak ketiga.

Dataset ini melacak film yang baru dirilis, dan apakah mereka kemudian menjadi populer, dengan popularitas didefinisikan melalui interaksi pengguna.

Koleksi ini fokus pada film daripada serial, dan penulis menyatakan:

‘Kami fokus pada film karena mereka kurang dipengaruhi oleh pengetahuan eksternal daripada serial TV, sehingga meningkatkan keandalan eksperimen.’

Label ditugaskan dengan menganalisis waktu yang dibutuhkan untuk sebuah judul menjadi populer di seluruh jendela waktu dan ukuran daftar yang berbeda. LLM dipicu dengan bidang metadata seperti genre, sinopsis, peringkat, era, cast, crew, suasana hati, penghargaan, dan jenis karakter.

Untuk perbandingan, penulis menggunakan dua baseline: urutan acak; dan model Popular Embedding (PE) (yang akan kita bahas sebentar lagi).

Proyek ini menggunakan model bahasa besar sebagai metode peringkat utama, menghasilkan daftar terurut film dengan skor popularitas yang diprediksi dan justifikasi yang menyertainya – dan output ini dibentuk oleh strategi teknik prompt yang dirancang untuk memandu prediksi model menggunakan metadata terstruktur.

Strategi prompt membingkai model sebagai ‘asisten editorial’ yang ditugaskan untuk mengidentifikasi film mana yang paling mungkin menjadi populer, berdasarkan hanya metadata terstruktur, dan kemudian memerintahkan untuk mengurutkan daftar judul tetap tanpa memperkenalkan item baru, dan mengembalikan output dalam format JSON.

Setiap responsis terdiri dari daftar peringkat, skor popularitas yang ditugaskan, justifikasi untuk peringkatan, dan referensi ke contoh sebelumnya yang mempengaruhi hasil. Tingkat metadata yang berbeda ini dimaksudkan untuk meningkatkan pemahaman kontekstual model dan kemampuannya untuk memprediksi tren audiens di masa depan.

Uji Coba

Eksperimen ini mengikuti dua tahap utama: awalnya, penulis menguji beberapa varian model untuk menetapkan baseline, yang melibatkan identifikasi versi yang berperforma lebih baik daripada pendekatan urutan acak.

Kedua, mereka menguji model bahasa besar dalam mode generatif, dengan membandingkan outputnya dengan baseline yang lebih kuat, bukan peringkat acak, sehingga meningkatkan kesulitan tugas.

Ini berarti model harus berperforma lebih baik daripada sistem yang sudah menunjukkan beberapa kemampuan untuk memprediksi film mana yang akan menjadi populer. Sebagai hasilnya, penulis menyatakan, evaluasi lebih mencerminkan kondisi dunia nyata, di mana tim editorial dan sistem rekomendasi jarang memilih antara model dan kebetulan, tetapi antara sistem yang bersaing dengan kemampuan prediktif yang berbeda.

Keuntungan dari Kebodohan

Sebuah keterbatasan kunci dalam pengaturan ini adalah celah waktu antara batas waktu pengetahuan model dan tanggal rilis sebenarnya dari film. Karena model bahasa dilatih pada data yang berakhir enam hingga dua belas bulan sebelum film dirilis, mereka tidak memiliki akses ke informasi pasca-rilis, memastikan bahwa prediksi didasarkan sepenuhnya pada metadata, dan tidak pada respons audiens yang dipelajari.

Evaluasi Baseline

Untuk membuat baseline, penulis menghasilkan representasi semantik dari metadata film menggunakan tiga model embedding: BERT V4; Linq-Embed-Mistral 7B; dan Llama 3.3 70B, dikuantisasi ke presisi 8-bit untuk memenuhi keterbatasan lingkungan eksperimental.

Linq-Embed-Mistral dipilih untuk dimasukkan karena posisinya di papan peringkat MTEB (Massive Text Embedding Benchmark).

Setiap model menghasilkan embedding vektor dari film kandidat, yang kemudian dibandingkan dengan embedding rata-rata dari seratus judul paling populer dari minggu-minggu sebelum rilis film.

Popularitas diinferensi menggunakan kesamaan kosinus antara embedding ini, dengan skor kesamaan yang lebih tinggi menunjukkan daya tarik yang lebih tinggi. Akurasi peringkat dari setiap model dievaluasi dengan mengukur kinerja melawan baseline urutan acak.

Peningkatan kinerja model Popular Embedding dibandingkan dengan baseline acak. Setiap model diuji menggunakan empat konfigurasi metadata: V1 hanya termasuk genre; V2 hanya termasuk sinopsis; V3 menggabungkan genre, sinopsis, peringkat konten, jenis karakter, suasana hati, dan era rilis; V4 menambahkan cast, crew, dan penghargaan ke konfigurasi V3. Hasil menunjukkan bagaimana input metadata yang lebih kaya mempengaruhi akurasi peringkat. Sumber: https://arxiv.org/pdf/2505.02693

Hasil (ditunjukkan di atas), menunjukkan bahwa BERT V4 dan Linq-Embed-Mistral 7B memberikan peningkatan terkuat dalam mengidentifikasi tiga judul paling populer, meskipun keduanya sedikit kurang dalam memprediksi item paling populer tunggal.

BERT akhirnya dipilih sebagai model baseline untuk perbandingan dengan LLMs, karena efisiensi dan keuntungan keseluruhannya melebihi keterbatasannya.

Evaluasi LLM

Peneliti mengevaluasi kinerja menggunakan dua pendekatan peringkat: pairwise dan listwise. Peringkat pairwise mengevaluasi apakah model secara benar mengurutkan satu item relatif terhadap item lain; dan peringkat listwise mempertimbangkan akurasi daftar kandidat yang dipesan secara keseluruhan.

Kombinasi ini memungkinkan penilaian tidak hanya apakah pasangan film individual diperintahkan dengan benar (akurasi lokal), tetapi juga seberapa baik daftar kandidat yang dipesan mencerminkan urutan popularitas sebenarnya (akurasi global).

Model penuh, non-kuantisasi, digunakan untuk mencegah kehilangan kinerja, memastikan perbandingan yang konsisten dan dapat direproduksi antara prediksi LLM dan baseline berbasis embedding.

Metrik

Untuk mengevaluasi seberapa efektif model bahasa memprediksi popularitas film, baik metrik peringkat dan klasifikasi digunakan, dengan perhatian khusus pada mengidentifikasi tiga judul paling populer.

Empat metrik diterapkan: Akurasi@1 mengukur seberapa sering item paling populer muncul di posisi pertama; Peringkat Resiprokal menangkap seberapa tinggi item sebenarnya diperintahkan dalam daftar yang diprediksi dengan mengambil invers dari posisinya; Normalized Discounted Cumulative Gain (NDCG@k) mengevaluasi seberapa baik peringkat mencerminkan popularitas sebenarnya, dengan skor yang lebih tinggi menunjukkan keselarasan yang lebih baik; dan Recall@3 mengukur proporsi judul populer sebenarnya yang muncul dalam tiga prediksi teratas model.

Karena sebagian besar interaksi pengguna terjadi di dekat atas menu yang dipesan, evaluasi fokus pada nilai yang lebih rendah dari k, untuk mencerminkan kasus penggunaan praktis.

Peningkatan kinerja model bahasa besar dibandingkan dengan BERT V4, diukur sebagai persentase keuntungan di seluruh metrik peringkat. Hasil dirata-ratakan selama sepuluh kali menjalankan setiap kombinasi model-prompt, dengan dua nilai teratas ditandai. Angka yang dilaporkan mencerminkan rata-rata persentase peningkatan di seluruh metrik.

Kinerja model Llama 3.1 (8B), 3.1 (405B), dan 3.3 (70B) dievaluasi dengan mengukur perbaikan metrik relatif terhadap baseline BERT V4 yang telah ditetapkan sebelumnya. Setiap model diuji menggunakan serangkaian prompt, mulai dari minimal hingga kaya informasi, untuk mengeksaminasi efek detail input pada kualitas prediksi.

Penulis menyatakan:

‘Kinerja terbaik dicapai ketika menggunakan Llama 3.1 (405B) dengan prompt paling informatif, diikuti oleh Llama 3.3 (70B). Berdasarkan tren yang diamati, ketika menggunakan prompt yang kompleks dan panjang (MD V4), model bahasa yang lebih kompleks umumnya mengarah pada kinerja yang lebih baik di seluruh metrik. Namun, ini sensitif terhadap jenis informasi yang ditambahkan.’

Kinerja ditingkatkan ketika penghargaan cast dimasukkan sebagai bagian dari prompt – dalam hal ini, jumlah penghargaan utama yang diterima oleh lima aktor teratas dalam setiap film. Metadata yang lebih kaya ini merupakan bagian dari konfigurasi prompt paling detail, mengungguli versi yang lebih sederhana yang menghilangkan pengakuan cast. Keuntungan ini paling jelas pada model yang lebih besar, Llama 3.1 (405B) dan 3.3 (70B), keduanya menunjukkan akurasi prediktif yang lebih kuat ketika diberikan sinyal tambahan ini tentang prestise dan familiaritas audiens.

Sebaliknya, model terkecil, Llama 3.1 (8B), menunjukkan kinerja yang ditingkatkan ketika prompt menjadi sedikit lebih detail, berkembang dari genre ke sinopsis, tetapi menurun ketika lebih banyak bidang ditambahkan, menunjukkan bahwa model kekurangan kapasitas untuk mengintegrasikan prompt yang kompleks secara efektif, mengarah pada generalisasi yang lebih lemah.

Ketika prompt dibatasi pada genre saja, semua model underperformed dibandingkan dengan baseline, menunjukkan bahwa metadata yang terbatas tidak cukup untuk mendukung prediksi yang bermakna.

Kesimpulan

LLMs telah menjadi anak emas untuk AI generatif, yang mungkin menjelaskan mengapa mereka digunakan dalam area di mana metode lain bisa lebih sesuai. Meskipun demikian, masih banyak yang belum kita ketahui tentang apa yang bisa mereka lakukan di berbagai industri, sehingga masuk akal untuk mencoba mereka.

Di kasus ini, seperti di pasar saham dan peramalan cuaca, hanya ada batasan tertentu sejauh mana data historis dapat menjadi dasar prediksi masa depan. Dalam kasus film dan acara TV, metode pengiriman sekarang sasaran yang bergerak, berbeda dengan periode 1978-2011, ketika kabel, satelit, dan media portabel (VHS, DVD, dll.) mewakili serangkaian gangguan historis yang bertransisi atau berkembang.

Norak, tidak ada metode prediksi yang dapat memperhitungkan sejauh mana keberhasilan atau kegagalan produksi lain dapat mempengaruhi kelayakan properti yang diusulkan – dan yet ini sering terjadi di industri film dan TV, yang suka menunggangi tren.

Namun, ketika digunakan dengan bijak, LLMs bisa membantu memperkuat sistem rekomendasi selama fase cold-start, menawarkan dukungan yang berguna di seluruh metode prediktif.

Publikasi pertama pada Selasa, 6 Mei 2025