Використання штучного інтелекту для передбачення блокбастера

Хоча фільми та телебачення часто розглядаються як творчі та відкриті галузі, вони довгий час були ризико-averse. Високі виробничі витрати (які можуть втрачати компенсуючу перевагу дешевих закордонних місць, принаймні для американських проектів) та фрагментована виробнича ландшафт роблять важким для незалежних компаній поглинати значну втрату.

Отже, за останні десять років галузь проявляє зростаючий інтерес до того, чи може машинне навчання виявити тенденції або закономірності у реакції аудиторії на запропоновані фільми та телевізійні проєкти.

Основними джерелами даних залишаються система Нільсена (яка пропонує масштаб, хоча її коріння лежить у телебаченні та рекламі) та методи, засновані на вибірці, такі як фокус-групи, які обмінюють масштаб на кураторські демографію. До цієї категорії також входять зворотні зв’язки зі скорінгової системи з вільних кінопереглядів – однак, на той час, більша частина виробничого бюджету вже витрачена.

Теорія “Большого Хіту”

Спочатку системи машинного навчання використовували традиційні методи аналізу, такі як лінійна регресія, K-Nearest Neighbors, Стохастичний спуск, Дерево рішень та Ліси, та Нейронні мережі, зазвичай у різних комбінаціях, ближчих до стилю до-штучного інтелекту статистичного аналізу, наприклад, університетської ініціативи Центральної Флориди прогнозування успішних телешоу на основі комбінацій акторів та сценаристів (серед інших факторів):

Дослідження 2018 року оцінило виконання епізодів на основі комбінацій персонажів та/або сценариста (більшість епізодів були написані більш ніж однією людиною). Джерело: https://arxiv.org/pdf/1910.12589

Найбільш актуальна пов’язана робота, принаймні та, яка використовується в дикій природі (хоча часто критикується), знаходиться в галузі систем рекомендацій:

Типовий відео-pipeline рекомендацій. Відео в каталозі індексуються за допомогою функцій, які можуть бути вручну анотовані або автоматично витягнуті. Рекомендації генеруються у два етапи: спочатку вибираються кандидатні відео, а потім ранжуються згідно з профілем користувача, витягнутим з переваг перегляду. Джерело: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Однак, такі підходи аналізують проєкти, які вже успішні. У випадку перспективних нових шоу або фільмів неясно, який вид ґрунтової правди буде найбільш придатним – не в останню чергу через зміни смаку публіки, в поєднанні з поліпшеннями та доповненнями джерел даних, що означають, що десятиліття послідовних даних зазвичай недоступні.

Це є випадком проблеми “холодного старту”, де системи рекомендацій повинні оцінювати кандидатів без будь-яких попередніх даних про взаємодію. У таких випадках традиційне колаборативне фільтрування розбивається, оскільки воно покладається на закономірності у поведінці користувачів (таких як перегляд, рейтинг або обмін) для генерації прогнозів. Проблема полягає в тому, що у випадку більшості нових фільмів або шоу ще немає достатньої зворотної зв’язку аудиторії для підтримки цих методів.

Comcast Predicts

Нова робота від Comcast Technology AI, у співпраці з Джорджтаунським університетом, пропонує рішення цієї проблеми, викликаючи мовну модель з структурованими метаданими про невипущені фільми.

Вхідні дані включають акторський склад, жанр, синопсис, рейтинг контенту, настрій та нагороди, а модель повертає ранжований список найбільш ймовірних майбутніх хітів.

Автори використовують вивід моделі як заміну інтересу аудиторії, коли немає даних про взаємодію, сподіваючись避нути ранню упередженість щодо титрів, які вже добре відомі.

Дуже коротка (тристорінкова) робота, озаглавлена Прогнозування кінематографічних хітів до їхнього виходу за допомогою LLM, надходить від шести дослідників Comcast Technology AI та одного від GWU, і заявляє:

‘Наші результати показують, що LLM, коли використовуються метадані фільмів, можуть суттєво перевершити базові показники. Цей підхід може служити допоміжною системою для кількох випадків використання, дозволяючи автоматичну оцінку великих обсягів нового контенту, випущеного щодня та щотижня.

‘Від надаючи ранні знання до того, як редакційні команди або алгоритми накопичать достатньо даних про взаємодію, LLM можуть оптимізувати процес перегляду контенту.

‘З безперервними поліпшеннями ефективності LLM та зростанням агентів рекомендацій, знання з цієї роботи є цінними та адаптованими до широкого спектра галузей.’

Якщо підхід виявиться надійним, він може зменшити залежність галузі від ретроспективних метрик та сильно промоційних титрів, вводячи масштабний спосіб виділення перспективного контенту до його виходу. Таким чином, замість того, щоб чекати на поведінку користувачів, щоб сигналізувати про попит, редакційні команди могли б отримувати ранні, метаданих-дрівенові прогнози інтересу аудиторії, потенційно перерозподіляючи експозицію по ширшому спектру нових випусків.

Метод і дані

Автори описують чотириетапний робочий процес: побудову спеціальної бази даних з невипущених метаданих фільмів; створення базової моделі для порівняння; оцінку відповідних LLM за допомогою природної мови та передбачення на основі вкладення; та оптимізацію виводу через інженерну підтримку в генеративному режимі, використовуючи Meta’s Llama 3.1 та 3.3 мовні моделі.

Оскільки, як заявляють автори, жодна публічна база даних не пропонувала прямого способу перевірити їхню гіпотезу (оскільки більшість існуючих колекцій передують LLM та thiếuнюють детальних метаданих), вони побудували бенчмарк-базу даних з розважальної платформи Comcast, яка обслуговує десятки мільйонів користувачів через прямий та сторонній інтерфейси.

База даних відстежує нововипущені фільми та те, чи вони пізніше стали популярними, з популярністю, визначеною через взаємодію користувачів.

Збірка зосереджена на фільмах, а не серіалах, і автори заявляють:

‘Ми зосередилися на фільмах, оскільки вони менше залежать від зовнішніх знань, ніж телесеріали, що покращує надійність експериментів.’

Мітки були призначені шляхом аналізу часу, необхідного для того, щоб титр став популярним протягом різних часових вікнів та списків. LLM була викликана метаданими, такими як жанр, синопсис, рейтинг, епоха, акторський склад, знімальна група, настрій, нагороди та типи персонажів.

Для порівняння автори використали два базові показники: випадкове впорядкування; та модель Popular Embedding (PE) (яку ми розглянемо трохи пізніше).

Проєкт використовував великі мовні моделі як основний метод ранжування, генеруючи впорядковані списки фільмів з передбачуваними популярними оцінками та супроводжуючими виправданнями – і ці виводи були сформовані стратегіями підтримки моделі, розробленими для керівництва передбаченнями моделі за допомогою структурованих метаданих.

Стратегія підтримки моделі була сформована як “редакційний асистент”, призначений для визначення того, які майбутні фільми найбільш ймовірно стануть популярними, виключно на основі структурованих метаданих, а потім завдання було переупорядкувати фіксований список титрів без введення нових елементів, а потім повернути вивід у форматі JSON.

Кожна відповідь складалася з ранжованого списку, призначених популярних оцінок, виправдань для ранжування та посилань на будь-які попередні приклади, які вплинули на результат. Ці багаторівневі метадані були призначені для покращення контекстного розуміння моделі та її здатності передбачати майбутні тенденції аудиторії.

Тести

Експеримент проходив у два основних етапи: спочатку автори протестували кілька варіантів моделі для встановлення базового показника, що включало визначення версії, яка виконувала краще, ніж випадкове впорядкування.

Другий етап включав тестування великих мовних моделей у генеративному режимі, порівнюючи їхній вивід з сильнішим базовим показником, а не з випадковим ранжуванням, підвищуючи складність завдання.

Це означало, що моделі мали виконувати краще, ніж система, яка вже показала певну здатність передбачати, які фільми стануть популярними. Таким чином, автори стверджують, оцінка краще відображала реальні умови, де редакційні команди та системи рекомендацій рідко вибирають між моделлю та випадком, а між конкуруючими системами з різним рівнем передбачувальної здатності.

Перевага невідання

Ключовим обмеженням цього налаштування була тимчасова пропазниця між даними моделі та фактичними датами виходу фільмів. Оскільки мовні моделі були треновані на даних, які закінчувалися шість до дванадцяти місяців до виходу фільмів, вони не мали доступу до пострелізних даних, забезпечуючи, що передбачення були засновані повністю на метаданих, а не на будь-якій вивченій реакції аудиторії.

Базова оцінка

Для створення базового показника автори згенерували семантичні представлення метаданих фільмів за допомогою трьох моделей вкладення: BERT V4; Linq-Embed-Mistral 7B; та Llama 3.3 70B, квантізовані до 8-бітної точності для задоволення обмежень експериментального середовища.

Linq-Embed-Mistral була вибрана для включення через свою позицію на лідерборді MTEB (Massive Text Embedding Benchmark).

Кожна модель генерувала вектори вкладення кандидатних фільмів, які потім порівнювалися зі середнім вкладенням ста найбільш популярних титрів з тижнів, що передували виходу кожного фільму.

Популярність була витягнута за допомогою косинусної подібності між цими вкладеннями, з вищими оцінками подібності, що вказують на вищу передбачувану привабливість. Точність ранжування кожної моделі оцінювалася шляхом вимірювання продуктивності проти випадкового порядку базового показника.

Покращення продуктивності моделей Popular Embedding порівняно з випадковим базовим показником. Кожна модель була протестована за допомогою чотирьох конфігурацій метаданих: V1 включає лише жанр; V2 включає лише синопсис; V3 поєднує жанр, синопсис, рейтинг контенту, типи персонажів, настрій та епоху виходу; V4 додає акторський склад, знімальну групу та нагороди до конфігурації V3. Результати показують, як багатіші метадані впливають на точність ранжування. Джерело: https://arxiv.org/pdf/2505.02693

Результати (показані вище) демонструють, що BERT V4 та Linq-Embed-Mistral 7B показали найкращі покращення у визначенні трьох найбільш популярних титрів, хоча обидві трохи не дотягнули до передбачення найбільш популярного предмета.

BERT був вибраний як базова модель для порівняння з LLM, оскільки його ефективність та загальні здобутки переважили його обмеження.

Оцінка LLM

Дослідники оцінювали продуктивність за допомогою двох підходів до ранжування: парного та списокового. Парне ранжування оцінює, чи правильно модель ранжує один предмет відносно іншого; а списокове ранжування розглядає точність всього впорядкованого списку кандидатів.

Ця комбінація дозволила оцінити не лише те, чи правильно модель ранжує окремі пари фільмів (локальна точність), але й те, наскільки добре весь список кандидатів відображає справжній порядок популярності (глобальна точність).

Повні, не-квантовані моделі були використані для запобігання втраті продуктивності, забезпечуючи послідовне та відтворюване порівняння між передбаченнями LLM та вкладення-базовими базовими показниками.

Метрики

Для оцінки того, наскільки ефективно мовні моделі передбачали популярність фільмів, були використані як ранжувальні, так і класифікаційні метрики, з особливим увагою на визначенні трьох найбільш популярних титрів.

Було застосовано чотири метрики: Точність@1 вимірювала, як часто найбільш популярний предмет з’являвся на першій позиції; Обернена ранжування захоплювала, наскільки високо найвищий фактичний предмет ранжувався у передбаченому списку, приймаючи обернену його позиції; Нормалізована дискретна кумулятивна вигода (NDCG@k) оцінювала, наскільки добре весь ранжований список відповідав фактичній популярності, з вищими оцінками, що вказують на кращу відповідність; та Recall@3 вимірювала пропорцію справді популярних титрів, що з’явилися у верхніх трьох передбаченнях моделі.

Оскільки більшість взаємодії користувачів відбувається біля верхівки ранжованих меню, оцінка була зосереджена на нижчих значеннях k, щоб відобразити практичні випадки використання.

Покращення продуктивності великих мовних моделей над BERT V4, виміряне як відсоткові здобутки через метрики ранжування. Результати були усереднені за десять запусків на кожну комбінацію моделі-підтримки, з двома верхніми значеннями, виділеними. Звітовані цифри відображають середнє відсоткове покращення через усі метрики.

Продуктивність моделей Llama 3.1 (8B), 3.1 (405B) та 3.3 (70B) була оцінена шляхом вимірювання покращення метрик відносно раніше встановленого базового показника BERT V4. Кожна модель була протестована за допомогою серії підтримок, від мінімальних до інформаційно-багатих, щоб вивчити вплив деталізації вхідних даних на якість передбачень.

Автори заявляють:

‘Найкраща продуктивність досягається при використанні Llama 3.1 (405B) з найбільш інформаційно-багатою підтримкою, за якою слідує Llama 3.3 (70B). На основі спостережуваної тенденції, коли використовується складна та довга підтримка (MD V4), більш складна мова модель загалом веде до покращення продуктивності через різні метрики. Однак це чутливо до типу інформації, яка додається.’

Продуктивність покращилася, коли до підтримки включалися нагороди акторського складу – у цьому випадку кількість основних нагород, отриманих п’ятьма найбільш високооплачуваними акторами в кожному фільмі. Ці багатіші метадані були частиною найбільш детальної конфігурації підтримки, перевершуючи простішу версію, яка виключала визнання акторського складу. Перевага була найбільш очевидною у більших моделях, Llama 3.1 (405B) та 3.3 (70B), обидві з яких показали сильнішу передбачувальну точність при наданні цього додаткового сигналу престижу та знайомства аудиторії.

Натомість, найменша модель, Llama 3.1 (8B), показала покращення продуктивності, коли підтримки стали трохи більш детальними, переходячи від жанру до синопсису, але погіршення, коли додавалися більше полів, вказуючи на те, що модель не мала здатності інтегрувати складні підтримки ефективно, що призвело до слабшої узагальнення.

Коли підтримки обмежувалися лише жанром, всі моделі показали гіршу продуктивність порівняно з базовим показником, демонструючи, що обмежені метадані були недостатніми для підтримки значимих передбачень.

Висновок

LLM стали постер-дитям для генерації штучного інтелекту, що може пояснити, чому їх застосовують у галузях, де інші методи могли б бути кращими. Однак усе ще багато чого ми не знаємо про те, що вони можуть зробити в різних галузях, тому має сенс дати їм шанс.

У цьому конкретному випадку, як і на фондових ринках та прогнозуванні погоди, існує лише обмежена міра, до якої історичні дані можуть служити основою для майбутніх передбачень. У випадку фільмів та телешоу спосіб доставки зараз рухомий ціль, на відміну від періоду між 1978-2011 роками, коли кабельне, супутникове та портативне медіа (VHS, DVD тощо) представляли собою серію тимчасових або еволюційних історичних порушень.

Ані одна методика передбачення не може врахувати ступінь, до якої успіх чи невдача інших виробництв може вплинути на життєздатність запропонованої власності – і все ж таки це часто трапляється в кіно- та телегалузі, яка любить кататися на хвилі.

Однак, якщо використовувати їх обдумано, LLM можуть допомогти посилити системи рекомендацій під час фази “холодного старту”, пропонуючи корисну підтримку через ряд передбачувальних методів.

Перше опубліковано вівторок, 6 травня 2025