Usando IA para Prever um Filme de Grande Sucesso

Embora o cinema e a televisão sejam frequentemente vistos como indústrias criativas e abertas, elas têm sido historicamente avessas a riscos. Os altos custos de produção (que podem perder a vantagem de locais mais baratos no exterior, pelo menos para projetos dos EUA) e um cenário de produção fragmentado tornam difícil para as empresas independentes absorver uma perda significativa.

Portanto, ao longo da última década, a indústria tem demonstrado um interesse crescente em saber se o aprendizado de máquina pode detectar tendências ou padrões na forma como o público responde a projetos de filmes e televisão propostos.

As principais fontes de dados ainda são o sistema Nielsen (que oferece escala, embora suas raízes estejam na TV e publicidade) e métodos baseados em amostras, como grupos focais, que trocam escala por demografia curada. Esta última categoria também inclui feedback de cartões de pontuação de prévias de filmes gratuitos – no entanto, nesse ponto, a maior parte do orçamento de uma produção já foi gasta.

A Teoria do Grande Sucesso

Inicialmente, os sistemas de ML utilizaram métodos de análise tradicionais, como regressão linear, K-Nearest Neighbors, Stochastic Gradient Descent, Decision Tree e Florestas, e Redes Neurais, geralmente em combinações próximas ao estilo de análise estatística pré-IA, como uma iniciativa de 2019 da Universidade da Flórida Central para prever shows de TV bem-sucedidos com base em combinações de atores e escritores (entre outros fatores):

Um estudo de 2018 avaliou o desempenho de episódios com base em combinações de personagens e/ou escritor (a maioria dos episódios foi escrita por mais de uma pessoa). Fonte: https://arxiv.org/pdf/1910.12589

O trabalho mais relevante relacionado, pelo menos aquele que é implantado no mundo real (embora frequentemente criticado) está no campo de sistemas de recomendação:

Um pipeline típico de recomendação de vídeo. Os vídeos no catálogo são indexados usando recursos que podem ser anotados manualmente ou extraídos automaticamente. As recomendações são geradas em duas etapas, primeiro selecionando vídeos candidatos e, em seguida, classificando-os de acordo com um perfil de usuário inferido a partir de preferências de visualização. Fonte: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

No entanto, essas abordagens analisam projetos que já são bem-sucedidos. No caso de novos shows ou filmes, não está claro que tipo de verdade fundamental seria mais aplicável – não menos porque as mudanças no gosto do público, combinadas com melhorias e aumentos das fontes de dados, significam que décadas de dados consistentes geralmente não estão disponíveis.

Isso é um exemplo do problema de início a frio, onde os sistemas de recomendação devem avaliar candidatos sem dados de interação anteriores. Nesses casos, o filtragem colaborativa tradicional quebra, porque depende de padrões no comportamento do usuário (como visualizar, avaliar ou compartilhar) para gerar previsões. O problema é que, no caso da maioria dos novos filmes ou shows, ainda não há feedback suficiente do público para apoiar esses métodos.

Comcast Prever

Um novo artigo da Comcast Technology AI, em associação com a Universidade George Washington, propõe uma solução para esse problema, solicitando um modelo de linguagem com metadados estruturados sobre filmes não lançados.

As entradas incluem elenco, gênero, sinopse, classificação de conteúdo, humor e prêmios, com o modelo retornando uma lista classificada de prováveis futuros sucessos.

Os autores usam a saída do modelo como um substituto para o interesse do público quando não há dados de engajamento disponíveis, esperando evitar viés inicial em direção a títulos que já são bem conhecidos.

O artigo muito curto (três páginas), intitulado Prever Sucessos de Filmes Antes que Eles Aconteçam com LLMs, vem de seis pesquisadores da Comcast Technology AI e um da GWU, e afirma:

‘Nossos resultados mostram que os LLMs, ao usar metadados de filmes, podem superar significativamente as linhas de base. Essa abordagem pode servir como um sistema assistido para vários casos de uso, permitindo a pontuação automática de grandes volumes de novo conteúdo lançado diariamente e semanalmente.

‘Ao fornecer insights antecipados antes que equipes editoriais ou algoritmos tenham acumulado dados de interação suficientes, os LLMs podem agilizar o processo de revisão de conteúdo.

‘Com melhorias contínuas na eficiência dos LLMs e o surgimento de agentes de recomendação, os insights deste trabalho são valiosos e adaptáveis a uma ampla gama de domínios.’

Se a abordagem se provar robusta, ela pode reduzir a dependência da indústria em métricas retrospectivas e títulos fortemente promovidos, introduzindo uma maneira escalável de sinalizar conteúdo promissor antes do lançamento. Assim, em vez de esperar que o comportamento do usuário sinalize a demanda, as equipes editoriais poderiam receber previsões antecipadas de interesse do público, potencialmente redistribuindo a exposição em uma gama mais ampla de novos lançamentos.

Método e Dados

Os autores descrevem um fluxo de trabalho em quatro etapas: construção de um conjunto de dados dedicado a partir de metadados de filmes não lançados; o estabelecimento de um modelo de linha de base para comparação; a avaliação de LLMs apropriados usando tanto raciocínio de linguagem natural quanto previsão baseada em incorporação; e a otimização de saídas por meio de engenharia de prompts em modo gerativo, usando o Llama 3.1 e 3.3 da Meta.

Desde que, os autores afirmam, nenhum conjunto de dados publicamente disponível oferecia uma maneira direta de testar sua hipótese (porque a maioria das coleções existentes antecede os LLMs e carece de metadados detalhados), eles construíram um conjunto de dados de referência a partir da plataforma de entretenimento da Comcast, que serve dezenas de milhões de usuários em interfaces diretas e de terceiros.

O conjunto de dados acompanha filmes recentemente lançados e se eles mais tarde se tornaram populares, com popularidade definida por meio de interações do usuário.

A coleção se concentra em filmes em vez de séries, e os autores afirmam:

‘Nos concentramos em filmes porque eles são menos influenciados por conhecimento externo do que as séries de TV, melhorando a confiabilidade dos experimentos.’

As etiquetas foram atribuídas analisando o tempo que levou para um título se tornar popular em diferentes janelas de tempo e tamanhos de lista. O LLM foi solicitado com campos de metadados como gênero, sinopse, classificação, era, elenco, equipe, humor, prêmios e tipos de personagens.

Para comparação, os autores usaram duas linhas de base: uma ordem aleatória; e um modelo de Incorporação Popular (PE), que vamos discutir em breve.

O projeto usou grandes modelos de linguagem como o método de classificação principal, gerando listas ordenadas de filmes com pontuações de popularidade prevista e justificativas acompanhantes – e essas saídas foram moldadas por estratégias de engenharia de prompts projetadas para guiar as previsões do modelo usando metadados estruturados.

A estratégia de solicitação moldou o modelo como um ‘assistente editorial’ designado para identificar quais filmes futuros eram mais prováveis de se tornar populares, com base apenas em metadados estruturados, e, em seguida, tarefa de reorganizar uma lista fixa de títulos sem introduzir novos itens, e retornar a saída no formato JSON.

Cada resposta consistia em uma lista classificada, pontuações de popularidade atribuídas, justificativas para as classificações e referências a qualquer exemplo anterior que influenciou o resultado. Esses vários níveis de metadados tinham como objetivo melhorar a compreensão contextual do modelo e sua capacidade de antecipar tendências futuras do público.

Testes

O experimento seguiu duas etapas principais: inicialmente, os autores testaram várias variantes do modelo para estabelecer uma linha de base, envolvendo a identificação da versão que se saiu melhor do que uma abordagem de ordem aleatória.

Em seguida, eles testaram grandes modelos de linguagem no modo gerativo, comparando sua saída com uma linha de base mais forte, em vez de uma classificação aleatória, aumentando a dificuldade da tarefa.

Isso significou que os modelos tiveram que fazer melhor do que um sistema que já mostrava alguma capacidade de prever quais filmes se tornariam populares. Como resultado, os autores afirmam, a avaliação refletiu melhor as condições do mundo real, onde as equipes editoriais e os sistemas de recomendação raramente escolhem entre um modelo e a chance, mas entre sistemas concorrentes com diferentes níveis de capacidade de previsão.

A Vantagem da Ignorância

Uma restrição importante nesse cenário foi o hiato de tempo entre o corte de conhecimento dos modelos e as datas de lançamento reais dos filmes. Como os modelos de linguagem foram treinados em dados que terminavam de seis a doze meses antes que os filmes se tornassem disponíveis, eles não tiveram acesso a informações pós-lançamento, garantindo que as previsões fossem baseadas inteiramente em metadados e não em qualquer resposta do público aprendida.

Avaliação da Linha de Base

Para construir uma linha de base, os autores geraram representações semânticas de metadados de filmes usando três modelos de incorporação: BERT V4; Linq-Embed-Mistral 7B; e Llama 3.3 70B, quantizado para precisão de 8 bits para atender às restrições do ambiente experimental.

Linq-Embed-Mistral foi selecionado para inclusão devido à sua posição superior na leaderboard do MTEB (Massive Text Embedding Benchmark).

Cada modelo produziu incorporações de vetores de filmes candidatos, que foram comparados à incorporação média dos cem títulos mais populares das semanas que antecederam o lançamento de cada filme.

A popularidade foi inferida usando similaridade coseno entre essas incorporações, com pontuações de similaridade mais altas indicando apelo previsto mais alto. A precisão de classificação de cada modelo foi avaliada medindo o desempenho contra uma linha de base de ordem aleatória.

Melhoria de desempenho dos modelos de Incorporação Popular em comparação com uma linha de base aleatória. Cada modelo foi testado usando quatro configurações de metadados: V1 inclui apenas gênero; V2 inclui apenas sinopse; V3 combina gênero, sinopse, classificação de conteúdo, tipos de personagens, humor e era de lançamento; V4 adiciona elenco, equipe e prêmios à configuração V3. Os resultados mostram como metadados de entrada mais ricos afetam a precisão de classificação.

Os resultados (mostrados acima) demonstram que o BERT V4 e o Linq-Embed-Mistral 7B entregaram as melhorias mais fortes na identificação dos três títulos mais populares, embora ambos tenham ficado ligeiramente aquém na previsão do item mais popular.

O BERT foi finalmente selecionado como o modelo de linha de base para comparação com os LLMs, pois sua eficiência e ganhos gerais superaram suas limitações.

Avaliação do LLM

Os pesquisadores avaliaram o desempenho usando duas abordagens de classificação: par a par e lista a lista. A classificação par a par avalia se o modelo ordena corretamente um item em relação a outro; e a classificação lista a lista considera a precisão da lista ordenada completa de candidatos.

Essa combinação permitiu que os pesquisadores avaliassem não apenas se pares de filmes foram classificados corretamente (precisão local), mas também como bem a lista completa de candidatos refletia a ordem de popularidade real (precisão global).

Modelos completos, não quantizados, foram empregados para evitar perda de desempenho, garantindo uma comparação consistente e reprodutível entre as previsões baseadas em LLM e as linhas de base baseadas em incorporação.

Métricas

Para avaliar como eficazmente os modelos de linguagem previram a popularidade do filme, tanto métricas baseadas em classificação quanto métricas baseadas em classificação foram usadas, com atenção particular para identificar os três títulos mais populares.

Quatro métricas foram aplicadas: Precisão@1 mediu com que frequência o item mais popular apareceu na primeira posição; Reciprocal Rank capturou quão alto o item mais popular realmente classificado na lista prevista, tomando o inverso de sua posição; Normalized Discounted Cumulative Gain (NDCG@k) avaliou quão bem a classificação completa se alinhava com a popularidade real, com pontuações mais altas indicando melhor alinhamento; e Recall@3 mediu a proporção de títulos realmente populares que apareceram nas três primeiras previsões do modelo.

Como a maioria do engajamento do usuário ocorre perto do topo das listas classificadas, a avaliação se concentrou em valores mais baixos de k, para refletir casos de uso práticos.

Melhoria de desempenho dos grandes modelos de linguagem sobre o BERT V4, medida como ganhos percentuais em métricas de classificação. Os resultados foram médios de dez execuções por combinação de modelo-prompt, com os dois principais valores destacados. Os números relatados refletem a melhoria percentual média em todas as métricas.

O desempenho do modelo Llama 3.1 (8B), 3.1 (405B) e 3.3 (70B) foi avaliado medindo melhorias de métricas em relação à linha de base BERT V4 estabelecida anteriormente. Cada modelo foi testado usando uma série de prompts, variando de minimais a ricos em informações, para examinar o efeito do detalhe da entrada na qualidade da previsão.

Os autores afirmam:

‘O melhor desempenho é alcançado ao usar o Llama 3.1 (405B) com o prompt mais informativo, seguido pelo Llama 3.3 (70B). Com base na tendência observada, ao usar um prompt complexo e longo (MD V4), um modelo de linguagem mais complexo geralmente leva a um desempenho melhorado em várias métricas. No entanto, é sensível ao tipo de informação adicionada.’

A melhoria do desempenho ocorreu quando prêmios do elenco foram incluídos como parte do prompt – nesse caso, o número de prêmios importantes recebidos pelos cinco principais atores em cada filme. Esses metadados mais ricos foram parte da configuração de prompt mais detalhada, superando uma versão mais simples que excluía o reconhecimento do elenco. O benefício foi mais evidente nos modelos maiores, Llama 3.1 (405B) e 3.3 (70B), ambos mostrando uma precisão de previsão mais forte quando receberam esse sinal adicional de prestígio e familiaridade do público.

Em contraste, o menor modelo, Llama 3.1 (8B), mostrou melhoria no desempenho à medida que os prompts se tornavam ligeiramente mais detalhados, progredindo de gênero para sinopse, mas declinou quando mais campos foram adicionados, sugerindo que o modelo carecia da capacidade de integrar prompts complexos de forma eficaz, levando a uma generalização mais fraca.

Quando os prompts foram restritos ao gênero apenas, todos os modelos se saíram pior do que a linha de base, demonstrando que metadados limitados eram insuficientes para apoiar previsões significativas.

Conclusão

Os LLMs se tornaram o filho pródigo da IA gerativa, o que pode explicar por que eles estão sendo usados em áreas onde outros métodos poderiam ser mais adequados. Mesmo assim, ainda há muito que não sabemos sobre o que eles podem fazer em diferentes indústrias, então faz sentido dar uma chance a eles.

Nesse caso específico, assim como nos mercados de ações e previsão do tempo, há apenas uma extensão limitada na qual os dados históricos podem servir como base para previsões futuras. No caso de filmes e shows de TV, o próprio método de entrega agora é um alvo móvel, em contraste com o período entre 1978-2011, quando cabo, satélite e mídia portátil (VHS, DVD, etc.) representavam uma série de interrupções históricas transitórias ou evolutivas.

Nem pode qualquer método de previsão levar em conta a extensão na qual o sucesso ou fracasso de outras produções pode influenciar a viabilidade de uma propriedade proposta – e, no entanto, isso é frequentemente o caso na indústria de cinema e TV, que ama surfar nas tendências.

No entanto, quando usados de forma pensada, os LLMs podem ajudar a fortalecer os sistemas de recomendação durante a fase de início a frio, oferecendo suporte útil em uma variedade de métodos de previsão.

Publicado pela primeira vez na terça-feira, 6 de maio de 2025