Yapay Zeka Kullanarak Bir Blockbuster Filmi Tahmin Etmek

Film ve televizyon endüstrileri genellikle yaratıcı ve açık uçlu olarak görülse de, uzun süredir riskten kaçınmaya eğilimliler. Yüksek üretim maliyetleri (ki bunlar yakında daha ucuz yabancı lokasyonların avantajını kaybetebilir, en azından ABD projeleri için) ve parçalanmış bir üretim manzarası, bağımsız şirketlerin önemli bir kayba tahammül etmesini zorlaştırıyor.

Dolayısıyla, son on yılda endüstri, makine öğreniminin proposed film ve televizyon projelerine karşı izleyicilerin nasıl tepki verdiğine ilişkin eğilimleri veya kalıpları tespit edebileceği konusunda artan bir ilgi gösterdi.

Ana veri kaynakları hala Nielsen sistemi (ki bu, TV ve reklamcılık kökenli olmasına rağmen ölçek sunar) ve örnek tabanlı yöntemler gibi odak gruplarıdır; bunlar ölçek için demografiyi küratörlüğünü ticaret eder. Bu son kategori, ayrıca ücretsiz film ön izlemelerinden alınan puan kartı geri bildirimi de içerir – ancak bu noktada, bir üretimin bütçesinin çoğu zaten harcanmıştır.

‘Büyük Vuruş’ Teorisi/Teorileri

İlk olarak, ML sistemleri geleneksel analiz yöntemlerini kullandılar: doğrusal regresyon, K-En Yakın Komşular, Stokastik Gradient İnişi, Karar Ağacı ve Ormanları ve Sinir Ağları, genellikle pre-AI istatistiksel analiz tarzı, örneğin 2019 Üniversitesi Merkez Florida başarılı TV şovlarını tahmin etme girişimi aktörler ve yazarlar (diğer faktörler arasında) kombinasyonlarına dayanıyordu:

A 2018 study rated the performance of episodes based on combinations of characters and/or writer (most episodes were written by more than one person). Source: https://arxiv.org/pdf/1910.12589

En ilgili ilgili çalışma, en azından vahşide dağıtılan, öneri sistemleri alanındadır:

A typical video recommendation pipeline. Videos in the catalog are indexed using features that may be manually annotated or automatically extracted. Recommendations are generated in two stages by first selecting candidate videos and then ranking them according to a user profile inferred from viewing preferences. Source: https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1281614/full

Ancak, bu tür yaklaşımlar zaten başarılı projeleri analiz eder. Gelecek yeni şovlar veya filmler için, en uygun zemin gerçeğinin ne olacağı açık değildir – en azından kamu tadı değişiklikleri, veri kaynaklarının iyileştirmeleri ve artırımları ile birlikte, genellikle tutarlı verilerin on yıllarca mevcut olmaması nedeniyle.

Bu, soğuk başlangıç problemi bir örneğidir, burada öneri sistemleri, önceden etkileşim verisi olmadan adayları değerlendirmelidir. Bu durumlarda, geleneksel işbirliği süzgeci bozulur, çünkü kullanıcı davranışı kalıplarına (görme, puanlama veya paylaşma gibi) dayanarak tahminler üretmek için güvenir.

Comcast Tahmin Ediyor

Comcast Technology AI’dan, George Washington Üniversitesi ile birlikte, bu problema bir çözüm öneren yeni bir makale, yayımlanmamış filmler hakkında yapılandırılmış meta veri ile bir dil modelini uyaran.

Girdiler arasında oyuncu kadrosu, tür, özet, içerik derecesi, duygu ve ödüller bulunur ve model, olası gelecek hitlerinin sıralı bir listesini döndürür.

Yazarlar, model çıkışı, herhangi bir etkileşim verisi mevcut olmadığında, halkın ilgisini temsil etmek için kullanır ve önceden bilinen başlıklara yönelik erken yanlılığı önlemek umudu taşır.

Çok kısa (üç sayfalık) makale, Yayımlanmadan Önce Film Vurucularını LLM’ler ile Tahmin Etme adlı, altı Comcast Technology AI araştırmacısı ve bir GWU’dan gelir ve şöyle der:

‘Sonuçlarımız, LLM’lerin, film meta verilerini kullanarak, temel çizgileri önemli ölçüde aşabileceğini gösteriyor. Bu yaklaşım, çok sayıda yeni içeriğin günlük ve haftalık olarak yayımlanmasıyla otomatik puanlama için yardımcı bir sistem olarak hizmet verebilir.

‘Düzenleyici ekiplere veya algoritmaların yeterli etkileşim verisi biriktirmeden önce, LLM’ler içerik inceleme sürecini hızlandırabilir.

‘LLM verimliliğinde sürekli iyileştirmelerle ve öneri ajanlarının yükselişi ile, bu çalışmanın içgörülerinin çeşitli alanlara uyarlanabilir ve değerli olduğu kanıtlanmıştır.’

Yaklaşım dayanıklıysa, endüstrinin, geriye dönük ölçütlerine ve ağır tanıtım yapılan başlıklara olan bağımlılığını azaltabilir ve yayımlanmadan önce vaat edilen içeriği işaretlemek için ölçeklenebilir bir yol tanıyabilir. Böylece, düzenleyici ekipleri, kullanıcı davranışı talebi sinyal vermeden önce, meta veri tarafından yönlendirilen erken tahminler alabilir, potansiyel olarak yeni yayımların daha geniş bir yelpazesi arasında maruz kalma yeniden dağıtabilir.

Yöntem ve Veri

Yazarlar, dört aşamalı bir iş akışını açıklar: özel bir veritabanının yayımlanmamış film meta verisinden oluşturulması; bir temel modelin kurulması; LLM’lerin doğal dil akıl yürütme ve gömme tabanlı tahmin kullanarak değerlendirilmesi ve generatif modda Meta’nın Llama 3.1 ve 3.3 dil modelleri kullanılarak çıktıların optimizasyonu.

Testler

Deney, iki ana aşamaya sahiptir: ilk olarak, yazarlar birkaç model varyantını test etti, bir temel çizgiyi belirlemek için, rastgele sıralama yaklaşımından daha iyi performans gösteren sürümü belirlemek için.

İkincisi, büyük dil modellerini generatif modda test ettiler, daha güçlü bir temel çizgiye karşı, rastgele sıralama yerine, görevin zorluğunu artırarak.

Bilgisizliğin Avantajı

Bu kurulumda bir kısıtlama, modellerin bilgi kesme tarihi ile filmlerin gerçek yayımlanma tarihleri arasındaki zaman aralığıydı. Çünkü dil modelleri, filmler yayımlanmadan altı ila on iki ay önce sonlanan verilerle eğitildi, yayımlanma sonrası hiçbir bilgiye erişimi yoktu, böylece tahminlerin tamamen meta veriye dayandığını ve herhangi bir öğrenilmiş izleyici tepkisine dayanmadığını garantiledi.

Temel Çizgi Değerlendirmesi

Temel çizgi oluşturmak için, yazarlar, üç gömme modeli kullanarak film meta verilerinin anlamsal temsilini oluşturdular: BERT V4; Linq-Embed-Mistral 7B; ve Llama 3.3 70B, deneysel ortamın kısıtlamalarına uymak için 8-bit hassasiyete quantized.

Metrikler

LLM’lerin film popülaritesini ne kadar etkili bir şekilde tahmin ettiğini değerlendirmek için, hem sıralama tabanlı hem de sınıflandırma tabanlı metrikler kullanıldı, özellikle en popüler üç başlığın belirlenmesine dikkat edildi.

Dört metrik uygulandı: Doğruluk@1 en popüler öğenin ilk konumda ne sıklıkla göründüğünü ölçtü; Düzgün Sıralama tahmin edilen listede en üst gerçek öğenin ne kadar yüksek olduğunu yakaladı, konumunun tersini alarak; Normalleştirilmiş İndirgenmiş Birikimli Kazanç (NDCG@k) tüm sıralamanın gerçek popülariteye ne kadar iyi uyduğunu değerlendirdi, daha yüksek puanlar daha iyi hizalamayı gösteren; ve Geri Çağırma@3 modelin ilk üç tahmini içinde真正 popüler başlıkların oranını ölçtü.

Sonuç

LLM’ler, generatif AI’nin poster çocuğu haline geldiler, bu nedenle diğer yöntemlerin daha uygun olabileceği alanlarda kullanılıyorlar. Yine de, farklı endüstrilerde neler yapabileceğimiz hakkında hala çok şey bilmiyoruz, bu nedenle onlara bir şans vermek mantıklı.

Bu özel durumda, hisse senedi piyasaları ve hava tahmini gibi, tarihi veriler gelecekteki tahminlerin temelini oluşturmak için yalnızca sınırlı bir şekilde kullanılabilir. Film ve TV şovları için, teslimat yöntemi şimdi hedef tahtasıdır, 1978-2011 arasındaki döneme kıyasla, kablo, uydu ve taşınabilir medya (VHS, DVD vb.) bir dizi geçici veya gelişen tarihi kesintileri temsil eder.

Hiçbir tahmin yöntemi, diğer üretimler başarısı veya başarısızlığının önerilen bir özelliğin uygulanabilirliğini nasıl etkileyebileceğini hesaba katamaz – ve bu genellikle film ve TV endüstrisinde böyle olur, trendi sürmekten hoşlanır.

Yine de, dikkatli bir şekilde kullanıldığında, LLM’ler soğuk başlangıç aşamasında öneri sistemlerini güçlendirmeye yardımcı olabilir, çeşitli tahmin yöntemleri boyunca faydalı destek sunabilir.