Zararlı Video İçeriklerini Film Fragmanları ve Makine Öğrenimi ile Tanıma

İsveç Medya Konseyi’nden bir araştırma makalesi, potansiyel olarak zararlı içerikleri otomatik olarak tanımlamak için yeni bir yaklaşım öneriyor. Bu yaklaşım, ses ve video içeriğini ayrı ayrı ele alıyor ve insan tarafından etiketlenmiş verileri, rahatsız edici materyal için rehber olarak kullanıyor.

Bu Zararlı mı? Video İçeriklerinden Zararlılık Derecelendirmelerini Öngörmeyi Öğrenme adlı makale, makine öğrenimi sistemlerinin bir sahnenin tüm bağlamını dikkate alması gerektiğini ve masum içeriklerin (örneğin, komik veya hiciv içerik) daha az gelişmiş ve çok modlu bir video analizi yaklaşımında zararlı olarak yanlış yorumlanabileceğini vurguluyor. Bu, bir film müziğinin sıklıkla beklenmedik şekillerde kullanıldığı, izleyiciyi rahatsız etmek veya rahatlatmak için kullanıldığı ve görsel bileşenden ziyade bir karşıpunkt olarak kullanıldığı için.

Potansiyel Olarak Zararlı Videoların Veri Kümesi

Araştırmacılar, bu sektördeki faydalı gelişmelerin, filmlerin telif hakkı koruması nedeniyle engellendiğini, bu da genel açık kaynaklı veri kümelerinin oluşturulmasını sorunlu hale getirdiğini belirtiyorlar. Ayrıca, önceki deneylerin, tam uzunlukta filmler için etiketlerin azlığından dolayı veri katkılarını basitleştirdiğini veya yalnızca veriğin belirli bir yönüne odaklandığını, örneğin baskın renkler veya diyalog analizi gibi.

Bu sorunu çözmek için araştırmacılar, 4000 video klipten oluşan bir veri kümesi derlediler. Bu klipler, yaklaşık on saniye uzunluğunda film fragmanlarından oluşuyor ve İsveç’te yeni filmler için derecelendirme uygulayan profesyonel film sınıflandırıcıları tarafından etiketlendi. Bu sınıflandırıcıların çoğu, çocuk psikolojisi alanında profesyonel niteliklere sahip.

İsveç film sınıflandırma sisteminde, “zararlı” içerik, çocuklarda endişe, korku ve diğer olumsuz etkiler oluşturma olasılığına göre tanımlanıyor. Araştırmacılar, bu derecelendirme sisteminin, bilim kadar sezgi ve içgüdüye dayandığını ve “zararlı içerik” tanımının parametrelerinin, otomatik bir sisteme aktarılabilecek şekilde nicelendirilmesinin zor olduğunu belirtiyorlar.

Zarar Tanımlama

Makale, daha önceki makine öğrenimi ve algoritmik sistemlerin, bu zorluğu ele alırken, belirli özellikler tespit etme kriterlerini kullandığını, bunların arasında kan ve alevlerin görsel tespiti, patlama sesi ve çekim uzunluğu sıklığı gibi kısıtlı zararlı içerik tanımlarının bulunduğunu ve çok alanlı bir yaklaşımın, otomatik zararlı içerik derecelendirmesi için daha iyi bir metodoloji sunabileceğini gözlemliyor.

İsveçli araştırmacılar, Kinetics-400 insan hareketi benchmark veri kümesi üzerinde 8×8 50 katmanlı bir sinir ağı modeli eğitti ve video ve ses tahminlerini birleştirmek için bir mimari tasarladı.

Aslında, fragmanların kullanılması, bu tür bir veri kümesinin oluşturulması için üç sorunu çözüyor: telif hakkı sorunlarını ortadan kaldırıyor; fragmanların (orijinal filmlerle karşılaştırıldığında) artan turbulans ve daha yüksek çekim sıklığı, daha yüksek bir etiketleme sıklığına izin veriyor; ve bir filmin tamamındaki düşük şiddet veya rahatsız edici içerik sıklığı, veri kümesini dengesizleştirmeyecek ve yanlışlıkla çocuklar için uygun olarak sınıflandırılmayacak.

Sonuçlar

Model eğitildikten sonra, İsveçli araştırmacılar sistemi video kliplerle test etti.

The Deep (2012) filminin bu fragmanında, sistemi test etmek için kullanılan iki model (rastgele örneklenen etiketler ve olasılıksal etiketler), filmi 11 yaş ve üzeri izleyiciler için uygun olarak başarıyla sınıflandırdı.

Kaynak: https://arxiv.org/pdf/2106.08323.pdf

Discarnate (2018) filminin bir sahnesinde, canavar bir antagonist tanıtıldığında, çift çerçeveli çerçeve novamente doğru şekilde hedef yaş aralığını 11+/15+ olarak tahmin etti.

Ancak, A Second Chance (2014) filminin fragmanından bir klibin sunulması daha büyük bir zorluk teşkil etti, çünkü model, sahneyi “BT” (evrensel olarak kabul edilebilir) olarak sınıflandıran insan etiketleriyle anlaşamadı. Aslında, algoritma, insan değerlendiricilerin atfetmediği potansiyel zararları tespit etti.

Araştırmacılar, sistem için yüksek bir doğruluk puanı bildirseler de, bazı başarısızlıklar meydana geldi, örneğin City State (2011) filminin bir sahnesi, bir tutuklu çıplak adamın tüfekle tehdit edildiği bir sahne.

Bu durumda, sistem, sahneye 11+ derecesi verdi, insan etiketleriyle çelişti.

Niyet ve Zararlılık Arasındaki Uyumsuzluk

Makale, Paydirt (2020) filminin fragmanından bir klibi değerlendirirken, sistemın görsel ve dilbilimsel yönlerden “evrensel” bir derecelendirme atadığını, ancak tehdit edici müziğin kullanıldığı bir sahnede karışıklık yaşadığını belirtiyor. Bu müzik, hiciv bir bağlamda olabilir.

Benzer şekilde, For Sama (2019) filminin fragmanında, tehdit edici müzik içeriği, görsel içerikle uyuşmuyor ve sistem, her iki içeriği de uniform bir şekilde değerlendirmekte zorluk yaşıyor.

Son olarak, sistem, Virgin Mountain (2015) filminin bir fragmanında, bazı tehdit edici görsel ipuçlarının (örneğin, kırık bir pencere) müzik tarafından zayıflatıldığı bir sahneyi doğru şekilde gezinmeyi başardı. Bu nedenle, çerçeve doğru şekilde klibin “evrensel” (BT) olarak derecelendirildiğini tahmin etti.

Araştırmacılar, bu sistemin yalnızca çocuklara odaklandığını, sonuçların diğer izleyici türlerine genellemesinin muhtemel olmadığını belirtiyorlar. Ayrıca, zararlı içeriği bu şekilde kodlamanın, algoritmik derecelendirme sistemlerinin daha az öngörülemez olabileceğini, ancak bu tür yaklaşımların geliştirilmesinde istenmeyen fikir baskısına neden olabileceğini de not ediyorlar:

‘İçeriğin zararlı olup olmadığını değerlendirmek bir nazik meseledir. Bilgi özgürlüğü ile hassas grupları koruma arasında önemli bir denge vardır. Bu çalışmanın, kullandığımız kriterleri değerlendirmek için mümkün olduğunca şeffaf olduğunu düşünüyoruz. Ayrıca, zararlılığı uygunluktan ayırmak, zararlı içerik sınıflandırmasını daha nesnel hale getirmek için önemli bir adım olduğuna inanıyoruz.

‘… Zararlı içeriği tespit etmek, YouTube gibi çevrimiçi platformlar için de ilgidir. Bu platformlarda, bilgi özgürlüğü ile koruma arasındaki denge daha da önemli hale gelir ve algoritmaların özel doğası tarafından daha da karmaşık hale gelir.’