Vahingollisen videosisällön tunnistaminen elokuvatrailereiden ja koneoppimisen avulla

Tutkimusraportti Ruotsin medianeuvostolta esittää uuden lähestymistavan automaattiseen “vahingollisen sisällön” tunnistamiseen, jossa huomioidaan sekä ääni- että videosisältö erikseen, ja käytetään ihmisten annotoimaa dataa ohjaavaksi indeksiksi materiaalille, joka saattaa häiritä katsojia.

Raportissa Onko tämä vahingollista? Oppiminen vahingollisuusluokituksen ennustamiseen videosta, tutkimuksessa korostetaan koneoppimisjärjestelmien tarvetta ottaa huomioon koko kohtauksen konteksti, ja esitetään useita tapoja, joilla harmiton sisältö (kuten huumorin tai satiirin sisältävä sisältö) voisi väärin tulkita vahingolliseksi vähemmän monipuolisessa ja monitieteisessä lähestymistavassa videoanalyysiin – ei ainakaan siksi, että elokuvan musiikkiraita käytetään usein odottamattomin tavoin, joko häirintään tai lohduttamiseen, ja vastakohtana visuaaliseen komponenttiin.

Mahdollisesti vahingollisten videoiden tietokanta

Tutkijat toteavat, että tämän alan hyödylliset kehitysaskelit ovat olleet estyneitä elokuvien tekijänoikeussuojauksen vuoksi, joka tekee yleisten avoimen lähdekoodin tietokantojen luomisen ongelmalliseksi. He myös huomaavat, että aiemmat kokeet ovat kärsineet täysipainoisten elokuvien merkintöjen niukkuudesta, mikä on johtanut aikaisempiin yksinkertaistaviin tuloksiin tai tietyn aineiston, kuten hallitsevien värien tai dialogianalyysin, korostamiseen.

Tätä varten tutkijat ovat koonneet videoaineiston 4000 videoklipistä, jotka on leikattu noin kymmenen sekunnin mittaisiksi paloiksi, ja joita on annotoitu ammattimaisesti elokuvien luokittelijat, jotka valvovat uusien elokuvien luokittelua Ruotsissa, useat heistä ammattitutkinnolla lastenpsykologiassa.

Ruotsalaisen elokuvien luokittelujärjestelmän mukaan “vahingollinen” sisältö määritellään sen mahdollisen kykynsä perusteella aiheuttaa ahdistusta, pelkoa ja muita negatiivisia vaikutuksia lapsiin. Tutkijat toteavat, että koska tämä luokittelujärjestelmä perustuu yhtä lailla intuitioon ja tieteeseen, “vahingollisen sisällön” määrittelyyn liittyvät parametriarvot ovat vaikeat määritellä ja siirtää automaattiseen järjestelmään.

Vahingollisuuden määrittely

Raportissa todetaan, että aikaisemmat koneoppimis- ja algoritmiset järjestelmät, jotka ovat käsitelleet tätä haasteita, ovat käyttäneet tiettyjä osia havaitsemista kriteereinä, kuten verenvärien visuaalista havaitsemista, räjähdysäänten kuulemista ja kuvausvälien taajuuden määrittelyä, ja että monialainen lähestymistapa näyttää tarjoavan paremman metodologian automaattiseen vahingollisen sisällön luokitteluun.

Ruotsalaiset tutkijat kouluttivat 8×8 50-kerroksisen neuroniverkkomallin Kinetics-400 ihmisen liikkeen benchmark tietokannassa, ja loivat arkkitehtuurin, joka suunniteltiin yhdistämään video- ja ääniprediktiot.

Käytännössä trailerien käyttö ratkaisee kolme ongelmaa tällaisen tietokannan luomisessa: se poistaa tekijänoikeusongelmat; trailerien lisääntynyt turbulenssi ja suurempi kuvausvälien taajuus (verrattuna alkuperäisiin elokuviin) mahdollistaa useammin annotointia; ja se varmistaa, että koko elokuvan matala väkivallan tai häiritsevän sisällön esiintyminen ei epätasapainuta tietokantaa ja luokittelisi sen vahingossa lasten sopivaksi.

Tulokset

Kun malli oli koulutettu, ruotsalaiset tutkijat testasivat järjestelmää videokeikoilla.

Tässä Syvyyden (2012) trailerissa käytettiin kaksi mallia järjestelmän testaamiseen (satunnaisesti näytetyt merkinnät vs. todennäköisyysmerkinnät) ja luokittelivat elokuvan onnistuneesti yli 11-vuotiaiden katsojien luokkaan.

Lähde: https://arxiv.org/pdf/2106.08323.pdf

Discarnate (2018) -kohtauksessa, jossa esitellään hirviömäinen vastustaja, kaksiosainen kehys arvioi oikein kohderyhmäikärajan 11+/15+.

Kuitenkin Toinen mahdollisuus (2014) -traileri esitti suuremman haasteen, koska malli ei pystynyt sopimaan ihmisten annotaatioihin kohtauksesta, joka oli luokiteltu “BT” (yleisesti hyväksytty). Käytännössä algoritmi havaitsee mahdollisen vahingon, jota ihmiset arvioitsijat eivät ole määritelleet sille.

Vaikka tutkijat vakuuttavat järjestelmän korkeasta osumatarkkuudesta, joitakin epäonnistumisia tapahtui, kuten tässä City State (2011) -klipissä, jossa esiintyy alastomana pidätetty mies, jota uhataan kiväärillä.

Tässä tapauksessa järjestelmä on määritellyt 11+ -luokan klipille, toisin kuin ihmisten annotaatiot.

Tarkoituksen ja vahingollisuuden epäsovussuhde

Raportissa todetaan, että Paydirt (2020) -traileri arvioi oikein “yleisen” luokan klipille visuaalisten ja kielellisten asioiden perusteella (vaikka hahmot keskustelivat tuliaseista, tarkoitus on komedia), mutta se hämmästyy uhkaavasta musiikista, jolla saattaa olla satiirinen konteksti.

Vastaavasti For Sama (2019) -elokuvan trailerissa uhkaava musiikkityyli ei vastaa visuaalista sisältöä, ja järjestelmä kokee jälleen vaikeuksia erottamaan nämä kaksi komponenttia, jotta voidaan tehdä yhdenmukainen arvio, joka kattaa sekä ääni- että videosisällön.

Lopulta järjestelmä navigoi oikein ääni/video-epäsovussuhteessa Neitsytvuori (2015) -traileri klipissä, joka sisältää joitakin uhkaavia visuaalisia vihjeitä (esim. rikkoutunut ikkuna), jotka vähennetään musiikin avulla. Näin ollen kehys arvioi oikein, että klippi on “yleinen” (BT).

Tutkijat myöntävät, että tällainen järjestelmä on yksinomaan lapsille suunnattu, ja tulokset eivät todennäköisesti yleisty muille katsojaryhmille. He ehdottavat myös, että “vahingollisen sisällön” koodaus tällä tavoin voi johtaa algoritmisiin luokittelujärjestelmiin, jotka ovat vähemmän ennalta-arvattavissa, mutta huomauttavat, että tällaisen lähestymistavan kehittäminen voi johtaa ei-toivottuihin ideoiden tukahduttamiseen:

‘Sisällön vahingollisuuden arviointi on hienovarainen asia. On olemassa tärkeä tasapainoilu vapauden ja suojelun välillä. Uskomme, että tämä työ edistää oikeaan suuntaan olemalla mahdollisimman avoin kriteereistä, joita käytetään vahingollisuuden arviointiin. Lisäksi uskomme, että vahingollisuuden ja sopivuuden erottaminen on tärkeä askel vahingollisen sisällön luokittelun objektiivisemmaksi tekemiseksi.

‘…Vahingollisen sisällön havaitseminen on myös mielenkiintoista verkkopalustoille, kuten YouTube. Näillä alustoilla tasapainoilu vapauden ja suojelun välillä tulee entistä tärkeämmäksi ja se on lisäksi monimutkaisempaa algoritmien omistajuuden vuoksi.’