Identifisering av skadelig videoinnhold med filmtrailere og maskinlæring

En forskningsrapport fra det svenske medierådet presenterer en mulig ny tilnærming til automatisk identifisering av “skadelig innhold”, ved å vurdere lyd- og videoinnhold separat, og bruke menneske-annotert data som en guide for materiale som kan forstyrre seerne.

Med tittelen Er dette skadelig? Læring til å forutsi skadelighetsvurderinger fra video, viser rapporten behovet for maskinlæringsystemer til å ta hensyn til hele konteksten av en scene, og viser de mange måtene på hvilken uskyldig innhold (såsom humoristisk eller satirisk innhold) kunne misforstås som skadelig i en mindre sofistikert og multimodal tilnærming til videoanalyse – ikke minst fordi en films musikalske soundtrack ofte brukes på uventede måter, enten for å forurolige eller berolige seeren, og som en kontrapunkt snarere enn en komplementær til den visuelle komponenten.

En datasett med potensielt skadelige videoer

Forskerne påpeker at nyttige utviklinger i denne sektoren har blitt hindret av opphavsrettsbeskyttelse av film, som gjør det problematisk å lage generelle åpne datasett. De observerer også at tidligere eksperimenter har lidd under en mangel på merking av full-lengde filmer, som har ført til at tidligere arbeid har forenklet bidragsdataene, eller fokusert på bare ett aspekt av dataene, såsom dominante farger eller dialoganalyse.

For å løse dette, har forskerne samlet en video-datasett på 4000 video-klipp, trailere som er forkortet til om lag ti sekunder lange, som deretter ble merket av profesjonelle film-klassifiserere som overvåker anvendelsen av vurderinger for nye filmer i Sverige, mange med profesjonell kvalifikasjon i barnepsykologi.

Under det svenske systemet for film-klassifisering, defineres “skadelig” innhold basert på dens mulige evne til å produsere følelser av angst, frykt og andre negative effekter hos barn. Forskerne påpeker at siden dette vurderingssystemet innebærer like mye intuisjon og instinkt som vitenskap, er parameterne for definisjonen av “skadelig innhold” vanskelige å kvantifisere og innføre i et automatisert system.

Definisjon av skade

Rapporten observerer videre at tidligere maskinlærings- og algoritmbaserte systemer som har møtt denne utfordringen, har brukt spesifikke aspekt-deteksjon som kriterium, inkludert visuell deteksjon av blod og flammer, lyden av eksplosjoner og hyppigheten av skuddlengde, blant andre begrensede definisjoner av skadelig innhold, og at en multi-domen tilnærming synes å tilby en bedre metode for automatisk vurdering av skadelig innhold.

De svenske forskerne trente et 8×8 50-lag neuralt nettverksmodell på Kinetics-400 menneskelige bevegelses-benchmark dataset, og skapte en arkitektur designet til å fusjonere video- og lydprediksjoner.

I virkeligheten løser bruken av trailere tre problemer for å lage en datasett av denne typen: det unngår opphavsrettsproblemer; den økte turbulensen og høyere skuddfrekvensen i trailere (i sammenligning med de opprinnelige filmene), tillater en høyere frekvens av merking; og det sikrer at den lave forekomsten av voldelig eller forstyrrende innhold i en hel film ikke ubalanserer datasett og utilsiktet klassifiserer det som egnet for barn.

Resultater

Når modellen var trent, testet de svenske forskerne systemet mot video-klipp.

I denne traileren for The Deep (2012), klassifiserte de to modellene som ble brukt til å teste systemet (tilfeldig utvalgte merker vs. sannsynlige merker) filmen som egnet for seere over 11 år.

Kilde: https://arxiv.org/pdf/2106.08323.pdf

For en scene fra Discarnate (2018) hvor en monstrøs antagonist blir introdusert, estimerte den doble rammen korrekt mål-alderen som 11+/15+.

Men en klipp fra traileren for A Second Chance (2014) presenterte større vanskeligheter, da modellen ikke kunne enes med de menneskelige merkingene for scenen, som hadde klassifisert den som ‘BT’ (universelt akseptabelt). I virkeligheten hadde algoritmen detektert en potensiell skade som de menneskelige evaluatorene ikke hadde tilskrevet den.

Selv om forskerne hevder en høy nøyaktighetspoeng for systemet, skjedde noen feil, som denne klippen fra City State (2011), som viser en arrestert naken mann truet med en rifle.

I dette tilfelle hadde systemet tildelt en 11+-vurdering til klippen, i motsetning til de menneskelige merkingene.

Dissonans mellom intensjon og skadelighet

Rapporten påpeker at ved å evaluere en klipp fra traileren for Paydirt (2020), tildelte systemet korrekt en ‘universell’ vurdering til klippen basert på visuelle og lingvistiske aspekter (selv om karakterene diskuterer skytevåpen, er intensjonen komisk), men ble forvirret av den truende musikken som ble brukt, som kan ha en satirisk kontekst.

Likewise i en trailer for filmen For Sama (2019), er den truende stilen til den musikalske innholdet ikke matchet av den visuelle innholdet, og igjen opplever systemet vanskeligheter med å skille de to komponentene for å gjøre en ensartet vurdering som dekker både audio- og video-innholdet i klippen.

Til slutt navigerer systemet korrekt audio/video-dissonansen i en trailer-klipp for Virgin Mountain (2015), som inneholder noen truende visuelle signaler (dvs. et brutt vindu) som blir underminert av musikken. Dermed gjettet rammen korrekt at klippen er klassifisert som ‘universell’ (BT).

Forskerne innrømmer at et system av denne typen er eksklusivt fokusert på barn, med resultater som er usannsynlige å generalisere godt til andre typer seere. De foreslår også at kodifisering av “skadelig” innhold på denne lineære måten kunne potensielt føre til algoritmbaserte vurderingssystemer som er mindre uforutsigbare, men merker potensialet for uønsket undertrykkelse av ideer i utviklingen av slike tilnærminger:

‘Vurdering av om innhold er skadelig er en delikat sak. Det finnes en viktig balanseakt mellom informasjonsfrihet og beskyttelse av sårbare grupper. Vi tror at dette arbeidet tar et skritt i riktig retning, ved å være så åpen som mulig om kriteriene som brukes til å vurderer skadeligheten. Videre tror vi at å skille skadelighet fra egnet er et viktig skritt mot å gjøre klassifisering av skadelig innhold mer objektivt.

‘…Detektering av skadelig innhold er også av interesse for nettverksplattformer som YouTube. På slike plattformer blir balanseakten mellom informasjonsfrihet og beskyttelse enda viktigere og komplisert av den proprietære naturen til algoritmene som er ansvarlige.’