Identifikation af skadelig videoindhold med filmtrailere og maskinlæring

En forskningsrapport fra den svenske medieråd omhandler en mulig ny tilgang til automatisk identifikation af ‘skadelig indhold’ ved at betragte lyd- og videoindhold separat og bruge menneske-annoterede data som en vejledende indeks for materiale, der kan forstyrre seere.

Med titlen Er dette skadeligt? Læring til at forudsige skadelighedsbedømmelser fra video, viser rapporten, at der er behov for, at maskinlæringsystemer tager hensyn til hele konteksten af en scene, og viser de mange måder, hvorpå uskadelig indhold (såsom humoristisk eller satirisk indhold) kan misfortolkes som skadeligt i en mindre sofistikeret og multimodal tilgang til videoanalyse – ikke mindst fordi en films musikalske soundtrack ofte bruges på uventede måder, enten for at forurolige eller berolige seeren, og som en kontrapunkt til den visuelle komponent.

En dataset over potentielt skadelige videoer

Forskerne bemærker, at nyttige udviklinger i denne sektor er blevet hindret af ophavsretsskyttelse af film, hvilket gør det problematisk at oprette generelle åbne datasæt. De observerer også, at lignende eksperimenter hidtil har lidt under en sparsomhed af mærker for fuldlængde film, hvilket har ført til, at tidligere arbejde har forenklet bidragsdataene eller fokuseret på kun ét aspekt af dataene, såsom dominerende farver eller dialoganalyse.

For at løse dette problem har forskerne samlet en video-dataset på 4000 video-klip, trailerne er klippet ned i stykker på cirka ti sekunder, som derefter er mærket af professionelle film-klassificerere, der overvåger anvendelsen af klassificeringer for nye film i Sverige, mange med professionel kvalifikation i børnepsykologi.

Ifølge det svenske system for filmklassificering defineres ‘skadelig’ indhold ud fra dets mulige evne til at fremkalde følelser af angst, frygt og andre negative effekter hos børn. Forskerne bemærker, at da dette klassificeringssystem indebærer lige så meget intuition og instinkt som videnskab, er parametrene for definitionen af ‘skadelig indhold’ svære at kvantificere og indføre i et automatiseret system.

Definering af skade

Rapporten observerer yderligere, at tidligere maskinlærings- og algoritme-systemer, der har adresseret denne udfordring, har brugt specifik facet-detektion som kriterium, herunder visuel detektion af blod og flammer, lyden af eksplosioner og hyppigheden af skudlængde, blandt andre begrænsede definitioner af skadelig indhold, og at en multi-domæne-tilgang synes at tilbyde en bedre metode til automatisk klassificering af skadelig indhold.

De svenske forskere trænede et 8×8 50-lag neuralt netværksmodel på Kinetics-400 menneskelige bevægelses benchmark dataset og oprettede en arkitektur designet til at fusionere video- og lydprediktioner.

I virkeligheden løser brugen af trailere tre problemer for oprettelsen af en dataset af denne art: det eliminerer ophavsretsspørgsmål; den øgede turbulens og højere skudhyppighed i trailere (i forhold til de oprindelige film) giver mulighed for en højere hyppighed af mærkning; og det sikrer, at den lave forekomst af voldelige eller foruroligende indhold i en hel film ikke ubalancerer datasettet og utilsigtet klassificerer det som egnet for børn.

Resultater

Da modellen var trænet, testede de svenske forskere systemet mod video-klip.

I denne trailer for The Deep (2012) klassificerede de to modeller, der blev brugt til at teste systemet (tilfældigt udvalgte mærker vs. sandsynlighedsbaserede mærker), korrekt filmen som egnet for seere over 11 år.

Kilde: https://arxiv.org/pdf/2106.08323.pdf

For en scene fra Discarnate (2018), hvor en monstrøs antagonist introduceres, estimerede den dobbelte ramme igen korrekt målalderen som 11+/15+.

Men en klip fra traileren for A Second Chance (2014) udgjorde større vanskelighed, da modellen ikke kunne enes med de menneskelige mærkninger for scenen, der var klassificeret som ‘BT’ (universelt acceptabelt). I virkeligheden har algoritmen detekteret en potentiel skade, som de menneskelige evalueringer ikke har tillagt den.

Selv om forskerne påstår en høj nøjagtighedsscore for systemet, opstod der nogle fejl, såsom denne klip fra City State (2011), der viser en anholdt nøgen mand truet med en riffel.

I dette tilfælde har systemet tildelt en 11+-klassificering til klippen, i modsætning til de menneskelige mærkninger.

Dissonans mellem intention og skadelighed

Rapporten bemærker, at under evalueringen af en klip fra traileren for Paydirt (2020) tildeler systemet korrekt en ‘universel’ klassificering til klippen på basis af de visuelle og lingvistiske aspekter (selv om karaktererne diskuterer skydevåben, er intentionen komisk), men forvirres af den truende musik, der bruges, der kan have en satirisk kontekst.

Ligeledes i en trailer for filmen For Sama (2019) er den truende stil af den musikalske indhold ikke matchet af den visuelle indhold, og igen oplever systemet vanskeligheder med at skille de to komponenter for at træffe en ensartet vurdering, der dækker både lyd- og videoindholdet i klippen.

Til sidst navigerer systemet korrekt lyd/video-dissonans i en trailer-klip for Virgin Mountain (2015), der indeholder nogle truende visuelle signaler (f.eks. et knust vindue), der undergraves af musikken. Derfor gætter rammen korrekt, at klippen er klassificeret som ‘universel’ (BT).

Forskerne indrømmer, at et system af denne art udelukkende er fokuseret på børn, og at resultaterne er usandsynlige at generalisere godt til andre typer seere. De foreslår også, at kodificering af ‘skadelig indhold’ på denne lineære måde potentielt kan føre til algoritme-baserede klassificeringssystemer, der er mindre uforudsigelige, men bemærker potentialet for uønsket undertrykkelse af ideer i udviklingen af sådanne tilgange:

‘At vurdere, om indhold er skadeligt, er en delikat sag. Der findes en vigtig balanceakt mellem informationsfrihed og beskyttelse af følsomme grupper. Vi mener, at dette arbejde tager et skridt i den rigtige retning ved at være så transparent som muligt omkring de kriterier, der bruges til at vurdere skadeligheden. Desuden mener vi, at adskillelse af skadelighed fra egnethed er et vigtigt skridt mod at gøre klassificering af skadelig indhold mere objektiv.

‘…At opdage skadelig indhold er også af interesse for online-platforme som YouTube. På disse platforme bliver balanceakten mellem informationsfrihed og beskyttelse endnu vigtigere og kompliceres yderligere af den proprietære natur af de ansvarlige algoritmer.’