Het identificeren van schadelijke videoinhoud met filmtrailers en machine learning

Een onderzoeksrapport van de Zweedse Media Raad schetst een mogelijke nieuwe aanpak voor de automatische identificatie van ‘schadelijke inhoud’, door audio- en videomateriaal afzonderlijk te bekijken en gebruik te maken van door mensen geannoteerde gegevens als leidraad voor materiaal dat kijkers kan storen.

Genoemd Is dit schadelijk? Leren voorspellen van schadelijkheidscijfers uit video, het rapport illustreert de noodzaak voor machine learning-systemen om rekening te houden met de gehele context van een scène en illustreert de vele manieren waarop onschuldige inhoud (zoals humoristische of satirische inhoud) verkeerd kan worden geïnterpreteerd als schadelijk in een minder geavanceerde en multimodale aanpak van videoanalyse – niet in de laatste plaats omdat de filmmuziek vaak op onverwachte manieren wordt gebruikt, ofwel om de kijker te verontrusten of te geruststellen, en als een tegenpool in plaats van een aanvulling op de visuele component.

Een dataset van potentieel schadelijke video’s

De onderzoekers merken op dat nuttige ontwikkelingen in deze sector zijn gehinderd door het auteursrecht op films, waardoor het creëren van algemene open source-datasets problematisch is. Ze merken ook op dat soortgelijke experimenten tot nu toe hebben geleden onder een gebrek aan labels voor volledige films, wat heeft geleid tot eerdere werk dat de bijdragende gegevens oversimplificeert of zich alleen op één aspect van de gegevens richt, zoals dominante kleuren of dialooganalyse.

Om dit aan te pakken, hebben de onderzoekers een videodataset van 4000 videoclips samengesteld, trailers die zijn ingekort tot stukjes van ongeveer tien seconden, die vervolgens zijn gelabeld door professionele filmclassificeringsinstanties die toezicht houden op de toepassing van ratings voor nieuwe films in Zweden, veelal met professionele kwalificaties in kinderpsychologie.

Onder het Zweedse systeem van filmclassificatie wordt ‘schadelijke’ inhoud gedefinieerd op basis van de mogelijke neiging om gevoelens van angst, angst en andere negatieve effecten bij kinderen te produceren. De onderzoekers merken op dat aangezien dit ratingsysteem evenveel intuïtie en instinct als wetenschap omvat, de parameters voor de definitie van ‘schadelijke inhoud’ moeilijk te kwantificeren en in een geautomatiseerd systeem te integreren zijn.

Harm definiëren

Het rapport merkt verder op dat eerdere machine learning- en algoritme-systemen die deze uitdaging aangaan, specifieke facetdetectie als criteria hebben gebruikt, waaronder visuele detectie van bloed en vlammen, het geluid van knallen en de frequentie van shotlengte, onder andere beperkte definities van schadelijke inhoud, en dat een multi-domeinbenadering waarschijnlijk een betere methodologie biedt voor automatische beoordeling van schadelijke inhoud.

De Zweedse onderzoekers hebben een 8×8 50-laags neuronaal netwerkmodel getraind op de Kinetics-400 menselijke bewegingsbenchmark dataset, en een architectuur ontwikkeld om videovoorspellingen en audiovoorspellingen te combineren.

In feite lost het gebruik van trailers drie problemen op voor het creëren van een dataset van deze aard: het voorkomt auteursrechtskwesties; de toegenomen turbulentie en hogere shotfrequentie van trailers (in vergelijking met de oorspronkelijke films) maken een hogere annotatiefrequentie mogelijk; en het zorgt ervoor dat de lage incidentie van gewelddadige of verontrustende inhoud in een hele film de dataset niet uit balans brengt en per ongeluk als geschikt voor kinderen classificeert.

Resultaten

Zodra het model was getraind, testten de Zweedse onderzoekers het systeem tegen videoclips.

In deze trailer voor The Deep (2012), classificeerden de twee modellen die werden gebruikt voor het testen van het systeem (willekeurig bemonsterde labels versus waarschijnlijke labels) de film erfolgreich als geschikt voor kijkers van 11 jaar en ouder.

Bron: https://arxiv.org/pdf/2106.08323.pdf

Voor een scène uit Discarnate (2018) waarin een monsterachtige antagonist wordt geïntroduceerd, schatte het dubbele kader opnieuw correct de doelgroepleeftijd als 11+/15+.

Hoewel het model moeite had met een clip uit de trailer voor A Second Chance (2014), kon het niet overeenkomen met de door mensen gemaakte annotaties voor de scène, die als ‘BT’ (universeel acceptabel) was geclassificeerd. In feite heeft het algoritme potentieel voor schade gedetecteerd dat de menselijke evaluatoren niet hebben toegeschreven.

Hoewel de onderzoekers een hoge nauwkeurigheidsscore voor het systeem claimen, traden enkele fouten op, zoals deze clip uit City State (2011), die een vastgehouden naakte man toont die met een geweer wordt bedreigd.

In dit geval heeft het systeem een 11+ rating toegewezen aan de clip, in tegenstelling tot de door mensen gemaakte annotaties.

Dissonantie van intentie en schadelijkheid

Het rapport merkt op dat bij het evalueren van een clip uit de trailer voor Paydirt (2020), het systeem correct een ‘universele’ rating toewijst aan de clip op basis van de visuele en linguïstische aspecten (hoewel personages vuurwapens bespreken, is de intentie komisch), maar wordt verward door de dissonant bedreigende muziek die wordt gebruikt, die een satirische context kan hebben.

Evenzo in een trailer voor de film For Sama (2019), komt de bedreigende stijl van de muzikale inhoud niet overeen met de visuele inhoud, en heeft het systeem opnieuw moeite om de twee componenten te ontwarren om een uniform oordeel te vellen dat zowel de audio- als de videoinhoud van de clip dekt.

Tenslotte navigeert het systeem correct door audio-/videodissonantie in een trailerclip voor Virgin Mountain (2015), die enkele bedreigende visuele signalen bevat (d.w.z. een gebroken raam) die worden ondermijnd door de muziek. Zo schat het kader correct dat de clip als ‘universeel’ (BT) is gerangschikt.

De onderzoekers geven toe dat een systeem van deze aard uitsluitend is gericht op kinderen, met resultaten die waarschijnlijk niet goed generaliseren naar andere soorten kijkers. Ze suggereren ook dat het codificeren van ‘schadelijke’ inhoud op deze lineaire manier mogelijk kan leiden tot algoritme-ratingsystemen die minder onvoorspelbaar zijn, maar merken het potentieel op voor ongewenste onderdrukking van ideeën bij de ontwikkeling van dergelijke benaderingen:

‘Het beoordelen of inhoud schadelijk is, is een delicate kwestie. Er bestaat een belangrijke balans tussen vrijheid van informatie en het beschermen van gevoelige groepen. We geloven dat dit werk een stap in de goede richting zet, door zo transparant mogelijk te zijn over de criteria die worden gebruikt om de schadelijkheid te beoordelen. Bovendien geloven we dat het scheiden van schadelijkheid van geschiktheid een belangrijke stap is naar het maken van classificatie van schadelijke inhoud meer objectief.

‘…Het detecteren van schadelijke inhoud is ook van belang voor online platforms zoals YouTube. Op dergelijke platforms wordt de balans tussen vrijheid van informatie en bescherming nog belangrijker en wordt deze nog verder gecompliceerd door de propriëtaire aard van de algoritmes die verantwoordelijk zijn.’