Identifiering av skadligt videoinnehåll med filmtrailers och maskinlärande

En forskningsrapport från den svenska medierådet presenterar en möjlig ny metod för automatisk identifiering av “skadligt innehåll” genom att behandla ljud- och videoinnehåll separat och använda mänskligt annoterade data som en vägledande index för material som kan störa tittare.

Med titeln Är detta skadligt? Att lära sig förutsäga skadlighetsbetyg från video, visar rapporten att maskinlärandesystem måste ta hänsyn till hela sammanhanget i en scen och visar de många sätten som ofarligt innehåll (såsom humoristiskt eller satiriskt innehåll) kan misstolkas som skadligt i en mindre sofistikerad och multimodal metod för videoanalys – inte minst för att en films musikaliska soundtrack ofta används på oväntade sätt, antingen för att störa eller lugna tittaren, och som en kontrapunkt snarare än ett komplement till den visuella komponenten.

En datamängd av potentiellt skadliga videor

Forskarna noterar att användbara utvecklingar inom detta område har hindrats av upphovsrättsligt skyddade rörliga bilder, vilket gör det problematiskt att skapa allmänna öppna datamängder. De observerar också att liknande experiment tidigare har lidit av en brist på etiketter för fullängdsfilmer, vilket har lett till att tidigare arbete förenklat den bidragande datan eller fokuserat på endast en aspekt av datan, såsom dominant färg eller dialoganalys.

För att åtgärda detta har forskarna sammanställt en videodatamängd bestående av 4000 videoklipp, trailers som klippts ner till bitar om cirka tio sekunder i längd, som sedan etiketterades av professionella filmklassificerare som ansvarar för tillämpningen av betyg för nya filmer i Sverige, många med professionell utbildning i barnpsykologi.

Enligt det svenska systemet för filmklassificering definieras “skadligt” innehåll utifrån dess möjliga benägenhet att producera känslor av ångest, rädsla och andra negativa effekter hos barn. Forskarna noterar att eftersom detta betygssystem innehåller lika mycket intuition och instinkt som vetenskap, är parametrarna för definitionen av “skadligt innehåll” svåra att kvantifiera och införa i ett automatiserat system.

Att definiera skada

Rapporten observerar vidare att tidigare maskinlärande- och algoritmiska system som har behandlat denna utmaning har använt specifik detektering av aspekter som kriterium, inklusive visuell detektering av blod och flammor, ljudet av explosioner och frekvensen av skottlängd, bland andra begränsade definitioner av skadligt innehåll, och att en multi-domänmetod verkar vara en bättre metod för automatisk betygssättning av skadligt innehåll.

De svenska forskarna tränade ett 8×8 50-lagers neuronnätverksmodell på Kinetics-400 mänsklig rörelsebenchmark datamängd och skapade en arkitektur som är utformad för att kombinera video- och ljudförutsägelser.

I praktiken löser användningen av trailers tre problem för skapandet av en datamängd av detta slag: det undanröjer upphovsrättsproblem; den ökade turbulensen och högre skottfrekvensen i trailers (i jämförelse med de ursprungliga filmerna) möjliggör en högre frekvens av annotering; och det säkerställer att den låga förekomsten av våldsamt eller störande innehåll i en hel film inte obalanserar datamängden och av misstag klassificerar den som lämplig för barn.

Resultat

När modellen var tränad testade de svenska forskarna systemet mot videoklipp.

I denna trailer för Djupet (2012) klassificerade de två modellerna som användes för att testa systemet (slumpmässigt utvalda etiketter vs. sannolikhetsbaserade etiketter) filmen som lämplig för tittare över 11 år.

Källa: https://arxiv.org/pdf/2106.08323.pdf

För en scen från Discarnate (2018) där en monstruös antagonist introduceras, uppskattade den dubbla ramen återigen korrekt målåldern till 11+/15+.

Men en klipp från trailern för En andra chans (2014) presenterade större svårigheter, eftersom modellen inte kunde enas med de mänskliga annoteringarna för scenen, som hade klassificerats som “BT” (universellt acceptabelt). I själva verket har algoritmen upptäckt en potentiell skada som de mänskliga utvärderarna inte har tilldelat den.

Även om forskarna hävdar en hög noggrannhet för systemet, inträffade vissa misslyckanden, såsom denna klipp från Stadstat (2011), som visar en gripen naken man hotad med en gevär.

I detta fall har systemet tilldelat en 11+-betyg till klippet, i kontrast till de mänskliga annoteringarna.

Dissonans mellan avsikt och skadlighet

Rapporten noterar att vid utvärdering av en klipp från trailern för Paydirt (2020), tilldelar systemet korrekt en “universell” betyg till klippet baserat på de visuella och lingvistiska aspekterna (även om karaktärerna diskuterar skjutvapen, är avsikten komisk), men förvirras av den dissonant hotande musiken som används, som kan ha en satirisk kontext.

Likaså i en trailer för filmen For Sama (2019), är den hotande stilen i den musikaliska innehållet inte matchad av den visuella innehållet, och återigen upplever systemet svårigheter att skilja på de två komponenterna för att göra en enhetlig bedömning som täcker både ljud- och videoinnehållet i klippet.

Till sist navigerar systemet korrekt ljud/video-dissonansen i en trailerklipp för Jungfrufjället (2015), som innehåller vissa hotande visuella signaler (t.ex. ett trasigt fönster) som undergrävs av musiken. Således gissar ramen korrekt att klippet är betygsatt “universellt” (BT).

Forskarna medger att ett system av detta slag är uteslutande fokuserat på barn, med resultaten osannolika att generalisera väl till andra typer av tittare. De föreslår också att kodifiering av “skadligt” innehåll på detta linjära sätt potentiellt kan leda till algoritmiska betygssystem som är mindre oförutsägbara, men noterar potentialen för oönskad repression av idéer i utvecklingen av sådana tillvägagångssätt:

‘Att bedöma om innehåll är skadligt är en känslig fråga. Det finns en viktig balansakt mellan informationsfrihet och skydd av känsliga grupper. Vi tror att detta arbete tar ett steg i rätt riktning, genom att vara så transparent som möjligt om de kriterier som används för att bedöma skadligheten. Dessutom tror vi att att skilja skadlighet från lämplighet är ett viktigt steg mot att göra klassificering av skadligt innehåll mer objektiv.

‘…Att upptäcka skadligt innehåll är också av intresse för onlineplattformar som YouTube. På sådana plattformar blir balansakten mellan informationsfrihet och skydd ännu viktigare och kompliceras ytterligare av den proprietära naturen hos de algoritmer som är ansvariga.’