Identifikace škodlivého videoobsahu pomocí filmových trailerů a strojového učení

Výzkumná práce Švédské mediální rady představuje možný nový přístup k automatické identifikaci “škodlivého obsahu” tím, že zvažuje audio a video obsah zvlášť a používá lidsky anotovaná data jako vodítko pro materiál, který by mohl rušit diváky.

Nazvaná Je tohle škodlivé? Učení předpovídat hodnocení škodlivosti z videa, práce ilustruje potřebu systémů strojového učení brát v úvahu celý kontext scény a ilustruje mnoho způsobů, jak neškodný obsah (jako humorný nebo satirický obsah) by mohl být mylně interpretován jako škodlivý v méně sofistikovaném a multimodálním přístupu k analýze videa – nejméně proto, že filmová soundtrack je často používána neočekávanými způsoby, buď aby rušila nebo uklidňovala diváka, a jako kontrapunkt spíše než doplněk k vizuální složce.

Datová sada potenciálně škodlivých videí

Výzkumníci poznamenávají, že užitečné vývoj v tomto sektoru byl brzděn autorskými právy na filmy, které činí vytváření obecných otevřených zdrojových dat problematickým. Také pozorují, že do dneška podobné experimenty trpěly nedostatkem štítků pro celovečerní filmy, což vedlo k předchozím pracím, které zjednodušují přispívající data, nebo se zaměřují pouze na jeden aspekt dat, jako jsou dominantní barvy nebo analýza dialogu.

Aby se tomu zabránilo, výzkumníci sestavili video datovou sadu 4000 video klipů, trailerů zkrácených na kusy kolem deseti sekund, které byly poté označeny profesionálními filmovými klasifikátory, kteří dohlížejí na aplikaci hodnocení pro nové filmy ve Švédsku, mnozí s profesionálními kvalifikacemi v dětské psychologii.

Pod švédským systémem filmové klasifikace je “škodlivý” obsah definován na základě jeho možné tendence produkovat pocity úzkosti, strachu a dalších negativních účinků u dětí. Výzkumníci poznamenávají, že protože tento systém hodnocení zahrnuje tolik intuice a instinktu jako vědy, parametry pro definici “škodlivého obsahu” jsou obtížné kvantifikovat a vložit do automatizovaného systému.

Definice škodlivosti

Práce dále poznamenává, že dřívější systémy strojového učení a algoritmické systémy, které se zabývaly touto výzvou, používaly specifické detekční kritéria, včetně vizuální detekce krve a plamenů, zvuku výstřelu a frekvence délky záběru, mezi jinými omezenými definicemi škodlivého obsahu, a že multi-doménový přístup se zdá být lepší metodologií pro automatické hodnocení škodlivého obsahu.

Švédští výzkumníci trénovali 8×8 50-vrstevný neuronový síťový model na Kinetics-400 lidském pohybu benchmark datové sadě a vytvořili architekturu navrženou k fúzi video a audio předpovědí.

Ve skutečnosti použití trailerů řeší tři problémy pro vytvoření datové sady tohoto typu: odstraňuje autorská práva; zvýšená turbulence a vyšší frekvence záběru trailerů (ve srovnání s původními filmy) umožňuje vyšší frekvenci anotace; a zajišťuje, že nízká incidence násilného nebo rušivého obsahu v celém filmu nevyváží datovou sadu a náhodně ji neklasifikuje jako vhodnou pro děti.

Výsledky

Jakmile byl model trénován, švédští výzkumníci otestovali systém proti video-klipům.

V tomto traileru pro Hlubina (2012), dva modely použité pro testování systému (náhodně vybrané štítky vs. pravděpodobnostní štítky) úspěšně klasifikovaly film jako vhodný pro diváky ve věku 11 a více let.

Zdroj: https://arxiv.org/pdf/2106.08323.pdf

Pro scénu z Discarnate (2018), kde je představen monstrózní antagonista, duální rámec opět správně odhadl cílový věkový rozsah jako 11+/15+.

Jednak klip z traileru pro Druhá šance (2014) představoval větší obtíž, protože model nebyl schopen souhlasit s lidskými anotacemi pro scénu, která byla klasifikována jako “BT” (univerzálně přijatelná). Ve skutečnosti algoritmus detekoval potenciál pro škodlivost, který lidské evaluátory nepřisoudili.

Ačkoli výzkumníci prohlašují vysokou přesnost skóre pro systém, některé selhání se vyskytla, jako je tento klip z Město státu (2011), který zobrazuje zadrženého nahého muže ohroženého puškou.

V tomto případě systém přiřadil klipu hodnocení 11+, na rozdíl od lidských anotací.

Disonance záměru a škodlivosti

Práce poznamenává, že při hodnocení klipu z traileru pro Paydirt (2020), systém správně přiřadil “univerzální” hodnocení klipu na základě vizuálních a lingvistických aspektů (ačkoli postavy diskutují o zbraních, záměr je komediální), ale byl zmaten disonantně hrozivou hudbou, která může mít satirický kontext.

Podobně v traileru pro film Pro Sama (2019), hrozivý styl hudebního obsahu není shodný s vizuálním obsahem, a opět systém zažívá potíže s rozplétáním obou složek, aby učinil uniformní soud, který pokrývá obě audio a video obsah klipu.

Nakonec systém správně naviguje audio/video disonanci v traileru klipu pro Panenská hora (2015), který obsahuje některé hrozivé vizuální signály (tj. rozbité okno), které jsou oslabeny hudbou. Takže rámec správně odhadl, že klip je hodnocen “univerzálně” (BT).

Výzkumníci uznávají, že systém tohoto typu je výhradně zaměřen na děti, s výsledky, které se nebudou dobře generalizovat na jiné typy diváků. Navrhují, že kodifikace “škodlivého” obsahu tímto lineárním způsobem by mohla potenciálně vést k algoritmickým ratingovým systémům, které jsou méně nepředvídatelné, ale poznamenávají potenciál nežádoucí represe myšlenek ve vývoji takových přístupů:

‘Hodnotit, zda je obsah škodlivý, je jemná otázka. Existuje důležité vyvážení mezi svobodou informací a ochranou citlivých skupin. Věříme, že tato práce jde správným směrem, tím, že je co nejtransparentnější o kritériích, která se používají k hodnocení škodlivosti. Kromě toho věříme, že oddělení škodlivosti od vhodnosti je důležitým krokem k tomu, aby se klasifikace škodlivého obsahu stala více objektivním.

‘…Detekce škodlivého obsahu je také zájmem online platforem, jako je YouTube. Na těchto platforem se vyvážení mezi svobodou informací a ochranou stává ještě důležitějším a je dále komplikováno vlastnickou povahou algoritmů odpovědných.’