Identificarea conținutului video dăunător cu ajutorul trailerelor de film și al învățării automate

O lucrare de cercetare a Consiliului Media din Suedia prezintă o abordare posibilă pentru identificarea automată a “conținutului dăunător”, prin considerarea conținutului audio și video separat și utilizarea datelor annotate de către oameni ca indice de ghidare pentru materialul care ar putea deranja spectatorii.

Intitulată Este acest conținut dăunător? Învățarea să prezicem nivelurile de dăunător din videoclipuri, lucrarea ilustrează nevoia sistemelor de învățare automată de a lua în considerare întregul context al unei scene și prezintă numeroase moduri în care conținutul inofensiv (cum ar fi conținutul umoristic sau satiric) ar putea fi interpretat greșit ca dăunător într-o abordare mai puțin sofisticată și multimodală de analiză a videoclipurilor – și mai ales pentru că coloana sonoră a unui film este adesea utilizată în moduri neașteptate, fie pentru a deranja, fie pentru a liniști spectatorul, și ca o contrapondere, mai degrabă decât o completare a componentei vizuale.

Un set de date de videoclipuri potențial dăunătoare

Cercetătorii observă că dezvoltările utile în acest sector au fost împiedicate de protecția drepturilor de autor a filmelor, ceea ce face problematică crearea unor seturi de date deschise și generalizate. Ei mai observă că experimentele anterioare au suferit din cauza lipsei de etichete pentru filmele complete, ceea ce a condus la simplificarea excesivă a datelor contributive sau la concentrarea asupra unui singur aspect al datelor, cum ar fi culorile dominante sau analiza dialogului.

Pentru a aborda această problemă, cercetătorii au compilat un set de date de 4000 de videoclipuri, trailerelor tăiate în bucăți de aproximativ zece secunde, care au fost apoi etichetate de către clasificatori profesioniști de film care supraveghează aplicarea ratingurilor pentru noile filme în Suedia, mulți cu calificări profesionale în psihologia copilului.

În sistemul suedez de clasificare a filmelor, “conținutul dăunător” este definit pe baza posibilei sale capacități de a produce sentimente de anxietate, frică și alte efecte negative asupra copiilor. Cercetătorii observă că, deoarece acest sistem de rating implică atât intuiție, cât și știință, parametrii definiției “conținutului dăunător” sunt dificil de cuantificat și de instaurat într-un sistem automatizat.

Definirea dăunătorului

Lucrarea observă, de asemenea, că sistemele anterioare de învățare automată și algoritmică care abordează această provocare au utilizat detectarea facetelor specifice ca criteriu, inclusiv detectarea vizuală a sângelui și a flăcărilor, sunetul exploziilor și frecvența lungimii cadrelor, printre alte definiții restrânse ale conținutului dăunător, și că o abordare multi-domeniu pare să ofere o metodologie mai bună pentru evaluarea automată a conținutului dăunător.

Cercetătorii suedezi au antrenat un model de rețea neurală de 8×8, cu 50 de straturi, pe baza benchmark-ului de mișcare umană Kinetics-400 dataset, și au creat o arhitectură proiectată pentru a fuziona predicțiile video și audio.

În esență, utilizarea trailerelor rezolvă trei probleme pentru crearea unui set de date de acest tip: evită problemele legate de drepturile de autor; crește frecvența de annotare și asigură că incidența scăzută a conținutului violent sau deranjant dintr-un film întreg nu dezechilibrează setul de date și nu îl clasifică accidental ca fiind potrivit pentru copii.

Rezultate

Odată ce modelul a fost antrenat, cercetătorii suedezi au testat sistemul împotriva videoclipurilor.

În acest trailer pentru Adâncul (2012), cele două modele utilizate pentru testarea sistemului (etichete aleatorii vs. etichete probabilitare) au clasificat corect filmul ca fiind potrivit pentru spectatorii cu vârsta de peste 11 ani.

Sursă: https://arxiv.org/pdf/2106.08323.pdf

Pentru o scenă din Discarnate (2018) în care este introdus un antagonist monstruos, cadrul dual a estimat corect intervalul de vârstă țintă ca fiind 11+/15+.

Cu toate acestea, un clip din trailerul pentru O a doua șansă (2014) a prezentat o dificultate mai mare, deoarece modelul nu a putut să se pună de acord cu etichetele umane pentru scena, care a fost clasificată ca “BT” (universal acceptat). În esență, algoritmul a detectat un potențial de dăunător care nu a fost atribuit de evaluatorii umani.

Deși cercetătorii afirmă un scor de acuratețe ridicat pentru sistem, au apărut și unele eșecuri, cum ar fi acest clip din Statul oraș (2011), care prezintă un bărbat nud reținut și amenințat cu un rifle.

În acest caz, sistemul a atribuit o clasificare de 11+ clipului, în contrast cu etichetele umane.

Disonanța intenției și a dăunătorului

Lucrarea observă că, la evaluarea unui clip din trailerul pentru Paydirt (2020), sistemul a atribuit corect o clasificare “universală” clipului pe baza aspectelor vizuale și lingvistice (deși personajele discută despre arme, intenția este comică), dar a fost deranjat de muzica amenințătoare disonantă, care ar putea avea un context satiric.

La fel și într-un trailer pentru filmul Pentru Sama (2019), stilul amenințător al conținutului muzical nu este potrivit cu conținutul vizual, și din nou, sistemul experimentează dificultăți în a disocia cele două componente pentru a face o judecată uniformă care să acopere atât conținutul audio, cât și pe cel video al clipului.

În final, sistemul navighează corect disonanța audio/video într-un clip de trailer pentru Muntele Virgin (2015), care conține unele indicii vizuale amenințătoare (de exemplu, o fereastră spartă) care sunt subminate de muzică. Astfel, cadrul corect estimează că clipul este clasificat “universal” (BT).

Cercetătorii recunosc că un sistem de acest tip se concentrează exclusiv asupra copiilor, cu rezultate care nu se generalizează bine pentru alte tipuri de spectatori. Ei sugerează, de asemenea, că codificarea “conținutului dăunător” în acest mod liniar ar putea duce la sisteme de rating algoritmice mai puțin imprevizibile, dar observă potențialul de represie nedorită a ideilor în dezvoltarea unor astfel de abordări:

‘Evaluarea conținutului dăunător este o chestiune delicată. Există un echilibru important între libertatea de informare și protecția grupurilor sensibile. Credem că această lucrare face un pas în direcția corectă, prin a fi cât mai transparentă posibil cu privire la criteriile utilizate pentru evaluarea dăunătorului. Mai mult, credem că separarea dăunătorului de adecvare este un pas important pentru a face clasificarea conținutului dăunător mai obiectivă.

‘…Detectarea conținutului dăunător este, de asemenea, de interes pentru platformele online, cum ar fi YouTube. Pe astfel de platforme, echilibrul dintre libertatea de informare și protecție devine și mai important și este complicat de natura proprietară a algoritmilor responsabili.’