Identifier le contenu vidéo nocif avec des bandes-annonces et l’apprentissage automatique

Un article de recherche du Conseil suédois des médias présente une nouvelle approche possible pour l’identification automatique du « contenu nocif », en considérant séparément le contenu audio et vidéo, et en utilisant des données annotées par des humains comme indice pour les matériaux qui pourraient déranger les spectateurs.

Intitulé Est-ce nocif? Apprendre à prédire les évaluations de nocivité à partir de vidéos, l’article souligne la nécessité pour les systèmes d’apprentissage automatique de prendre en compte l’ensemble du contexte d’une scène, et montre les nombreuses façons dont le contenu inoffensif (comme le contenu humoristique ou satirique) pourrait être mal interprété comme nocif dans une approche moins sophistiquée et multimodale de l’analyse de la vidéo – notamment parce que la bande sonore musicale d’un film est souvent utilisée de manière inattendue, soit pour déstabiliser, soit pour rassurer le spectateur, et comme contrepoint plutôt que comme complément de la composante visuelle.

Un jeu de données de vidéos potentiellement nocives

Les chercheurs notent que les développements utiles dans ce secteur ont été entravés par la protection du droit d’auteur des films, ce qui rend la création de jeux de données ouverts et généraux problématiques. Ils observent également que, à ce jour, des expériences similaires ont souffert d’une rareté d’étiquettes pour les films complets, ce qui a conduit les travaux précédents à simplifier à l’excès les données contributives, ou à se concentrer sur un seul aspect des données, tel que les couleurs dominantes ou l’analyse du dialogue.

Pour répondre à cela, les chercheurs ont compilé un jeu de données de 4000 extraits vidéo, des bandes-annonces coupées en morceaux d’environ dix secondes de long, qui ont ensuite été étiquetées par des classificateurs de films professionnels qui supervisent l’application des évaluations pour les nouveaux films en Suède, dont beaucoup ont des qualifications professionnelles en psychologie de l’enfant.

Selon le système suédois de classification des films, le « contenu nocif » est défini en fonction de sa possible propension à produire des sentiments d’anxiété, de peur et d’autres effets négatifs chez les enfants. Les chercheurs notent que, puisque ce système d’évaluation implique autant d’intuition et d’instinct que de science, les paramètres de la définition du « contenu nocif » sont difficiles à quantifier et à intégrer dans un système automatisé.

Définir la nocivité

L’article observe en outre que les systèmes d’apprentissage automatique et algorithmiques précédents qui abordaient ce défi ont utilisé la détection de facettes spécifiques comme critère, notamment la détection visuelle du sang et des flammes, le son de l’explosion, et la fréquence de la longueur de plan, parmi d’autres définitions restreintes de contenu nocif, et qu’une approche multi-domaine semble offrir une meilleure méthodologie pour l’évaluation automatique du contenu nocif.

Les chercheurs suédois ont formé un modèle de réseau neuronal de 50 couches 8×8 sur la référence de mouvement humain Kinetics-400 jeu de données, et ont créé une architecture conçue pour fusionner les prédictions vidéo et audio.

En effet, l’utilisation de bandes-annonces résout trois problèmes pour la création d’un jeu de données de cette nature: elle élimine les problèmes de droit d’auteur; l’augmentation de la turbulence et de la fréquence de plan des bandes-annonces (par rapport aux films d’origine) permet une fréquence d’annotation plus élevée; et elle garantit que la faible incidence de contenu violent ou dérangeant dans un film entier ne déséquilibre pas le jeu de données et ne le classe pas accidentellement comme adapté aux enfants.

Résultats

Une fois le modèle formé, les chercheurs suédois ont testé le système contre des extraits vidéo.

Dans cette bande-annonce pour The Deep (2012), les deux modèles utilisés pour tester le système (étiquettes aléatoires vs. étiquettes probabilistes) ont classé avec succès le film comme adapté aux spectateurs âgés de 11 ans et plus.

Source: https://arxiv.org/pdf/2106.08323.pdf

Pour une scène du film Discarnate (2018) où un antagoniste monstrueux est introduit, le cadre dual a à nouveau estimé correctement la fourchette d’âge cible à 11+/15+.

Cependant, un extrait de la bande-annonce pour A Second Chance (2014) a présenté une plus grande difficulté, car le modèle n’a pas pu s’accorder avec les annotations humaines pour la scène, qui l’avait classée comme « BT » (universellement acceptable). En effet, l’algorithme a détecté un potentiel de nuisance que les évaluateurs humains n’ont pas attribué à celui-ci.

Bien que les chercheurs attestent un score de précision élevé pour le système, certaines défaillances se sont produites, comme cet extrait de City State (2011), qui présente un homme nu détenu menacé avec un fusil.

Dans ce cas, le système a attribué une évaluation de 11+ à l’extrait, contrairement aux annotations humaines.

Dissonance entre l’intention et la nocivité

L’article note que, lors de l’évaluation d’un extrait de la bande-annonce pour Paydirt (2020), le système attribue correctement une évaluation « universelle » à l’extrait en fonction des aspects visuels et linguistiques (bien que les personnages discutent d’armes à feu, l’intention est comique), mais est confus par la musique menaçante utilisée de manière dissonante, qui peut avoir un contexte satirique.

De même, dans une bande-annonce pour le film For Sama (2019), le style menaçant du contenu musical n’est pas en accord avec le contenu visuel, et une fois de plus, le système éprouve des difficultés à dissocier les deux composantes pour porter un jugement uniforme qui couvre à la fois le contenu audio et vidéo de l’extrait.

Enfin, le système navigue correctement la dissonance audio/vidéo dans un extrait de bande-annonce pour Virgin Mountain (2015), qui contient certains indices visuels menaçants (c’est-à-dire une fenêtre brisée) qui sont contrecarrés par la musique. Ainsi, le cadre estime correctement que l’extrait est évalué « universel » (BT).

Les chercheurs reconnaissent que ce système est exclusivement axé sur les enfants, avec des résultats peu susceptibles de se généraliser à d’autres types de spectateurs. Ils suggèrent également que la codification du « contenu nocif » de cette manière linéaire pourrait potentiellement conduire à des systèmes de notation algorithmiques moins imprévisibles, mais notent le potentiel de répression indésirable des idées dans le développement de telles approches:

‘Évaluer si le contenu est nocif est une question délicate. Il existe un important équilibre entre la liberté d’information et la protection des groupes sensibles. Nous croyons que ce travail va dans la bonne direction, en étant le plus transparent possible sur les critères utilisés pour évaluer la nocivité. De plus, nous croyons que la séparation de la nocivité et de l’adéquation est une étape importante pour rendre la classification du contenu nocif plus objective.

‘… La détection de contenu nocif est également d’intérêt pour les plateformes en ligne telles que YouTube. Sur ces plateformes, l’équilibre entre la liberté d’information et la protection devient encore plus important et est encore compliqué par la nature propriétaire des algorithmes responsables.’