Identificar contenido de video dañino con avances de películas y aprendizaje automático

Un artículo de investigación del Consejo de Medios de Comunicación de Suecia describe un posible nuevo enfoque para la identificación automática de “contenido dañino”, considerando por separado el contenido de audio y video, y utilizando datos anotados por humanos como índice de referencia para material que puede perturbar a los espectadores.

Titulado ¿Es esto dañino? Aprender a predecir calificaciones de dañino de video, el artículo ilustra la necesidad de que los sistemas de aprendizaje automático tengan en cuenta el contexto completo de una escena, y muestra las muchas formas en que el contenido inofensivo (como contenido humorístico o satírico) podría ser malinterpretado como dañino en un enfoque menos sofisticado y multimodal para el análisis de video – no menos porque la banda sonora musical de una película a menudo se utiliza de maneras inesperadas, ya sea para inquietar o tranquilizar al espectador, y como contrapunto en lugar de complemento del componente visual.

Un conjunto de datos de videos potencialmente dañinos

Los investigadores señalan que los desarrollos útiles en este sector han sido obstaculizados por la protección por derechos de autor de las películas, lo que hace que la creación de conjuntos de datos de código abierto generalizados sea problemática. También observan que, hasta la fecha, experimentos similares han sufrido de una escasez de etiquetas para películas de larga duración, lo que ha llevado a que trabajos anteriores simplifiquen los datos contribuyentes o se centren en un solo aspecto de los datos, como el análisis de colores dominantes o el análisis del diálogo.

Para abordar esto, los investigadores han compilado un conjunto de datos de video de 4000 clips de video, avances de películas recortados en trozos de alrededor de diez segundos de duración, que luego fueron etiquetados por clasificadores de películas profesionales que supervisan la aplicación de calificaciones para nuevas películas en Suecia, muchos con calificaciones profesionales en psicología infantil.

Bajo el sistema de clasificación de películas de Suecia, el “contenido dañino” se define en función de su posible propensión a producir sentimientos de ansiedad, miedo y otros efectos negativos en los niños. Los investigadores señalan que, dado que este sistema de calificación implica tanto intuición como ciencia, los parámetros para la definición de “contenido dañino” son difíciles de cuantificar y de instalar en un sistema automatizado.

Definir daño

El artículo observa además que los sistemas de aprendizaje automático y algorítmicos anteriores que abordaron este desafío utilizaron la detección de facetas específicas como criterio, incluida la detección visual de sangre y llamas, el sonido de estallidos y la frecuencia de la longitud de la toma, entre otras definiciones restringidas de contenido dañino, y que un enfoque multi-dominio parece ofrecer una mejor metodología para la calificación automática de contenido dañino.

Los investigadores suecos entrenaron un modelo de red neuronal de 8×8 y 50 capas en la referencia de movimiento humano Kinetics-400 dataset, y crearon una arquitectura diseñada para fusionar predicciones de video y audio.

En efecto, el uso de avances de películas resuelve tres problemas para la creación de un conjunto de datos de este tipo: evita los problemas de derechos de autor; el aumento de la turbulencia y la mayor frecuencia de tomas de los avances (en comparación con las películas originales) permiten una mayor frecuencia de anotación; y garantiza que la baja incidencia de contenido violento o perturbador en una película completa no desequilibre el conjunto de datos y lo clasifique accidentalmente como adecuado para niños.

Resultados

Una vez entrenado el modelo, los investigadores suecos probaron el sistema contra clips de video.

En este avance de Lo profundo (2012), los dos modelos utilizados para probar el sistema (etiquetas aleatorias vs. etiquetas probabilísticas) clasificaron con éxito la película como adecuada para espectadores de 11 años o más.

Fuente: https://arxiv.org/pdf/2106.08323.pdf

Para una escena de Discarnate (2018) donde se introduce a un antagonista monstruoso, el marco dual estimó correctamente el rango de edad objetivo como 11+/15+.

Sin embargo, un clip del avance de Una segunda oportunidad (2014) presentó una mayor dificultad, ya que el modelo no pudo ponerse de acuerdo con las anotaciones humanas para la escena, que había clasificado como ‘BT’ (universalmente aceptable). En efecto, el algoritmo ha detectado un posible daño que los evaluadores humanos no han asignado a él.

Aunque los investigadores afirman una alta puntuación de precisión para el sistema, algunos fracasos ocurrieron, como este clip de Estado de ciudad (2011), que presenta a un hombre desnudo detenido amenazado con un rifle.

En este caso, el sistema ha asignado una calificación de 11+ al clip, en contraste con las anotaciones humanas.

Disonancia entre intención y dañino

El artículo señala que al evaluar un clip del avance de Pago de deuda (2020), el sistema asigna correctamente una calificación ‘universal’ al clip en función de los aspectos visuales y lingüísticos (aunque los personajes están discutiendo armas de fuego, la intención es cómica), pero se confunde con la música amenazante utilizada de manera disonante, que puede tener un contexto satírico.

De manera similar, en un avance de la película Para Sama (2019), el estilo amenazante del contenido musical no se corresponde con el contenido visual, y una vez más, el sistema experimenta dificultades para desentrañar los dos componentes para hacer un juicio uniforme que abarque tanto el contenido de audio como el de video del clip.

Finalmente, el sistema navega correctamente la disonancia entre audio y video en un clip de avance de Montaña virgen (2015), que contiene algunas señales visuales amenazantes (es decir, una ventana rota) que son socavadas por la música. Así, el marco correctamente adivina que el clip está clasificado como ‘universal’ (BT).

Los investigadores admiten que un sistema de este tipo se centra exclusivamente en los niños, con resultados poco probablemente generalizables a otros tipos de espectadores. También sugieren que codificar el “contenido dañino” de esta manera lineal podría potencialmente conducir a sistemas de calificación algorítmicos menos impredecibles, pero señalan el potencial de represión no deseada de ideas en el desarrollo de estos enfoques:

‘Evaluar si el contenido es dañino es un asunto delicado. Existe un importante equilibrio entre la libertad de información y la protección de grupos sensibles. Creemos que este trabajo da un paso en la dirección correcta, al ser lo más transparente posible sobre los criterios utilizados para evaluar la dañino. Además, creemos que separar la dañino de la idoneidad es un paso importante hacia la clasificación más objetiva del contenido dañino.

‘… Detectar contenido dañino también es de interés para plataformas en línea como YouTube. En dichas plataformas, el equilibrio entre la libertad de información y la protección se vuelve aún más importante y se complica aún más por la naturaleza propietaria de los algoritmos responsables.’