Nuevo método detecta Deep Fakes con una precisión del 99%

Un equipo de científicos informáticos de la Universidad de California en Riverside ha desarrollado un nuevo método para detectar expresiones faciales manipuladas en videos de deep fakes. El método puede detectar estas expresiones con una precisión de hasta el 99%, lo que lo hace más preciso que los métodos actuales de vanguardia.

El nuevo artículo de investigación titulado “Detección y localización de manipulaciones de expresiones faciales” se presentó en la Conferencia de invierno de 2022 sobre aplicaciones de visión por computadora.

Detección de cualquier manipulación facial

El método también demostró ser tan preciso como los métodos actuales en casos en los que la identidad facial había sido intercambiada en lugar de las expresiones. Esto significa que el nuevo enfoque se puede utilizar para detectar cualquier tipo de manipulación facial y es un paso importante hacia el desarrollo de herramientas automatizadas para detectar videos manipulados.

Nunca ha sido más fácil intercambiar el rostro de una persona por otro o alterar expresiones originales debido a los avances recientes en el software de edición de video. La detección de estos métodos es muy importante, ya que se están desplegando cada vez más en diversos conflictos domésticos e internacionales en todo el mundo. Con eso dicho, identificar caras con expresiones intercambiadas solo ha sido extremadamente desafiante.

Amit Roy-Chowdhury es profesor de ingeniería eléctrica y computacional de la Facultad de Ingeniería Bourns. También es coautor de la investigación.

“Lo que hace que el área de investigación de deep fakes sea más desafiante es la competencia entre la creación y la detección y prevención de deep fakes, que se volverá cada vez más feroz en el futuro. Con más avances en los modelos generativos, los deepfakes serán más fáciles de sintetizar y más difíciles de distinguir de los reales”, dijo.

Imagen: UC Riverside

Detección de manipulación de expresiones (EMD)

El nuevo método divide la tarea en dos componentes dentro de una red neuronal profunda. La primera rama discierne las expresiones faciales mientras proporciona información sobre las regiones que contienen la expresión. Estas regiones pueden incluir la boca, los ojos, la frente y más. Esta información se alimenta a la segunda rama, que es una arquitectura codificador-decodificador responsable de la detección y localización de la manipulación.

El equipo denominó el marco Detección de manipulación de expresiones (EMD), y puede detectar y localizar regiones específicas que han sido alteradas en una imagen.

Ghazal Mazaheri es un estudiante de doctorado y líder de la investigación.

“El aprendizaje multi-tarea puede aprovechar las características prominentes aprendidas por los sistemas de reconocimiento de expresiones faciales para beneficiar la capacitación de los sistemas de detección de manipulación convencionales. Este enfoque logra un rendimiento impresionante en la detección de manipulaciones de expresiones faciales”, dijo Mazaheri.

Los investigadores llevaron a cabo experimentos en dos conjuntos de datos de manipulación facial desafiantes, y demostraron que EMD funciona mejor con manipulaciones de expresiones faciales y también con intercambios de identidad. Detectó con precisión el 99% de los videos manipulados.