Investigadores identifican un rasgo resistente de los deepfakes que podría ayudar en la detección a largo plazo

Desde que surgieron las primeras soluciones de detección de deepfakes en 2018, el sector de investigación de visión por computadora y seguridad ha estado buscando definir una característica esencial de los videos de deepfakes – señales que podrían ser resistentes a las mejoras en las tecnologías de síntesis facial populares (como los paquetes de deepfakes basados en autoencoders como DeepFaceLab y FaceSwap, y el uso de Redes Adversarias Generativas para recrear, simular o alterar caras humanas).

Muchos de los “indicios” como la falta de parpadeo, se volvieron obsoletos debido a las mejoras en los deepfakes, mientras que el uso potencial de técnicas de provenencia digital (como la Iniciativa de Autenticidad de Contenido liderada por Adobe ) – incluyendo enfoques de blockchain y marcas de agua digitales de fotos de origen potencial – requieren cambios importantes y costosos en el cuerpo existente de imágenes de origen disponibles en Internet, o necesitan un esfuerzo cooperativo notable entre naciones y gobiernos para crear sistemas de vigilancia y autenticación.

Por lo tanto, sería muy útil si se pudiera discernir una característica fundamental y resistente en el contenido de imagen y video que presenta caras humanas alteradas, inventadas o intercambiadas de identidad; una característica que podría inferirse directamente de los videos falsificados, sin verificación a gran escala, hash de activos criptográficos, verificación de contexto, evaluación de plausibilidad, rutinas de detección de artefactos o otros enfoques onerosos para la detección de deepfakes.

Deepfakes en el marco

Una nueva colaboración de investigación entre China y Australia cree que ha encontrado este “santo grial”, en la forma de disrupción de regularidad.

Los autores han ideado un método para comparar la integridad espacial y la continuidad temporal de los videos reales con los que contienen contenido de deepfakes, y han descubierto que cualquier tipo de interferencia de deepfake disrumpe la regularidad de la imagen, aunque sea imperceptiblemente.

Esto se debe en parte a que el proceso de deepfake descompone el video objetivo en cuadros y aplica el efecto de un modelo de deepfake entrenado en cada cuadro (sustituido). Las distribuciones de deepfakes populares actúan de la misma manera que los animadores, en este respecto, prestando más atención a la autenticidad de cada cuadro que a la contribución de cada cuadro a la integridad espacial y la continuidad temporal del video.

Del papel: A) Diferencias entre los tipos de datos. Aquí vemos que las perturbaciones de p-fake cambian la calidad espaciotemporal de la imagen de la misma manera que lo hace un deepfake, sin sustituir la identidad. B) Análisis de ruido de los tres tipos de datos, mostrando cómo p-fake imita la disrupción de deepfake. C) Visualización temporal de los tres tipos de datos, con datos reales que demuestran una mayor integridad en la fluctuación. D) La visualización de T-SNE de las características extraídas para video real, falso y p-fake. Fuente: https://arxiv.org/pdf/2207.10402.pdf

Esto no es la forma en que un códec de video trata una serie de cuadros cuando se está grabando o procesando una grabación original. Para ahorrar espacio de archivo o hacer que un video sea adecuado para streaming, se descarta una gran cantidad de información por el códec de video. Incluso en sus ajustes de mayor calidad, el códec asignará cuadros clave (una variable que puede ser configurada por el usuario) – imágenes enteras, prácticamente sin comprimir, que ocurren a un intervalo preestablecido en el video.

Los cuadros intermedios entre los cuadros clave son, en cierta medida, estimados como una variante de los cuadros, y reutilizarán la mayor cantidad posible de información de los cuadros clave adyacentes, en lugar de ser cuadros completos por derecho propio.

A la izquierda, un cuadro clave completo, o ‘i-cuadro’, se almacena en el video comprimido, a expensas del tamaño del archivo; a la derecha, un cuadro delta intermedio reutiliza cualquier parte aplicable del cuadro clave más rico en datos. Fuente: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

De esta manera, el bloque (que contiene x número de cuadros, dependiendo de la configuración de los cuadros clave) es arguablemente la unidad más pequeña considerada en un video comprimido típico, en lugar de cualquier cuadro individual. Incluso el cuadro clave en sí, conocido como i-cuadro, forma parte de esa unidad.

En términos de animación tradicional de dibujos animados, un códec está realizando una especie de entrelazado, con los cuadros clave que operan como postes de tienda para los cuadros intermedios derivados, conocidos como cuadros delta.

Por contraste, la superposición de deepfake dedica una gran atención y recursos a cada cuadro individual, sin considerar el contexto más amplio, y sin tener en cuenta la forma en que la compresión y la codificación basada en bloques afectan las características del video “auténtico”.

Un vistazo más cercano a la discontinuidad entre la calidad temporal de un video auténtico (izquierda) y el mismo video cuando se ve perturbado por deepfakes (derecha).

Aunque algunos de los mejores deepfakers utilizan un procesamiento posterior extenso, en paquetes como After Effects, y aunque la distribución DeepFaceLab tiene alguna capacidad nativa para aplicar procedimientos de “mezcla” como el desenfoque de movimiento, este tipo de habilidad no afecta la falta de coincidencia entre la calidad espacial y temporal de los videos auténticos y falsificados.

El nuevo artículo se titula Detección de deepfakes mediante la creación de disrupción de regularidad espaciotemporal, y proviene de investigadores de la Universidad Tsinghua, el Departamento de Tecnología de Visión por Computadora (VIS) de Baidu Inc. y la Universidad de Melbourne

‘Falsos’ videos falsos

Los investigadores detrás del artículo han incorporado la funcionalidad de la investigación en un módulo de “plug-and-play” llamado Generador de pseudo-falsos ( Generador de p-fake ), que transforma videos reales en videos de “falsos” falsos, perturbándolos de la misma manera que el proceso real de deepfake lo hace, sin realizar en realidad ninguna operación de deepfake.

Las pruebas indican que el módulo se puede agregar a todos los sistemas de detección de deepfakes existentes a un costo prácticamente cero de recursos, y que mejora notablemente su rendimiento.

El descubrimiento podría ayudar a abordar uno de los otros obstáculos en la investigación de detección de deepfakes: la falta de conjuntos de datos auténticos y actualizados. Dado que la generación de deepfakes es un proceso elaborado y consume mucho tiempo, la comunidad ha desarrollado una serie de conjuntos de datos de deepfakes en los últimos cinco años, muchos de los cuales están bastante desactualizados.

Al aislar la disrupción de regularidad como una señal de deepfake-agnóstico para videos alterados post-facto, el nuevo método hace posible generar muestras y conjuntos de datos ilimitados que se centran en este aspecto de los deepfakes.

Visión general del bloque STE, donde se utiliza la convolución temporal por canal como un estímulo para generar codificaciones espaciotemporales mejoradas, lo que da como resultado la misma firma que incluso un deepfake muy convincente produciría. Mediante este método, se pueden generar ‘falsos’ videos falsos que tienen las mismas características de firma que cualquier video alterado, estilo deepfake, y que no dependen de distribuciones particulares ni de aspectos volátiles como el comportamiento de las características o los artefactos algorítmicos.

Pruebas

Los investigadores realizaron experimentos en seis conjuntos de datos notables utilizados en la investigación de detección de deepfakes: FaceForensics++ (FF++); WildDeepFake; Vista previa del desafío de detección de deepfakes (DFDCP); Celeb-DF; Detección de deepfakes (DFD); y Face Shifter (FSh).

Para FF++, los investigadores entrenaron su modelo en el conjunto de datos original y probaron cada una de las cuatro subconjuntos por separado. Sin el uso de ningún material de deepfake en el entrenamiento, el nuevo método fue capaz de superar los resultados del estado del arte.

El método también ocupó el primer lugar cuando se comparó con el conjunto de datos FF++ C23 comprimido, que proporciona ejemplos que presentan los tipos de artefactos de compresión que son creíbles en entornos de visualización de deepfakes del mundo real.

Los autores comentan:

‘Los rendimientos dentro de FF++ validan la factibilidad de nuestra idea principal, mientras que la generalización sigue siendo un problema importante de los métodos de detección de deepfakes existentes, ya que el rendimiento no está garantizado cuando se prueba en deepfakes generados por técnicas no vistas.

‘Considerando además la realidad de la carrera armamentística entre detectores y forjadores, la generalización es un criterio importante para medir la efectividad de un método de detección en el mundo real.’

Aunque los investigadores realizaron una serie de subpruebas (ver artículo para detalles) sobre “robustez” y variando los tipos de videos de entrada (es decir, reales, falsos, p-fake, etc.), los resultados más interesantes son los de la prueba de rendimiento entre conjuntos de datos.

Para esto, los autores entrenaron su modelo en la versión “del mundo real” c23 de FF++ mencionada anteriormente y lo probaron contra cuatro conjuntos de datos, obteniendo, según los autores, un rendimiento superior en todos ellos.

Resultados del desafío de conjunto de datos cruzado. El artículo señala que SBI utiliza un enfoque similar al de los autores, mientras que, según los investigadores, p-fake muestra un mejor rendimiento para la disrupción de regularidad espaciotemporal.

El artículo establece:

‘En el desafío Deepwild más desafiante, nuestro método supera el método SOTA en aproximadamente 10 puntos porcentuales en términos de AUC%. Creemos que esto se debe a la gran diversidad de deepfakes en Deepwild, lo que hace que otros métodos fallen al generalizar bien a partir de deepfakes vistos.’

Las métricas utilizadas para las pruebas fueron Puntuación de Precisión (ACC), Área bajo la Curva de la Característica de Operación del Receptor (AUC) y Tasa de Error Igual (EER).

Contraataques

Aunque los medios caracterizan la tensión entre los desarrolladores de deepfakes y los investigadores de detección de deepfakes en términos de una guerra tecnológica, es posible que los primeros simplemente estén tratando de producir una salida más convincente, y que la mayor dificultad en la detección de deepfakes sea un subproducto circunstancial de estos esfuerzos.

Si los desarrolladores intentarán abordar esta debilidad recién revelada depende, quizás, de si sienten que la disrupción de regularidad puede percibirse en un video de deepfake, a simple vista, como un token de no autenticidad, y que por lo tanto esta métrica es digna de abordar desde un punto de vista cualitativo.

Aunque han pasado cinco años desde que los primeros deepfakes se publicaron en línea, la tecnología de deepfakes sigue siendo relativamente incipiente, y la comunidad está arguablemente más obsesionada con el detalle y la resolución que con el contexto correcto o con emparejar las firmas de la compresión de video, ambas cosas que requieren una cierta “degradación” de la salida – justo lo que la comunidad de deepfakes está luchando actualmente.

Si el consenso general allí resulta ser que la disrupción de regularidad es una firma naciente que no afecta la calidad, es posible que no haya esfuerzo para compensarla – incluso si se puede “cancelar” mediante algún procedimiento de procesamiento posterior o en-arquitectura, lo que está lejos de estar claro.

Publicado por primera vez el 22 de julio de 2022.