Investigadores identifican un rasgo resistente de los deepfakes que podría ayudar en la detección a largo plazo

Desde que surgieron las primeras soluciones de detección de deepfakes en 2018, el sector de investigación de visión por computadora y seguridad ha estado buscando definir una característica esencial de los videos deepfakes – señales que podrían resistir mejoras en las tecnologías de síntesis facial populares (como paquetes de deepfakes basados en autoencoder como DeepFaceLab y FaceSwap, y el uso de Redes Adversarias Generativas para recrear, simular o alterar caras humanas).

Muchos de los ‘indicios’, como la falta de parpadeo, se volvieron redundantes debido a mejoras en los deepfakes, mientras que el uso potencial de técnicas de provenencia digital (como la Iniciativa de Autenticidad de Contenido liderada por Adobe) – incluyendo enfoques de blockchain y marcas de agua digitales de fotos de origen potencial – requieren cambios generalizados y costosos en el cuerpo existente de imágenes de origen disponibles en Internet, o de lo contrario necesitarían un esfuerzo cooperativo notable entre naciones y gobiernos para crear sistemas de vigilancia y autenticación.

Por lo tanto, sería muy útil si se pudiera discernir un rasgo fundamental y resistente en el contenido de imagen y video que presenta caras humanas alteradas, inventadas o con identidad cambiada; una característica que podría inferirse directamente de los videos falsificados, sin verificación a gran escala, hash de activos criptográficos, verificación de contexto, evaluación de plausibilidad, rutinas de detección centradas en artefactos u otros enfoques engorrosos para la detección de deepfakes.

Deepfakes en el marco

Una nueva colaboración de investigación entre China y Australia cree que ha encontrado este ‘santo grial’, en la forma de disrupción de regularidad.

Los autores han ideado un método para comparar la integridad espacial y la continuidad temporal de los videos reales con los que contienen contenido deepfaked, y han encontrado que cualquier tipo de interferencia deepfake disrupción la regularidad de la imagen, por imperceptible que sea.

Esto se debe en parte a que el proceso deepfake descompone el video objetivo en cuadros y aplica el efecto de un modelo deepfake entrenado en cada cuadro (sustituido). Las distribuciones de deepfakes populares actúan de la misma manera que los animadores, en este sentido, prestando más atención a la autenticidad de cada cuadro que a la contribución de cada cuadro a la integridad espacial y la continuidad temporal general del video.

Del papel: A) Diferencias entre los tipos de datos. Aquí vemos que las perturbaciones de p-fake cambian la calidad espaciotemporal de la imagen de la misma manera que un deepfake, sin sustituir la identidad. B) Análisis de ruido de los tres tipos de datos, mostrando cómo p-fake imita la disrupción deepfake. C) Visualización temporal de los tres tipos de datos, con datos reales que demuestran una mayor integridad en la fluctuación. D) La visualización T-SNE de las características extraídas para video real, falso y p-fake . Fuente: https://arxiv.org/pdf/2207.10402.pdf

Esto no es la forma en que un códec de video trata una serie de cuadros cuando se está grabando o procesando una grabación original. Para ahorrar espacio de archivo o hacer que un video sea adecuado para transmisión, se descarta una gran cantidad de información por el códec de video. Incluso en sus ajustes de mayor calidad, el códec asignará cuadros clave (una variable que puede ser configurada por el usuario) – imágenes enteras, prácticamente sin comprimir, que ocurren a intervalos preestablecidos en el video.

Los cuadros intermedios entre los cuadros clave son, en cierta medida, estimados como una variante de los cuadros, y reutilizarán la mayor cantidad posible de información de los cuadros clave adyacentes, en lugar de ser cuadros completos por derecho propio.

A la izquierda, un cuadro clave completo, o ‘i-cuadro’, se almacena en el video comprimido, a expensas del tamaño del archivo; a la derecha, un cuadro delta intermedio reutiliza cualquier parte aplicable del cuadro clave más rico en datos. Fuente: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

De esta manera, el bloque (que contiene x número de cuadros, dependiendo de la configuración de los cuadros clave) es, en cierto sentido, la unidad más pequeña considerada en un video comprimido típico, en lugar de cualquier cuadro individual. Incluso el propio cuadro clave, conocido como i-cuadro, forma parte de esa unidad.

En términos de animación tradicional de dibujos animados, un códec está realizando una especie de entrelazado, con los cuadros clave que operan como postes de tienda para los cuadros intermedios derivados, conocidos como cuadros delta.

En contraste, la superposición deepfake dedica una enorme atención y recursos a cada cuadro individual, sin considerar el contexto más amplio del cuadro, y sin permitir que la compresión y la codificación basada en bloques afecten las características del video ‘auténtico’.

Un vistazo más cercano a la discontinuidad entre la calidad temporal de un video auténtico (izquierda) y el mismo video cuando se ve perturbado por deepfakes (derecha).

Aunque algunos de los mejores deepfakers utilizan un procesamiento posterior extensivo, en paquetes como After Effects, y aunque la distribución DeepFaceLab tiene alguna capacidad nativa para aplicar procedimientos de ‘mezcla’ como el desenfoque de movimiento, este tipo de habilidad no afecta la discrepancia entre la calidad espacial y temporal de los videos auténticos y deepfakes.

El nuevo papel se titula Detección de deepfakes mediante la creación de disrupción de regularidad espaciotemporal, y proviene de investigadores de la Universidad Tsinghua, el Departamento de Tecnología de Visión por Computadora (VIS) en Baidu Inc., y la Universidad de Melbourne

‘Falsos’ videos falsos

Los investigadores detrás del papel han incorporado la funcionalidad de la investigación en un módulo de ‘conectar y jugar’ llamado Generador de pseudo-fake (Generador de p-fake), que transforma videos reales en videos falsos, perturbándolos de la misma manera que el proceso deepfake real, sin realizar en realidad ninguna operación deepfake.

Las pruebas indican que el módulo se puede agregar a todos los sistemas de detección de deepfakes existentes a un costo de recursos prácticamente cero, y que mejora notablemente su rendimiento.

El descubrimiento podría ayudar a abordar uno de los otros obstáculos en la investigación de detección de deepfakes: la falta de conjuntos de datos auténticos y actualizados. Dado que la generación de deepfakes es un proceso elaborado y que consume mucho tiempo, la comunidad ha desarrollado una serie de conjuntos de datos de deepfakes en los últimos cinco años, muchos de los cuales están bastante desactualizados.

Al aislar la disrupción de regularidad como una señal de deepfake-agnóstico para videos alterados post-facto, el nuevo método hace posible generar muestras y conjuntos de datos de video ilimitados que se centran en este aspecto de los deepfakes.

Visión general del bloque STE, donde se utiliza la convolución temporal por canal como un estímulo para generar codificaciones espaciotemporales mejoradas, lo que da como resultado la misma firma que incluso un deepfake muy convincente produciría. Mediante este método, se pueden generar ‘falsos’ videos falsos que tengan las mismas características de firma que cualquier video alterado al estilo deepfake, y que no dependan de distribuciones particulares o de aspectos volátiles como el comportamiento de las características o los artefactos algorítmicos.

Pruebas

Los investigadores realizaron experimentos en seis conjuntos de datos notados utilizados en la investigación de detección de deepfakes: FaceForensics++ (FF++); WildDeepFake; Desafío de detección de deepfakes (DFDCP); Celeb-DF; Detección de deepfakes (DFD); y Face Shifter (FSh).

Para FF++, los investigadores entrenaron su modelo en el conjunto de datos original y probaron cada uno de los cuatro subconjuntos por separado. Sin el uso de ningún material deepfake en el entrenamiento, el nuevo método fue capaz de superar los resultados del estado de la técnica.

El método también ocupó el primer lugar cuando se comparó con el conjunto de datos FF++ C23 comprimido, que proporciona ejemplos que presentan el tipo de artefactos de compresión que son creíbles en entornos de visualización de deepfakes del mundo real.

Los autores comentan:

‘Los rendimientos dentro de FF++ validan la factibilidad de nuestra idea principal, mientras que la generalización sigue siendo un problema importante de los métodos de detección de deepfakes existentes, ya que el rendimiento no está garantizado cuando se prueba en deepfakes generados por técnicas no vistas.

‘Consideremos además la realidad de la carrera armamentística entre detectores y forjadores, la generalización es un criterio importante para medir la eficacia de un método de detección en el mundo real.’

Aunque los investigadores realizaron una serie de subpruebas (ver papel para detalles) sobre ‘robustez’, y variando los tipos de videos de entrada (es decir, reales, falsos, p-fake, etc.), los resultados más interesantes son de la prueba de rendimiento entre conjuntos de datos.

Para esto, los autores entrenaron su modelo en la versión ‘del mundo real’ c23 de FF++, y lo probaron contra cuatro conjuntos de datos, obteniendo, según los autores, un rendimiento superior en todos ellos.

Resultados del desafío entre conjuntos de datos. El papel señala que SBI utiliza un enfoque similar al de los autores, mientras que, según los investigadores, p-fake muestra un mejor rendimiento para la disrupción de regularidad espaciotemporal.

El papel establece:

‘En el desafío Deepwild más difícil, nuestro método supera el método SOTA por unos 10 puntos porcentuales en términos de AUC%. Creemos que esto se debe a la gran diversidad de deepfakes en Deepwild, lo que hace que otros métodos no puedan generalizar bien a partir de deepfakes vistos.’

Las métricas utilizadas para las pruebas fueron Puntuación de Precisión (ACC), Área bajo la Curva de la Característica de Operación del Receptor (AUC) y Tasa de Error Equitativa (EER).

Contraataques

Aunque los medios caracterizan la tensión entre los desarrolladores de deepfakes y los investigadores de detección de deepfakes en términos de una guerra tecnológica, es posible que los primeros simplemente estén tratando de hacer que la salida sea más convincente, y que la mayor dificultad en la detección de deepfakes sea un subproducto circunstancial de estos esfuerzos.

Si los desarrolladores intentarán abordar esta debilidad recién revelada depende, quizás, de si sienten que la disrupción de regularidad puede percibirse en un video deepfake, a simple vista, como un token de inautenticidad, y que, por lo tanto, esta métrica vale la pena abordar desde un punto de vista puramente cualitativo.

Aunque han pasado cinco años desde que los primeros deepfakes se publicaron en línea, el deepfaking sigue siendo una tecnología relativamente naciente, y la comunidad está, posiblemente, más obsesionada con el detalle y la resolución que con el contexto correcto o con emparejar las firmas de los videos comprimidos, ambos de los cuales requieren una cierta ‘degradación’ de la salida – exactamente lo que la comunidad de deepfakes está luchando actualmente.

Si el consenso general allí resulta ser que la disrupción de regularidad es una firma naciente que no afecta la calidad, es posible que no haya ningún esfuerzo por compensarla – incluso si se puede ‘cancelar’ mediante algún procedimiento de procesamiento posterior o en-arquitectura, lo cual está lejos de estar claro.

Publicado por primera vez el 22 de julio de 2022.