Identificando Deepfakes de Celebridades desde las Regiones Exteriores del Rostro

Una nueva colaboración entre Microsoft y una universidad china ha propuesto una nueva forma de identificar deepfakes de celebridades, aprovechando las limitaciones de las técnicas de deepfake actuales para reconocer identidades que han sido “proyectadas” sobre otras personas.

El enfoque se llama Identity Consistency Transformer (ICT), y funciona comparando las partes externas del rostro (mandíbula, pómulos, línea del cabello y otros rasgos marginales externos) con el interior del rostro. El sistema explota los datos de imágenes públicas disponibles de personas famosas, lo que limita su eficacia a celebridades populares, cuyas imágenes están disponibles en gran número en conjuntos de datos de visión por computadora ampliamente disponibles y en Internet.

La cobertura de falsificación de caras falsas en siete técnicas: DeepFake en FF+; DeepFake en Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; y DF-VAE. Paquetes populares como DeepFaceLab y FaceSwap proporcionan una cobertura similarmente limitada. Fuente: https://arxiv.org/pdf/2203.01318.pdf

Como ilustra la imagen de arriba, los métodos actuales de deepfake son bastante limitados en términos de recursos y dependen de caras anfitrionas adecuadas (la imagen o video de una persona que tendrá su identidad reemplazada por el deepfake) para minimizar la evidencia de sustitución de rostro.

Aunque los métodos variables pueden abarcar la frente completa y una gran parte de las áreas de la barbilla y los pómulos, todos están más o menos limitados dentro del marco de la cara anfitriona.

Un mapa de saliencia que enfatiza las ‘identidades internas’ y ‘externas’ calculadas por ICT. Donde se establece una coincidencia facial interna pero no corresponde la identidad externa, ICT evalúa la imagen como falsa.

En pruebas, ICT demostró ser capaz de detectar contenido de deepfake en entornos favorables para los deepfakes, como video de baja resolución, donde el contenido del video completo se degrada por artefactos de compresión, lo que ayuda a ocultar la evidencia residual del proceso de deepfake – una circunstancia que confunde a muchos métodos de detección de deepfakes competidores.

ICT supera a los competidores en el reconocimiento de contenido de deepfake. Ver el video incrustado al final del artículo para más ejemplos y mejor resolución. Ver el video incrustado al final del artículo para más ejemplos. Fuente: https://www.youtube.com/watch?v=zgF50dcymj8

El artículo se titula Protegiendo a las Celebridades con Identity Consistency Transformer, y proviene de nueve investigadores afiliados a la Universidad de Ciencia y Tecnología de China, Microsoft Research Asia y Microsoft Cloud + AI.

La Brecha de Credibilidad

Hay al menos un par de razones por las que los algoritmos de intercambio de caras populares como DeepFaceLab y FaceSwap descuidan el área más externa de las identidades faciales intercambiadas.

En primer lugar, entrenar modelos de deepfake es tiempo-consuming y crítico en términos de recursos, y la adopción de caras anfitrionas “compatibles” libera ciclos de GPU y épocas para concentrarse en las áreas internas relativamente inmutables del rostro que usamos para distinguir la identidad (ya que variables como la fluctuación de peso y el envejecimiento son menos propensas a cambiar estos rasgos faciales básicos en el corto plazo).

En segundo lugar, la mayoría de los enfoques de deepfake (y este es ciertamente el caso con DeepFaceLab, el software utilizado por los practicantes más populares o notorios) tienen una capacidad limitada para replicar márgenes “de final de cara” como áreas de mejillas y mandíbula, y están limitados por el hecho de que su código upstream (2017) no abordó extensivamente este problema.

En casos donde las identidades no coinciden bien, el algoritmo de deepfake debe “pintar” áreas de fondo alrededor del rostro, lo que hace de manera torpe incluso en las manos de los mejores deepfakers, como Ctrl Shift Face, cuya salida se utilizó en los estudios del artículo.

Lo mejor de lo mejor: fotogramas de un video de deepfake de Ctrl-Shift-Face, intercambiando a Jim Carrey sobre Gary Oldman. Este trabajo representa arguablemente la mejor salida actualmente disponible a través de DeepFaceLab y técnicas de post-procesamiento. Sin embargo, los intercambios siguen limitados a la atención relativamente escasa que DFL da a la cara externa, requiriendo un esfuerzo hercúleo de curación y entrenamiento de datos para abordar los rasgos más externos. Fuente: https://www.youtube.com/watch?v=x8igrh1eyLk

Esta “astucia” o desviación de la atención en gran medida escapa a la atención pública en la preocupación actual sobre la creciente realismo de los deepfakes, porque nuestras facultades críticas alrededor de los deepfakes aún están desarrollándose más allá de la etapa de “shock y asombro”.

Identidades Divididas

El nuevo artículo señala que la mayoría de los métodos anteriores de detección de deepfakes dependen de artefactos que delatan el proceso de intercambio, como posiciones de cabeza inconsistentes y parpadeo, entre numerosas otras técnicas. Solo esta semana, otro nuevo artículo de detección de deepfakes ha propuesto utilizar la “firma” de los diferentes tipos de modelos en el marco FaceSwap para ayudar a identificar video falsificado creado con él (ver imagen a continuación).

Identificando deepfakes caracterizando las firmas de diferentes tipos de modelos en el marco FaceSwap. Fuente: https://arxiv.org/pdf/2202.12951.pdf

Por contraste, la arquitectura de ICT crea dos identidades anidadas separadas para una persona, cada una de las cuales debe ser verificada antes de que se concluya que la identidad completa es “verdadera” o falsa.

Arquitectura para las fases de entrenamiento y prueba de ICT.

La división de identidades se facilita mediante un Transformer de visión, que realiza la identificación facial antes de dividir las regiones encuestadas en tokens que pertenecen a las identidades internas o externas.

Distribuyendo parches entre los dos signatarios de identidad paralelos.

El artículo establece:

‘Desafortunadamente, los métodos de verificación de rostro existentes tienden a caracterizar la región más discriminativa, es decir, la cara interna para la verificación y no logran capturar la información de identidad en la cara externa. Con Identity Consistency Transformer, entrenamos un modelo para aprender un par de vectores de identidad, uno para la cara interna y otro para la cara externa, diseñando un Transformer tal que las identidades internas y externas puedan aprenderse simultáneamente en un modelo unificado.’

Dado que no existe un modelo existente para este protocolo de identificación, los autores han ideado una nueva clase de pérdida de coherencia que puede actuar como una métrica para la autenticidad. Los tokens “internos” y “externos” que resultan del modelo de extracción de identidad se agregan a las incrustaciones de parches más convencionales producidas por los marcos de identificación facial.

Datos y Entrenamiento

La red ICT se entrenó en el conjunto de datos MS-Celeb-1M de Microsoft Research, que contiene 10 millones de imágenes de caras de celebridades que cubren un millón de identidades, incluyendo actores, políticos y muchos otros tipos de figuras prominentes. Según el procedimiento del método anterior Face X-ray (otra iniciativa de Microsoft Research), la propia rutina de generación de deepfakes de ICT intercambia regiones internas y externas de caras extraídas de este conjunto de datos para crear material sobre el que probar el algoritmo.

Para realizar estos intercambios internos, ICT identifica dos imágenes en el conjunto de datos que exhiben posiciones de cabeza y rasgos faciales similares, genera una región de máscara de las características centrales (en la que se puede realizar un intercambio), y realiza un intercambio de deepfake con corrección de color RGB.

La razón por la que ICT se limita a la identificación de celebridades es que depende (en su variante más efectiva) de un conjunto de referencia novel que incorpora vectores faciales derivados de un corpus central (en este caso MS-Celeb-1M, aunque la referencia podría extenderse a imágenes disponibles en la red, lo que solo probablemente existiría en suficiente calidad y cantidad para figuras públicas bien conocidas).

Estos pares de conjuntos de vectores derivados actúan como tokens de autenticidad para verificar las regiones internas y externas del rostro al mismo tiempo.

Los autores señalan que los tokens obtenidos de estos métodos representan características de “alto nivel”, lo que resulta en un proceso de detección de deepfakes más probable de sobrevivir en entornos desafiantes como video de baja resolución o degradado de otra manera.

Crucialmente, ICT no busca evidencia basada en artefactos, sino que se centra en métodos de verificación de identidad más acordes con las técnicas de reconocimiento facial – un enfoque que es difícil con datos de bajo volumen, como es el caso de la investigación de incidentes de revenge porn contra objetivos no famosos.

Pruebas

Entrenado en MS-Celeb-1M, ICT se dividió luego en versiones asistidas por referencia y “ciegas” del algoritmo, y se probó contra una serie de conjuntos de datos y métodos competidores. Estos incluyeron FaceForensics++ (FF++), un conjunto de datos de 1000 videos auténticos y de deepfake creados a través de cuatro métodos que incluyen Face2Face y FaceSwap; la detección de deepfakes de Google Deepfake Detection (DFD), que también está compuesto por miles de videos de deepfake generados por Google; Celeb-DeepFake v1 (CD1), que presenta 408 videos reales y 795 videos sintetizados de baja calidad; Celeb-DeepFake v2, una extensión de V1 que contiene 590 videos reales y 5,639 videos falsos; y el conjunto de datos Deeper-Forensics de China 2020 Deeper.

Esos son los conjuntos de datos; los métodos de detección en los desafíos de prueba fueron Multi-task, MesoInc4, Capsule, Xception-c0, c2 (un método empleado en FF++), FWA/DSP-FW de la Universidad de Albany, Two-Branch, PCL+I2G, y el método de discrepancia de contexto de Yuval Nirkin context-discrepancy.

Los métodos de detección mencionados anteriormente están dirigidos a detectar tipos particulares de manipulación facial. Además de estos, los autores del nuevo artículo probaron ofertas de detección de deepfakes más generales Face X-ray, FFD de la Universidad Estatal de Michigan, CNNDetection, y Patch-Forensics de MIT CSAIL.

El resultado más evidente de la prueba es que los métodos competidores disminuyen drásticamente en eficacia a medida que la resolución y la calidad del video disminuyen. Dado que parte del potencial más grave para que los deepfakes penetren en nuestros poderes discriminatorios se encuentra (no menos en este momento) en video no HD o de otra manera comprometido en términos de calidad, esto parecería ser un resultado significativo.

En el gráfico de resultados de arriba, las líneas azul y roja indican la resistencia de los métodos ICT a la degradación de la imagen en todas las áreas excepto el obstáculo del ruido gaussiano (no una probabilidad en piezas de footage de Zoom y webcam), mientras que la confiabilidad de los métodos competidores se desploma.

En la tabla de resultados a continuación, vemos la efectividad de los diversos enfoques de detección de deepfakes en los conjuntos de datos no vistos. Los resultados gris y asteriscados indican comparaciones de resultados publicados originalmente en proyectos de código cerrado, que no pueden verificarse externamente. En la mayoría de los marcos comparables, ICT supera los enfoques de detección de deepfakes rivales (que se muestran en negrita) en los conjuntos de datos probados.

Como prueba adicional, los autores ejecutaron contenido del canal de YouTube del aclamado deepfaker Ctrl Shift Face, y encontraron que los métodos competidores lograron puntuaciones de identificación notablemente inferiores:

Es notable que los métodos FF++ (Xception-c23) y FFD, que logran algunas de las puntuaciones más altas en algunos de los datos de prueba en las pruebas generales del nuevo artículo, aquí logran una puntuación mucho menor que ICT en un contexto “real” de contenido de deepfake de alto esfuerzo.

Los autores concluyen el artículo con la esperanza de que sus resultados dirijan a la comunidad de detección de deepfakes hacia iniciativas similares que se concentren en características de “alto nivel” más fácilmente generalizables, y alejadas de la “guerra fría” de la detección de artefactos, en la que los métodos más recientes son rutinariamente obviados por desarrollos en marcos de deepfakes, o por otros factores que hacen que tales métodos sean menos resilientes.

Ver el video complementario a continuación para más ejemplos de ICT que identifican contenido de deepfake que a menudo supera a los métodos alternativos.

https://www.youtube.com/watch?v=zgF50dcymj8

Publicado por primera vez el 4 de marzo de 2022.