Identificando fuentes de datos de Deepfake con etiquetado basado en IA

Una colaboración entre investigadores de China, Singapur y EE. UU. ha producido un sistema resistente para “etiquetar” fotos de rostros de manera tan robusta que los marcadores identificativos no se destruyen durante un proceso de entrenamiento de deepfake, allanando el camino para reclamaciones de propiedad intelectual que podrían afectar la capacidad de los sistemas de generación de imágenes sintéticas para “anonymizar” datos de origen ilegítimamente recopilados.

El sistema, denominado FakeTagger, utiliza un proceso de codificador/decodificador para incorporar información de identificación visualmente indiscernible en imágenes a un nivel lo suficientemente bajo como para que la información inyectada se interprete como datos de características faciales esenciales, y por lo tanto se mantenga intacta a través de procesos de abstracción, de la misma manera que, por ejemplo, los datos de los ojos o la boca.

Visión general de la arquitectura de FakeTagger. Los datos de origen se utilizan para generar una característica facial ‘redundante’, ignorando los elementos de fondo que se mascararán a través de un flujo de trabajo de deepfake típico. El mensaje es recuperable en el otro extremo del proceso y es identificable a través de un algoritmo de reconocimiento apropiado. Fuente: http://xujuefei.com/felix_acmmm21_faketagger.pdf

La investigación proviene de la Escuela de Ciencias y Tecnología Cibernéticas de Wuhan, el Laboratorio Clave de Seguridad y Computación de Confianza de la Información Aeroespacial del Ministerio de Educación de China, el Grupo Alibaba en EE. UU., la Universidad del Noreste en Boston y la Universidad Tecnológica de Nanyang en Singapur.

Los resultados experimentales con FakeTagger indican una tasa de reidentificación de hasta casi el 95% en cuatro tipos comunes de metodologías de deepfake: intercambio de identidad (es decir, DeepFaceLab, FaceSwap); reencarnación facial; edición de atributos; y síntesis total.

Limitaciones de la detección de Deepfake

Aunque los últimos tres años han traído una cosecha de nuevos enfoques para metodologías de identificación de deepfake, todos estos enfoques se centran en debilidades remediables de los flujos de trabajo de deepfake, como brillo en los ojos en modelos subentrenados, y falta de parpadeo en deepfakes anteriores con conjuntos de caras insufficientemente diversos. A medida que se identifican nuevas claves, los repositorios de software de código abierto han obviado, ya sea deliberadamente o como subproducto de mejoras en las técnicas de deepfake.

El nuevo artículo observa que el método de detección post-facto más efectivo producido por la competencia de detección de deepfake de Facebook (DFDC) está limitado a una precisión del 70%, en términos de detectar deepfakes en la naturaleza. Los investigadores atribuyen este fracaso representativo a una mala generalización contra nuevos y innovadores sistemas de deepfake GAN y codificador/decodificador, y a la calidad a menudo degradada de las sustituciones de deepfake.

En el último caso, esto puede deberse a un trabajo de baja calidad por parte de los creadores de deepfakes, o artefactos de compresión cuando los videos se suben a plataformas de intercambio que buscan limitar los costos de ancho de banda, y vuelven a codificar los videos a tasas de bits drásticamente más bajas que las presentaciones. Irónicamente, no solo esta degradación de la imagen no interfiere con la aparente autenticidad de un deepfake, sino que puede realmente mejorar la ilusión, ya que el video de deepfake se subsume en un idioma visual común y de baja calidad que se percibe como auténtico.

Etiquetado superviviente como ayuda a la inversión del modelo

Identificar los datos de origen a partir de la salida de aprendizaje automático es un campo relativamente nuevo y en crecimiento, y uno que hace posible una nueva era de litigios basados en la propiedad intelectual, a medida que las actuales regulaciones de pantalla permissiva de los gobiernos (diseñadas para no sofocar la preeminencia nacional en la investigación frente a una carrera armamentista global de IA) evolucionan hacia una legislación más estricta a medida que el sector se comercializa.

Inversión del modelo se ocupa del mapeo y la identificación de los datos de origen a partir de la salida generada por los sistemas de síntesis en una serie de dominios, incluida la generación de lenguaje natural (NLG) y la síntesis de imágenes. La inversión del modelo es particularmente efectiva para reidentificar caras que fueron borrosas, pixeladas o que han pasado por el proceso de abstracción de una Red Generativa Adversaria o un sistema de transformación codificador/decodificador como DeepFaceLab.

Agregar etiquetado dirigido a nueva o existente imaginería facial es una posible nueva ayuda a las técnicas de inversión del modelo, con marcado de agua como un campo emergente.

Etiquetado post-facto

FakeTagger está diseñado como un enfoque de post-procesamiento. Por ejemplo, cuando un usuario carga una foto a una red social (que generalmente implica algún tipo de proceso de optimización y rara vez una transferencia directa y no adulterada de la imagen original), el algoritmo procesaría la imagen para aplicar características supuestamente indelebles a la cara.

Alternativamente, el algoritmo podría aplicarse a través de colecciones históricas de imágenes, como ha sucedido varias veces en los últimos veinte años, cuando sitios de recopilación de imágenes y colecciones comerciales han buscado métodos para identificar contenido que se ha reutilizado sin permiso.

FakeTagger busca incorporar características de ID recuperables de varios procesos de deepfake.

Desarrollo y pruebas

Los investigadores probaron FakeTagger contra varias aplicaciones de software de deepfake a través de los cuatro enfoques mencionados anteriormente, incluyendo el repositorio más ampliamente utilizado, DeepFaceLab; Face2Face de Stanford, que puede transferir expresiones faciales a través de imágenes e identidades; y STGAN, que puede editar atributos faciales.

Las pruebas se realizaron con CelebA-HQ, un repositorio público popular que contiene 30,000 imágenes de caras de celebridades en varias resoluciones de hasta 1024 x 1024 píxeles.

Como referencia, los investigadores probaron inicialmente técnicas de marcado de agua de imagen convencionales para ver si las etiquetas impuestas sobrevivirían a los procesos de entrenamiento de los flujos de trabajo de deepfake, pero los métodos fallaron en los cuatro enfoques.

Los datos incrustados de FakeTagger se inyectaron en la etapa del codificador en la imaginería de la cara usando una arquitectura basada en la Red Convolutional U-Net para la segmentación de imágenes biomédicas, lanzada en 2015. Posteriormente, la sección del decodificador del marco se entrenó para encontrar la información incrustada.

El proceso se probó en un simulador GAN que utilizó las aplicaciones/algoritmos FOSS mencionados anteriormente, en un entorno de caja negra sin acceso discreto o especial a los flujos de trabajo de cada sistema. Se adjuntaron señales aleatorias a las imágenes de celebridades y se registraron como datos relacionados con cada imagen.

En un entorno de caja negra, FakeTagger pudo lograr una precisión que superaba el 88,95% en los cuatro enfoques de las aplicaciones. En un escenario de caja blanca paralelo, la precisión aumentó a casi el 100%. Sin embargo, como esto sugiere futuras iteraciones de software de deepfake que incorpora FakeTagger directamente, es un escenario poco probable en el futuro cercano.

Cuánto cuesta

Los investigadores señalan que el escenario más desafiante para FakeTagger es la síntesis de imagen completa, como la generación abstracta basada en CLIP, ya que los datos de entrenamiento de entrada están sujetos a los niveles más profundos de abstracción en tal caso. Sin embargo, esto no se aplica a los flujos de trabajo de deepfake que han dominado los titulares en los últimos años, ya que estos dependen de la reproducción fiel de las características faciales que definen la identidad.

El artículo también señala que los atacantes adversarios podrían concebiblemente intentar agregar perturbaciones, como ruido artificial y grano, para frustrar un sistema de etiquetado como este, aunque esto probablemente tendría un efecto perjudicial en la autenticidad de la salida de deepfake.

Además, señalan que FakeTagger necesita agregar datos redundantes a las imágenes para garantizar la supervivencia de las etiquetas que incorpora, y que esto podría tener un costo computacional notable a escala.

Los autores concluyen señalando que FakeTagger puede tener potencial para el seguimiento de la procedencia en otros dominios, como ataques de lluvia adversariales y otros tipos de ataques basados en imágenes, como exposición adversaria, niebla, desenfoque, vigneteado y agitación de color.