Detectores de Deepfakes en Nuevas Tierras: Modelos de Difusión Latente y GANs

Opinión  

Recientemente, la comunidad de investigación de detección de deepfakes, que desde finales de 2017 se ha ocupado casi exclusivamente del marco de trabajo basado en autoencoder que se estrenó en ese momento con tanto asombro público (y desmayo), ha comenzado a tomar un interés forense en arquitecturas menos estancadas, incluyendo modelos de difusión latente como DALL-E 2 y Stable Diffusion, así como la salida de Redes Generativas Adversarias (GANs). Por ejemplo, en junio, la Universidad de Berkeley publicó los resultados de su investigación sobre el desarrollo de un detector para la salida de DALL-E 2.

Lo que parece estar impulsando este creciente interés es el salto evolutivo repentino en la capacidad y disponibilidad de modelos de difusión latente en 2022, con el lanzamiento de DALL-E 2 en primavera, seguido en verano por la apertura de Stable Diffusion por stability.ai.

Las GANs también han sido estudiadas durante mucho tiempo en este contexto, aunque con menos intensidad, ya que es muy difícil utilizarlas para recreaciones de video convincentes y elaboradas de personas; al menos, en comparación con los paquetes de autoencoder ya venerables como FaceSwap y DeepFaceLab – y el primo de este último, DeepFaceLive.

Imágenes en Movimiento

En cualquier caso, el factor galvanizador parece ser la perspectiva de un sprint de desarrollo posterior para la síntesis de video. El comienzo de octubre – y la temporada de conferencias de 2022 – se caracterizó por una avalancha de soluciones repentinas y inesperadas a varios problemas de síntesis de video: no sooner había lanzado muestras de su propia plataforma de texto a video, que Google Research rápidamente ahogó ese reconocimiento inicial al anunciar su nueva arquitectura Imagen-to-Video T2V, capaz de producir vídeo de alta resolución (aunque solo a través de una red de 7 capas de escaladores).

Si cree que este tipo de cosas viene en tres, considere también la promesa enigmática de stability.ai de que ‘el video está llegando’ a Stable Diffusion, aparentemente más tarde este año, mientras que el codesarrollador de Stable Diffusion, Runway, ha hecho una promesa similar, aunque no está claro si se refieren al mismo sistema. El mensaje de Discord del CEO de Stability, Emad Mostaque, también prometió ‘audio, video [y] 3d’.

En resumen, parece probable que el mundo obstaculizado de los deepfakes de video basados en autoencoder, que solo pueden sustituir efectivamente la porción central de una cara, podría ser eclipsado en este momento el próximo año por una nueva generación de tecnologías de deepfakes basadas en difusión – enfoques populares y de código abierto con el potencial de falsificar no solo cuerpos enteros, sino escenas enteras.

Por esta razón, quizás, la comunidad de investigación anti-deepfake está comenzando a tomar la síntesis de imágenes en serio, y a darse cuenta de que podría servir para más fines que simplemente generar fotos de perfil de LinkedIn falsas; y que si todos sus espacios latentes intractables pueden lograr en términos de movimiento temporal es actuar como un gran renderizador de texturas, eso podría ser más que suficiente.

Blade Runner

Los dos últimos artículos que abordan, respectivamente, la detección de deepfakes basada en difusión latente y GAN, son, respectivamente, DE-FAKE: Detección y atribución de imágenes falsas generadas por modelos de difusión de texto a imagen, una colaboración entre el Centro Helmholtz CISPA para la Seguridad de la Información y Salesforce; y BLADERUNNER: Contramedida rápida para caras de StyleGAN sintéticas (generadas por IA), de Adam Dorian Wong en el Laboratorio Lincoln de MIT.

Antes de explicar su nuevo método, el segundo artículo dedica algún tiempo a examinar los enfoques anteriores para determinar si una imagen fue generada por una GAN (el artículo se ocupa específicamente de la familia StyleGAN de NVIDIA ).

El método ‘Brady Bunch’ – quizás una referencia sin sentido para cualquier persona que no estuviera viendo televisión en la década de 1970, o que se perdió las adaptaciones cinematográficas de la década de 1990 – identifica contenido falso de GAN basado en las posiciones fijas que ciertas partes de una cara de GAN ocupan debido a la naturaleza rutinaria y templatizada del ‘proceso de producción’.

El método ‘Brady Bunch’ propuesto por una transmisión en vivo del Instituto SANS en 2022: un generador de caras de GAN realizará un colocación uniforme improbable de ciertas características faciales, delatando el origen de la foto, en ciertos casos. Fuente: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Otra indicación útil conocida es la frecuente incapacidad de StyleGAN para renderizar múltiples caras (primera imagen a continuación), si es necesario, así como su falta de talento en la coordinación de accesorios (imagen del medio a continuación), y una tendencia a utilizar una línea de cabello como el comienzo de un sombrero improvisado (tercera imagen a continuación).

El tercer método al que el investigador llama la atención es superposición de foto (un ejemplo del cual se puede ver en nuestro artículo de agosto sobre la evaluación de expresiones faciales de AI para el diagnóstico de trastornos de salud mental), que utiliza software de ‘mezcla de imágenes’ compositivo como la serie CombineZ para concatenar múltiples imágenes en una sola imagen, a menudo revelando similitudes subyacentes en la estructura – una posible indicación de síntesis.

La arquitectura propuesta en el nuevo artículo se titula (posiblemente en contra de todos los consejos de SEO) Blade Runner, haciendo referencia a la prueba de Voight-Kampff que determina si los antagonistas en la franquicia de ciencia ficción son ‘falsos’ o no.

La tubería consta de dos fases, la primera de las cuales es el analizador PapersPlease, que puede evaluar datos extraídos de sitios web de caras de GAN conocidos como thispersondoesnotexist.com o generated.photos.

Aunque una versión reducida del código se puede inspeccionar en GitHub (ver abajo), pocos detalles se proporcionan sobre este módulo, excepto que se utilizan OpenCV y DLIB para delinear y detectar caras en el material recopilado.

El segundo módulo es el AmongUs detector. El sistema está diseñado para buscar la colocación coordinada de ojos en fotos, una característica persistente de la salida de caras de StyleGAN, tipificada en el escenario ‘Brady Bunch’ detallado anteriormente. AmongUs está impulsado por un detector de puntos faciales estándar de 68 puntos.

Anotaciones de puntos faciales a través del Grupo de Comprensión de Comportamiento Inteligente (IBUG), cuyo código de trazado de puntos faciales se utiliza en el paquete Blade Runner.

AmongUs depende de puntos de referencia preentrenados basados en las coordenadas ‘Brady Bunch’ conocidas de PapersPlease, y está destinado a ser utilizado contra muestras en vivo y orientadas a la web de imágenes de caras de StyleGAN.

Blade Runner, sugiere el autor, es una solución plug-and-play destinada a empresas u organizaciones que carecen de recursos para desarrollar soluciones internas para el tipo de detección de deepfakes que se ocupa aquí, y una ‘medida de stop-gap para ganar tiempo para contramedidas más permanentes’.

De hecho, en un sector de seguridad tan volátil y en crecimiento, no hay muchas soluciones personalizadas o de proveedores de nube fuera de estantes a las que una empresa con pocos recursos pueda recurrir con confianza.

Aunque Blade Runner se desempeña mal contra personas con gafas falsas de StyleGAN, este es un problema relativamente común en sistemas similares, que esperan poder evaluar delineaciones de ojos como puntos de referencia principales, oscurecidos en tales casos.

Una versión reducida de Blade Runner ha sido lanzada a código abierto en GitHub. Una versión más rica y propietaria existe, que puede procesar múltiples fotos, en lugar de una sola foto por operación de la repositorio de código abierto. El autor pretende, dice, actualizar la versión de GitHub al mismo nivel eventualmente, a medida que el tiempo lo permita. También admite que StyleGAN probablemente evolucionará más allá de sus debilidades conocidas o actuales, y el software también necesitará desarrollarse en conjunto.

DE-FAKE

La arquitectura DE-FAKE tiene como objetivo no solo lograr una ‘detección universal’ para imágenes producidas por modelos de difusión de texto a imagen, sino también proporcionar un método para discernir cuál modelo de difusión latente (LD) produjo la imagen.

El marco de detección universal en DE-FAKE aborda imágenes locales, un marco híbrido (verde) e imágenes de mundo abierto (azul). Fuente: http://export.arxiv.org/pdf/2210.06998

Para ser honesto, en este momento, esta es una tarea bastante sencilla, ya que todos los modelos LD populares – de código abierto o cerrado – tienen características distinguibles notables.

Además, la mayoría comparten algunas debilidades comunes, como una predisposición a cortar cabezas, debido a la forma arbitraria en que las imágenes no cuadradas se ingieren en los conjuntos de datos masivos que alimentan sistemas como DALL-E 2, Stable Diffusion y MidJourney:

Los modelos de difusión latente, al igual que todos los modelos de visión por computadora, requieren entrada en formato cuadrado; pero la agregación de extracción de la web que alimenta el conjunto de datos LAION5B no ofrece ‘lujo’ como la capacidad de reconocer y centrarse en caras (o cualquier cosa), y truncar imágenes de manera bastante brutal en lugar de rellenarlas (lo que conservaría la imagen de origen completa, pero a una resolución más baja). Una vez entrenados, estos ‘cortes’ se normalizan y ocurren con frecuencia en la salida de sistemas de difusión latente como Stable Diffusion. Fuentes: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac y Stable Diffusion.

DE-FAKE está destinado a ser algoritmo-agnóstico, un objetivo largamente anhelado por los investigadores de anti-deepfake de autoencoder, y, en este momento, bastante alcanzable en cuanto a los sistemas LD.

La arquitectura utiliza la biblioteca multimodal de preentrenamiento de lenguaje e imagen de OpenAI (CLIP) – un elemento esencial en Stable Diffusion, y que se está convirtiendo rápidamente en el corazón de la nueva ola de sistemas de síntesis de imágenes y video – como una forma de extraer incrustaciones de imágenes LD ‘falsificadas’ y entrenar un clasificador en los patrones y clases observados.

En un escenario más ‘caja negra’, donde los fragmentos de PNG que contienen información sobre el proceso de generación han sido eliminados hace mucho tiempo por procesos de carga y por otras razones, los investigadores utilizan el marco de trabajo BLIP de Salesforce (BLIP) (que también es un componente en al menos una distribución de Stable Diffusion) para ‘sondear ciegamente’ las imágenes para la estructura semántica probable de las prompts que las crearon.

Los investigadores utilizaron Stable Diffusion, Latent Diffusion (él mismo un producto discreto), GLIDE y DALL-E 2 para poblar un conjunto de datos de entrenamiento y prueba utilizando MSCOCO y Flickr30k.

Normalmente, nos tomaríamos un tiempo para examinar los resultados de los experimentos de los investigadores para un nuevo marco; pero en verdad, los hallazgos de DE-FAKE parecen más útiles como una referencia futura para iteraciones y proyectos posteriores, en lugar de como una métrica significativa del éxito del proyecto, considerando el entorno volátil en el que opera y que el sistema contra el que compite en los ensayos del artículo es casi tres años más antiguo – desde cuando la escena de síntesis de imágenes era verdaderamente incipiente.

Imágenes de la izquierda: el marco anterior ‘desafiado’, originado en 2019, se desempeña menos bien contra DE-FAKE (imágenes de la derecha) en los cuatro sistemas LD probados.

Los resultados del equipo son abrumadoramente positivos por dos razones: no hay mucho trabajo previo con el que comparar, y, en segundo lugar, como se mencionó anteriormente, aunque el campo de síntesis de imágenes de LD se está desarrollando a un ritmo exponencial, la salida de contenido de las ofertas actuales se ‘marca’ a sí misma por sus propias limitaciones estructurales (y muy predecibles) y peculiaridades – muchas de las cuales probablemente serán remediadas, en el caso de Stable Diffusion, al menos, por el lanzamiento del modelo de 4 GB entrenado que impulsa el sistema.

Al mismo tiempo, Stability ya ha indicado que tiene una hoja de ruta clara para la versión 2 y la versión 3 del sistema. Dado los eventos de los últimos tres meses, cualquier letargo corporativo por parte de OpenAI y otros jugadores competidores en el espacio de síntesis de imágenes probablemente haya sido evaporado, lo que significa que podemos esperar un ritmo de progreso similar también en el espacio de síntesis de imágenes de código cerrado.

Publicado por primera vez el 14 de octubre de 2022.