Los detectores de deepfakes buscan nuevos caminos: modelos de difusión latente y GAN

Opinión  

Últimamente, la comunidad de investigación de detección de falsificación profunda, que desde finales de 2017 se ha ocupado casi exclusivamente con la codificador automáticobasado en un marco que se estrenó en ese momento ante tal asombro público (y consternación), ha comenzado a tomar un interés forense en arquitecturas menos estancadas, incluyendo difusión latente modelos como DALL-E2 y Difusión estable, así como la salida de Generative Adversarial Networks (GAN). Por ejemplo, en junio, UC Berkeley publicado los resultados de su investigación sobre el desarrollo de un detector para la salida del entonces dominante DALL-E 2.

Lo que parece estar impulsando este creciente interés es el repentino salto evolutivo en la capacidad y disponibilidad de los modelos de difusión latente en 2022, con el código cerrado y el acceso limitado. , de DALL-E 2 en primavera, seguido a finales de verano por el sensacional fuente abierta de Difusión Estable por la estabilidad.ai.

Las GAN también han sido largamente estudiado en este contexto, aunque con menor intensidad, ya que es muy difícil utilizarlos para recreaciones convincentes y elaboradas de personas basadas en videos; al menos, en comparación con los ahora venerables paquetes de codificador automático como Intercambio cara y ProfundoFaceLab – y el primo de transmisión en vivo de este último, cara profunda en vivo.

Imágenes en movimiento

En cualquier caso, el factor estimulante parece ser la perspectiva de un sprint de desarrollo posterior para video Síntesis. El comienzo de octubre, y de la principal temporada de conferencias de 2022, se caracterizó por una avalancha de soluciones repentinas e inesperadas a varios problemas de larga data relacionados con la síntesis de video: tan pronto como Facebook... muestras publicadas de su propia plataforma de texto a video, que Google Research ahogó rápidamente esa aclamación inicial al anunciar su nueva arquitectura T2V de imagen a video, capaz de producir metraje de alta resolución (aunque solo a través de una red de escaladores de 7 capas).

Si cree que este tipo de cosas vienen de tres en tres, considere también la enigmática promesa de Stability.ai de que "el video llegará" a Stable Diffusion, aparentemente a finales de este año, mientras que Runway, codesarrollador de Stable Diffusion, ha hizo una promesa similar, aunque no está claro si se refieren al mismo sistema. El mensaje de discordia El director ejecutivo de Stability, Emad Mostaque, también prometió 'audio, vídeo [y] 3D'.

Con una oferta inesperada de varios nuevos marcos de generación de audio (algunos basados ​​en difusión latente), y un nuevo modelo de difusión que puede generar movimiento de personaje auténtico, la idea de que los marcos "estáticos" como las GAN y los difusores finalmente ocuparán su lugar como soporte adjuntos a los marcos de animación externos está comenzando a ganar tracción real.

En resumen, parece probable que el paralizado mundo de los deepfakes de vídeo basados ​​en codificadores automáticos, que sólo pueden sustituir eficazmente el parte central de una cara, podría verse eclipsado el próximo año por una nueva generación de tecnologías con capacidad de falsificación profunda basadas en difusión: enfoques populares de código abierto con el potencial de falsificar de forma fotorrealista no solo cuerpos enteros, sino escenas enteras.

Quizás por esta razón, la comunidad de investigación anti-deepfake está comenzando a tomarse en serio la síntesis de imágenes y a darse cuenta de que podría servir para más fines que simplemente generar fotos de perfil de LinkedIn falsas; y que si todos sus espacios latentes intratables pueden lograr en términos de movimiento temporal es para actúa como un gran renderizador de texturas, eso podría ser más que suficiente.

Blade Runner

Los dos últimos documentos que abordan, respectivamente, la difusión latente y la detección de falsificación profunda basada en GAN son, respectivamente, DE-FAKE: detección y atribución de imágenes falsas generadas por modelos de difusión de texto a imagen, una colaboración entre el Centro Helmholtz para la Seguridad de la Información de CISPA y Salesforce; y BLADERUNNER: Contramedida rápida para rostros StyleGAN sintéticos (generados por IA), de Adam Dorian Wong en el Laboratorio Lincoln del MIT.

Antes de explicar su nuevo método, este último artículo se toma un tiempo para examinar enfoques anteriores para determinar si una imagen fue generada o no por una GAN (el artículo trata específicamente de la familia StyleGAN de NVIDIA).

El método de la 'Brady Bunch', quizás una referencia sin sentido para cualquiera que no haya visto televisión en la década de 1970, o que se haya perdido las adaptaciones cinematográficas de la década de 1990, identifica el contenido falsificado por GAN basándose en las posiciones fijas que determinadas partes de la cara de una GAN seguramente ocuparán, debido a la naturaleza rutinaria y estandarizada del "proceso de producción".

El método 'Brady Bunch' propuesto en una transmisión web del instituto SANS en 2022: un generador de rostros basado en GAN realizará una colocación increíblemente uniforme de ciertos rasgos faciales, desmintiendo el origen de la foto, en ciertos casos. Fuente: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Otra indicación útil conocida es la frecuente incapacidad de StyleGAN para renderizar múltiples caras (primera imagen a continuación), si es necesario, así como su falta de talento en la coordinación de accesorios (imagen del medio a continuación) y una tendencia a usar la línea del cabello como el comienzo de un sombrero improvisado (tercera imagen a continuación).

El tercer método sobre el que llama la atención el investigador es superposición de fotos (un ejemplo de lo cual se puede ver en nuestro artículo de agosto sobre el diagnóstico asistido por IA de los trastornos de salud mental), que utiliza un software de "combinación de imágenes" compositivas como la serie CombineZ para concatenar múltiples imágenes en una sola imagen, revelando a menudo puntos en común subyacentes en la estructura, una posible indicación de síntesis.

La arquitectura propuesta en el nuevo documento se titula (posiblemente en contra de todos los consejos de SEO) Blade Runner, haciendo referencia al Prueba de Voight-Kampff que determina si los antagonistas de la franquicia de ciencia ficción son "falsos" o no.

La tubería se compone de dos fases, la primera de las cuales es el analizador PapersPlease, que puede evaluar datos extraídos de sitios web conocidos de GAN-face como thispersondoesnotexist.com, o generado.fotos.

Aunque se puede inspeccionar una versión reducida del código en GitHub (ver a continuación), se proporcionan pocos detalles sobre este módulo, excepto que OpenCV y DLIB se utilizan para delinear y detectar rostros en el material recopilado.

El segundo módulo es el Entre nosotros Detector. El sistema está diseñado para buscar la ubicación coordinada de los ojos en fotos, una característica persistente de la salida facial de StyleGAN, ejemplificada en el escenario de "La Tribu Brady" detallado anteriormente. AmongUs funciona con un detector estándar de 68 puntos de referencia.

Anotaciones de puntos faciales a través del Grupo de comprensión del comportamiento inteligente (IBUG), cuyo código de trazado de puntos faciales se utiliza en el paquete Blade Runner.

AmongUs depende de puntos de referencia entrenados previamente basados ​​en las coordenadas conocidas del "grupo Brady" de PapersPlease, y está diseñado para usarse con muestras en vivo de imágenes de rostros basadas en StyleGAN que accedan a la web.

Blade Runner, sugiere el autor, es una solución plug-and-play destinada a empresas u organizaciones que carecen de recursos para desarrollar soluciones internas para el tipo de detección de deepfakes que se aborda aquí, y una "medida provisoria para ganar tiempo para contramedidas más permanentes".

De hecho, en un sector de seguridad tan volátil y de rápido crecimiento, no hay muchos a la medida. or soluciones listas para usar de proveedores en la nube a las que una empresa de escasos recursos puede recurrir actualmente con confianza.

Aunque Blade Runner se desempeña mal contra con gafas Personas falsificadas con StyleGAN, este es un problema relativamente común en sistemas similares, que esperan poder evaluar las delineaciones de los ojos como puntos centrales de referencia, oscurecidos en tales casos.

Una versión reducida de Blade Runner ha sido liberado para abrir el código en GitHub. Existe una versión propietaria más rica en funciones, que puede procesar varias fotos, en lugar de una sola foto por operación del repositorio de código abierto. El autor tiene la intención, dice, de actualizar la versión de GitHub al mismo estándar eventualmente, según lo permita el tiempo. También reconoce que es probable que StyleGAN evolucione más allá de sus debilidades conocidas o actuales, y que el software también deberá desarrollarse en conjunto.

DE-FALSO

La arquitectura DE-FAKE tiene como objetivo no solo lograr una "detección universal" de imágenes producidas por modelos de difusión de texto a imagen, sino también proporcionar un método para discernir lo cual modelo de difusión latente (LD) produjo la imagen.

El marco de detección universal en DE-FAKE aborda imágenes locales, un marco híbrido (verde) e imágenes de mundo abierto (azul). Fuente: http://export.arxiv.org/pdf/2210.06998

Para ser honesto, en este momento, esta es una tarea bastante fácil, ya que todos los modelos populares de LD, cerrados o de código abierto, tienen características distintivas notables.

Además, la mayoría comparte algunas debilidades comunes, como una predisposición a cortar cabezas, debido a la forma arbitraria que las imágenes web raspadas no cuadradas se ingieren en los conjuntos de datos masivos que alimentan sistemas como DALL-E 2, Stable Diffusion y MidJourney:

Los modelos de difusión latente, al igual que todos los modelos de visión artificial, requieren una entrada de formato cuadrado; sin embargo, el raspado web agregado que alimenta el conjunto de datos LAION5B no ofrece extras como la capacidad de reconocer y enfocar rostros (ni ningún otro elemento), y trunca las imágenes drásticamente en lugar de rellenarlas (lo que conservaría la imagen original completa, pero a menor resolución). Una vez entrenados, estos recortes se normalizan y aparecen con mucha frecuencia en la salida de sistemas de difusión latente como Stable Diffusion. Fuentes: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac y Stable Diffusion.

DE-FAKE está destinado a ser independiente de los algoritmos, un objetivo anhelado durante mucho tiempo por los investigadores anti-falsificación profunda del codificador automático y, en este momento, bastante alcanzable con respecto a los sistemas LD.

La arquitectura utiliza el preentrenamiento de lenguaje e imagen contrastivo de OpenAI (CLIP) biblioteca multimodal, un elemento esencial en Stable Diffusion y que rápidamente se está convirtiendo en el corazón de la nueva ola de sistemas de síntesis de imágenes y videos, como una forma de extraer incrustaciones de imágenes LD "falsificadas" y entrenar un clasificador en los patrones y clases observados.

En un escenario más de "caja negra", donde los fragmentos PNG que contienen información sobre el proceso de generación han sido eliminados hace tiempo mediante procesos de carga y por otras razones, los investigadores utilizan Salesforce. Marco BLIP (también un componente en al menos uno distribución de difusión estable) para sondear "a ciegas" las imágenes en busca de la probable estructura semántica de los indicadores que las crearon.

Los investigadores utilizaron Stable Diffusion, Latent Diffusion (en sí mismo un producto discreto), GLIDE y DALL-E 2 para completar un conjunto de datos de capacitación y prueba que aprovecha MSCOCO y Flickr30k.

Normalmente, examinaríamos en profundidad los resultados de los experimentos de los investigadores para crear un nuevo marco, pero, en verdad, parece probable que los hallazgos de DE-FAKE sean más útiles como punto de referencia futuro para iteraciones posteriores y proyectos similares, en lugar de como una métrica significativa del éxito del proyecto, teniendo en cuenta el entorno volátil en el que opera y que el sistema contra el que compite en las pruebas del artículo tiene casi tres años: cuando la escena de la síntesis de imágenes era realmente incipiente.

Las dos imágenes más a la izquierda: el marco anterior "desafiado", originado en 2019, previsiblemente tuvo un desempeño peor frente a DE-FAKE (las dos imágenes más a la derecha) en los cuatro sistemas LD probados.

Los resultados del equipo son abrumadoramente positivos por dos razones: hay escasos trabajos previos con los cuales compararlos (y ninguno que ofrezca una comparación justa, es decir, que cubra las simples doce semanas desde que Stable Diffusion fue lanzado como código abierto).

En segundo lugar, como se mencionó anteriormente, aunque el campo de la síntesis de imágenes LD se está desarrollando a una velocidad exponencial, el contenido de salida de las ofertas actuales se marca de manera efectiva a sí mismo debido a sus propias deficiencias y excentricidades estructurales (y muy predecibles), muchas de las cuales es probable que se solucionen. en el caso de Stable Diffusion al menos, por el lanzamiento del punto de control 1.5 de mejor rendimiento (es decir, el modelo entrenado de 4 GB que alimenta el sistema).

Al mismo tiempo, Stability ya ha indicado que tiene una hoja de ruta clara para la V2 y la V3 del sistema. Dados los eventos que acapararon los titulares de los últimos tres meses, es probable que se haya evaporado cualquier letargo corporativo por parte de OpenAI y otros jugadores competidores en el espacio de síntesis de imágenes, lo que significa que podemos esperar un ritmo de progreso similarmente rápido también en el espacio de síntesis de imágenes de código cerrado.

Publicado por primera vez el 14 de octubre de 2022.