Verificación facial ‘creativa’ con Redes Adversarias Generativas

Un nuevo artículo de la Universidad de Stanford ha propuesto un método incipiente para engañar a los sistemas de autenticación facial en plataformas como aplicaciones de citas, utilizando una Red Generativa Adversaria (GAN) para crear imágenes faciales alternativas que contienen la misma información de identificación esencial que una cara real.

El método logró evitar los procesos de verificación facial en las aplicaciones de citas Tinder y Bumble, en un caso incluso haciéndose pasar por una cara de género cambiado (masculina) como auténtica para la identidad de origen (femenina).

Varias identidades generadas que presentan la codificación específica del autor del artículo (presentado en la primera imagen de arriba). Fuente: https://arxiv.org/pdf/2203.15068.pdf

Según el autor, el trabajo representa el primer intento de evitar la verificación facial con el uso de imágenes generadas que han sido imbuidas con rasgos de identidad específicos, pero que intentan representar una identidad alterna o sustancialmente alterada.

La técnica se probó en un sistema de verificación facial local personalizado, y luego se desempeñó bien en pruebas en negro contra dos aplicaciones de citas que realizan verificación facial en imágenes subidas por los usuarios.

El nuevo artículo se titula Verificación de identidad facial, y proviene de Sanjana Sarda, una investigadora del Departamento de Ingeniería Eléctrica de la Universidad de Stanford.

Controlando el espacio facial

Aunque ‘inyectar’ características específicas de identificación (es decir, de caras, señales de tráfico, etc.) en imágenes elaboradas es un elemento básico de ataques adversarios, el nuevo estudio sugiere algo diferente: que la creciente capacidad del sector de investigación para controlar el espacio latente de las GAN eventualmente permitirá el desarrollo de arquitecturas que puedan crear identidades alternativas consistentes para la de un usuario, y, efectivamente, permitir la extracción de características de identidad de imágenes disponibles en la web de un usuario desprevenido para incorporarlas en una identidad ‘sombra’ elaborada.

La consistencia y la navegabilidad han sido los principales desafíos con respecto al espacio latente de la GAN desde su creación. Una GAN que ha asimilado con éxito una colección de imágenes de entrenamiento en su espacio latente no proporciona un mapa fácil para ‘desplazar’ características de una clase a otra.

Mientras que técnicas y herramientas como el mapeo de activación de clase con ponderación de gradiente (Grad-CAM) pueden ayudar a establecer direcciones latentes entre las clases establecidas, y permitir transformaciones (ver imagen a continuación), el desafío adicional de entrelazamiento generalmente hace que sea un viaje ‘aproximado’, con un control limitado de la transición.

Un viaje aproximado entre vectores codificados en el espacio latente de una GAN, desplazando una identidad masculina derivada de los datos hacia los ‘códigos femeninos’ en el otro lado de uno de los muchos hiperplanos lineales en el complejo y arcano espacio latente. Imagen derivada de material en https://www.youtube.com/watch?v=dCKbRCUyop8

La capacidad de ‘congelar’ y proteger características específicas de identificación mientras se mueven en codificaciones transformadoras en otra parte del espacio latente potencialmente hace posible crear una identidad individual consistente (y incluso animable) cuya identidad es leída por sistemas de máquina como alguien más.

Método

El autor utilizó dos conjuntos de datos como base para los experimentos: un conjunto de datos de usuario humano que consiste en 310 imágenes de su cara durante un período de cuatro años, con iluminación, edad y ángulos de vista variables, con caras recortadas a través de Caffe; y el conjunto de datos equilibrado racialmente de 108,501 imágenes en el conjunto de datos FairFace, extraídas y recortadas de manera similar.

El modelo de verificación facial local se derivó de una implementación base de FaceNet y DeepFace, preentrenado en ConvNet Inception, con cada imagen representada por un vector de 128 dimensiones.

El enfoque utiliza imágenes faciales de un subconjunto entrenado de FairFace. Para pasar la verificación facial, la distancia calculada causada por la norma de Frobenius de una imagen se compensa con el usuario objetivo en la base de datos. Cualquier imagen por debajo del umbral de 0,7 se considera la misma identidad; de lo contrario, se considera que la verificación ha fallado.

Un modelo StyleGAN se ajustó en el conjunto de datos personal del autor, produciendo un modelo que generaría variaciones reconocibles de su identidad, aunque ninguna de las imágenes generadas era idéntica a los datos de entrenamiento. Esto se logró congelando las primeras cuatro capas en el discriminador, para evitar la sobreadaptación de los datos y producir una salida variada.

Aunque se obtuvieron imágenes diversas con el modelo StyleGAN base, la baja resolución y fidelidad provocaron un segundo intento con StarGAN V2, que permite el entrenamiento de imágenes de semilla hacia una cara objetivo.

El modelo StarGAN V2 se preentrenó durante aproximadamente 10 horas utilizando el conjunto de validación de FairFace, con un tamaño de lote de cuatro y un tamaño de validación de ocho. En el enfoque más exitoso, el conjunto de datos personal del autor se utilizó como fuente con los datos de entrenamiento como referencia.

Experimentos de verificación

Se construyó un modelo de verificación facial basado en un subconjunto de 1000 imágenes, con la intención de verificar una imagen arbitraria del conjunto. Las imágenes que pasaron la verificación con éxito se probaron posteriormente contra la identidad del autor.

A la izquierda, el autor del artículo, una foto real; en el medio, una imagen arbitraria que falló la verificación; a la derecha, una imagen no relacionada del conjunto de datos que pasó la verificación como el autor.

El objetivo de los experimentos fue crear la brecha más grande posible entre la identidad visual percibida mientras se mantienen los rasgos definitorios de la identidad objetivo. Esto se evaluó con la distancia de Mahalanobis, una métrica utilizada en el procesamiento de imágenes para la búsqueda de patrones y plantillas.

Para el modelo generativo base, los resultados de baja resolución obtenidos muestran una diversidad limitada, a pesar de pasar la verificación facial local. StarGAN V2 demostró ser más capaz de crear imágenes diversas que pudieron autenticarse.

Todas las imágenes representadas pasaron la verificación facial local. Arriba están las generaciones de base de StyleGAN de baja resolución, abajo, las generaciones de StarGAN V2 de mayor resolución y calidad.

Las tres imágenes finales ilustradas anteriormente utilizaron el conjunto de datos de la cara del autor como fuente y referencia, mientras que las imágenes anteriores utilizaron los datos de entrenamiento como referencia y el conjunto de datos del autor como fuente.

Las imágenes generadas resultantes se probaron contra los sistemas de verificación facial de las aplicaciones de citas Bumble y Tinder, con la identidad del autor como referencia, y pasaron la verificación. Una generación ‘masculina’ de la cara del autor también pasó el proceso de verificación de Bumble, aunque la iluminación tuvo que ajustarse en la imagen generada antes de que fuera aceptada. Tinder no aceptó la versión masculina.

Versiones ‘masculinas’ de la identidad (femenina) del autor.

Conclusión

Estos son experimentos seminales en proyección de identidad, en el contexto de la manipulación del espacio latente de las GAN, lo que sigue siendo un desafío extraordinario en la síntesis de imágenes y la investigación de deepfakes. Sin embargo, el trabajo abre el concepto de incorporar características específicas de manera consistente en identidades diversas, y de crear ‘identidades alternativas’ que ‘leen’ como alguien más.

Publicado por primera vez el 30 de marzo de 2022.