Cirugía plástica para caras generadas por GAN

Nueva investigación de Corea del Sur promete mejorar la calidad de los datos sintéticos de caras creados por Redes Adversarias Generativas (GAN).

El sistema es capaz de identificar artefactos de imagen producidos por procesos GAN y remediarlos, incluso hasta el punto de reemplazar el cabello que estaba oculto por una gorra, reemplazar partes de la cara que faltaban en el original y eliminar occlusiones como manos y gafas de sol, y también funciona bien con salida escénica y arquitectónica.

A la izquierda de cada columna, la salida GAN original con defectos, seguida de dos otros enfoques para los artefactos y finalmente por el método utilizado por los investigadores surcoreanos. Fuente: https://arxiv.org/pdf/2104.06118.pdf

La mayoría de los enfoques recientes para mejorar la calidad de las imágenes generadas por GAN han adoptado la postura de que los artefactos son un riesgo ocupacional del proceso, tratando la metodología como una ‘fuerza de la naturaleza’ y los resultados más psicodélicos o aberrantes que puede producir como un subproducto inevitable.

En cambio, la investigación surcoreana propone ‘reparar’ las imágenes afectadas de una manera que no interfiera con la cadena generativa continua, identificando los aspectos que causan los artefactos y reduciendo o eliminando su influencia en la red GAN a un nivel semisupervisado que supera y amplía los mecanismos de autoreparación nativos en la arquitectura GAN.

Para el proyecto, fue necesario crear un conjunto de datos ampliamente aplicable y etiquetado a mano de imágenes que estaban gravemente afectadas por los artefactos GAN. Inicialmente, los investigadores utilizaron la distancia de Frechet Inception (FID), una métrica que evalúa la calidad de la salida GAN comparando características en las imágenes, como una unidad de calificación. Las 10,000 imágenes con las puntuaciones FID más altas entre una ejecución de 200,000 imágenes se utilizaron como ‘unidades de artefactos’ discretas. Posteriormente, los investigadores etiquetaron a mano 2,000 imágenes generadas, clasificándolas como ‘normales’ o afectadas por artefactos FID. Luego se creó un modelo para clasificar el conjunto de datos en artefactos, normales y muestras del mundo real aleatorias.

Después de esto, se utilizó el mapeo de activación de clase con ponderación de gradiente (Grad-CAM) para generar máscaras para regiones afectadas por artefactos, automatizando efectivamente la etiquetado de defectos.

En la imagen de arriba, las máscaras Grad-CAM se han aplicado a la salida del conjunto de datos LSUN-Church outdoor y el conjunto de datos CelebA-HQ.

Al analizar los 20 resultados más afectados de una ejecución de 20,000 imágenes, se generan máscaras de segmentación, en las que se pueden sustituir resultados representativos de las generaciones (que probablemente sean más precisos o convincentes que los artefactos) al disminuir la activación de las unidades que producen artefactos en generaciones posteriores.

La evaluación humana de las correcciones resultó en que el 53% de las imágenes ‘reparadas’ se etiquetaron como ‘normales’, mientras que el 97% de las imágenes originales aún demuestran mejoras significativas con respecto a los originales.

Los investigadores sostienen que este método, con algunos ajustes menores, también se puede adaptar a StyleGAN2 de NVIDIA.

Los beneficios de los datos sintéticos

Primordialmente en cuanto a los datos de caras, la escasez general de conjuntos de datos del mundo real para la visión por computadora es un obstáculo para la investigación diversa en sectores de investigación importantes, como el reconocimiento facial, el reconocimiento de emociones, la investigación médica y los estudios sobre la segmentación más detallada de la topología de la cara, entre otros campos.

La reacción actual en contra del uso gratuito de datos que enfrentan la web y la recopilación ad hoc de imágenes de caras del mundo real para inclusiones en bases de datos de caras es un obstáculo adicional para la investigación, con un número creciente de estados y naciones tomando medidas enérgicas contra web-scraping y la apropiación de imágenes de redes sociales para estos fines.

En los últimos diez años, un número limitado de conjuntos de datos de caras muy curados han ofrecido refugio de esta incertidumbre, con varios desafíos de investigación pública anuales centrados en ellos. Sin embargo, esto ha llevado a que los proyectos de investigación sesguen sus metodologías específicamente hacia estos conjuntos de datos, con resultados consistentes y comparables año tras año obtenidos a costa de una falta de diversidad en el material de origen – una situación que empeora cada año que la nueva investigación se limita a estos confines.

Además, algunos de estos ‘conjuntos de datos tradicionales’ han sido criticados por la falta de diversidad racial, lo que sugiere que estos puntos de referencia pueden no ser considerados recursos adecuados en el futuro cercano.

Esto significa la necesidad de datos de caras de alta calidad que sean realistas, pero donde las imágenes ‘del mundo real’ que contribuyen hayan sido transformadas más allá del reconocimiento. Incluso si este uso de datos de caras ‘a una distancia’ puede desencadenar problemas sobre la procedencia de las caras generadas por GAN, es un obstáculo que no es probable que surja hasta que los mecanismos legales y técnicos para la recopilación de datos de este tipo se hayan establecido; y, en cuanto a los posibles cambios en los marcos legales en torno al tema, es aún un peligro menor que el uso de imágenes de personas reales.

Lectura adicional:

Mejorar la realismo de las imágenes sintéticas
Corrección automática de unidades internas en Redes Neuronales Generativas