El Beneficio No Intencionado de Mapear el Espacio Latente de un GAN

Mientras intentaban mejorar la calidad y la fidelidad de las imágenes generadas por inteligencia artificial, un grupo de investigadores de China y Australia han descubierto inadvertidamente un método para controlar interactivamente el espacio latente de una Red Adversaria Generativa (GAN) – la misteriosa matriz calculativa detrás de la nueva ola de técnicas de síntesis de imágenes que están a punto de revolucionar las películas, los videojuegos y las redes sociales, entre otros sectores del entretenimiento y la investigación.

Su descubrimiento, un subproducto del objetivo central del proyecto, permite a un usuario explorar arbitraria e interactivamente el espacio latente de un GAN con un ratón, como si estuviera pasando por un video o hojear un libro.

Un extracto del video de los investigadores (ver embed al final del artículo para más ejemplos). Note que el usuario está manipulando las transformaciones con un cursor de ‘agarrar’ (arriba a la izquierda). Fuente: https://www.youtube.com/watch?v=k7sG4XY5rIc

El método utiliza ‘mapas de calor’ para indicar qué áreas de una imagen deben ser mejoradas mientras el GAN pasa por el mismo conjunto de datos miles (o cientos de miles) de veces. Los mapas de calor están diseñados para mejorar la calidad de la imagen al decirle al GAN dónde se equivocó, para que su próximo intento sea mejor; pero, coincidentemente, esto también proporciona un ‘mapa’ del espacio latente completo que se puede explorar moviendo un ratón.

Atención visual espacial enfatizada a través de GradCAM, que indica áreas que necesitan atención al imponer colores brillantes. Fuente: https://arxiv.org/pdf/2112.00718.pdf

El artículo se titula Mejorar el Equilibrio de GAN al Aumentar la Conciencia Espacial, y proviene de investigadores de la Universidad China de Hong Kong y la Universidad Nacional de Australia. Además del artículo, el video y otros materiales se pueden encontrar en la página del proyecto.

El trabajo es incipiente y actualmente está limitado a imágenes de baja resolución (256×256), pero es una prueba de concepto que promete abrir el ‘caja negra’ del espacio latente y llega en un momento en que múltiples proyectos de investigación están intentando controlar la síntesis de imágenes.

Aunque dichas imágenes son atractivas (y puedes ver más de ellas, en mejor resolución, en el video incrustado al final de este artículo), lo que es tal vez más significativo es que el proyecto ha encontrado una forma de crear una mejor calidad de imagen y, potencialmente, hacerlo más rápido, al decirle al GAN específicamente dónde se equivocó durante el entrenamiento.

Pero, como Adversarial indica, un GAN no es una entidad única, sino más bien un conflicto desigual entre autoridad y trabajo. Para entender las mejoras que los investigadores han hecho en este respecto, veamos cómo se ha caracterizado esta guerra hasta ahora.

La Pobre Suerte del Generador

Si alguna vez has sido acosado por la idea de que algún gran artículo de ropa que compraste fue producido en un taller de explotación en un país explotado, o has tenido un jefe o cliente que te decía ‘Hazlo de nuevo’ sin decirte qué estaba mal con tu último intento, ahórrate un poco de lástima para la parte Generador de una Red Adversaria Generativa.

El Generador es el caballo de batalla que te ha estado deleitando durante los últimos cinco años o más, ayudando a los GAN a crear personas fotorealistas que no existen, subir de resolución los videojuegos antiguos a 4k, y convertir footage centenario en salida de video a color completo a 60fps, entre otras novedades de inteligencia artificial.

Desde crear caras fotorealistas de personas inexistentes hasta restaurar footage antiguo y revivificar videojuegos de archivo, GAN ha estado ocupado en los últimos años.

El Generador pasa por todos los datos de entrenamiento de nuevo y de nuevo (como fotos de caras, para hacer un GAN que pueda crear fotos de personas aleatorias y no existentes), una foto a la vez, durante días o incluso semanas, hasta que es capaz de crear imágenes que son tan convincentes como las fotos genuinas que estudió.

¿Cómo sabe el Generador que está haciendo algún progreso, cada vez que intenta crear una imagen que sea mejor que su intento anterior?

El Generador tiene un jefe del infierno.

La Opacidad Despiadada del Discriminador

El trabajo del Discriminador es decirle al Generador que no hizo lo suficientemente bien al crear una imagen auténtica con respecto a los datos originales, y decirle Hazlo de nuevo. El Discriminador no le dice al Generador qué estaba mal con el intento anterior del Generador; solo echa un vistazo privado, compara la imagen generada con las imágenes de origen (de nuevo, privadamente), y asigna una puntuación a la imagen.

La puntuación es nunca lo suficientemente buena. El Discriminador no dejará de decir ‘Hazlo de nuevo’ hasta que los científicos de investigación lo apaguen (cuando juzguen que el entrenamiento adicional no mejorará la salida).

De esta manera, sin crítica constructiva, y armado solo con una puntuación cuya métrica es un misterio, el Generador debe adivinar aleatoriamente qué partes o aspectos de la imagen causaron una puntuación más alta que antes. Esto lo llevará por muchas rutas insatisfactorias antes de cambiar algo lo suficientemente positivo como para obtener una puntuación más alta.

El Discriminador como Tutor y Mentor

La innovación proporcionada por la nueva investigación es esencialmente que el Discriminador ahora indica al Generador qué partes de la imagen fueron insatisfactorias, para que el Generador pueda centrarse en esas áreas en su próxima iteración, y no desperdiciar las secciones que fueron calificadas más altas. La naturaleza de la relación se ha vuelto de combate a colaboración.

Para remediar la disparidad de conocimiento entre el Discriminador y el Generador, los investigadores utilizaron GradCAM como un mecanismo capaz de formular los conocimientos del Discriminador en una ayuda de retroalimentación visual para el intento siguiente del Generador.

El nuevo método de entrenamiento de ‘equilibrio’ se llama EqGAN. Para la máxima reproducibilidad, los investigadores incorporaron técnicas y métodos existentes con configuraciones predeterminadas, incluyendo el uso de la arquitectura StyleGan2.

La arquitectura de EqGAN. La codificación espacial del Generador se alinea con la conciencia espacial del Discriminador, con muestras aleatorias de mapas de calor espaciales (ver imagen anterior) codificadas de nuevo en el generador a través de la capa de codificación espacial (SEL). GradCAM es el mecanismo por el cual los mapas de atención del Discriminador están disponibles para el generador.

GradCAM produce mapas de calor (ver imágenes anteriores) que reflejan la crítica del Discriminador sobre la última iteración, y los hace disponibles para el Generador.

Una vez que el modelo está entrenado, el mapeo permanece como un artefacto de este proceso cooperativo, pero también se puede utilizar para explorar el código latente final de manera interactiva, como se demuestra en el video del proyecto de los investigadores (ver abajo).

EqGAN

El proyecto utilizó varios conjuntos de datos populares, incluyendo el conjunto de datos de gatos y iglesias de LSUN, así como el conjunto de datos FFHQ. El video a continuación también presenta ejemplos de manipulación facial y felina utilizando EqGAN.

Todas las imágenes se redujeron a 256×256 antes de entrenar EqGAN en la implementación oficial de StyleGAN2. El modelo se entrenó con un tamaño de lote de 64 en 8 GPU hasta que el Discriminador había sido expuesto a más de 25 millones de imágenes.

Al probar los resultados del sistema en muestras seleccionadas con la distancia de Frechet Inception (FID), los autores establecieron una métrica llamada Indicador de Desequilibrio (DI) – el grado en que el Discriminador mantiene su ventaja de conocimiento sobre el Generador, con el objetivo de reducir esa brecha.

Sobre los tres conjuntos de datos entrenados, la nueva métrica mostró una disminución útil después de codificar la conciencia espacial en el Generador, con un equilibrio mejorado demostrado tanto por FID como por DI.

Los investigadores concluyen:

‘Esperamos que este trabajo pueda inspirar más trabajos de revisar el equilibrio de GAN y desarrollar métodos novedosos para mejorar la calidad de la síntesis de imágenes al maniobrar el equilibrio de GAN. También realizaremos más investigaciones teóricas sobre este tema en el futuro.’

Y continúan:

‘Los resultados cualitativos muestran que nuestro método logra con éxito [forzar al Generador] a concentrarse en regiones específicas. Los experimentos en varios conjuntos de datos validan que nuestro método mitiga el desequilibrio en el entrenamiento de GAN y mejora sustancialmente la calidad general de la síntesis de imágenes. El modelo resultante con conciencia espacial también permite la manipulación interactiva de la imagen de salida.’

Mira el video a continuación para más detalles sobre el proyecto y más ejemplos de exploración dinámica y interactiva del espacio latente en un GAN.

11:12am 4th Dec 2021 – Corregida la URL de GradCAM y se ha organizado la referencia circundante.