Le bénéfice involontaire de la cartographie de l’espace latent d’un GAN

Alors qu’ils tentaient d’améliorer la qualité et la fidélité des images générées par l’IA, un groupe de chercheurs de Chine et d’Australie ont involontairement découvert une méthode pour contrôler de manière interactive l’espace latent d’un Réseau Adversatif Génératif (GAN) – la mystérieuse matrice calculatrice derrière la nouvelle vague de techniques de synthèse d’images qui sont sur le point de révolutionner les films, les jeux, les médias sociaux et de nombreux autres secteurs du divertissement et de la recherche.

Leur découverte, un sous-produit de l’objectif central du projet, permet à un utilisateur d’explorer de manière arbitraire et interactive l’espace latent d’un GAN avec une souris, comme si on faisait défiler une vidéo ou si on feuilletait un livre.

Un extrait de la vidéo accompagnant les chercheurs (voir l’embed à la fin de l’article pour de nombreux autres exemples). Notez que l’utilisateur manipule les transformations avec un curseur « grab » (en haut à gauche). Source: https://www.youtube.com/watch?v=k7sG4XY5rIc

La méthode utilise des « cartes de chaleur » pour indiquer lesquelles parties d’une image doivent être améliorées alors que le GAN parcourt les mêmes données plusieurs milliers (ou centaines de milliers) de fois. Les cartes de chaleur sont destinées à améliorer la qualité de l’image en indiquant au GAN où il se trompe, afin que sa prochaine tentative soit meilleure; mais, par coïncidence, cela fournit également une « carte » de l’ensemble de l’espace latent qui peut être parcourue en déplaçant une souris.

L’attention visuelle spatiale mise en évidence via GradCAM, qui indique les zones qui nécessitent une attention en imposant des couleurs vives. Source: https://arxiv.org/pdf/2112.00718.pdf

L’article, intitulé Améliorer l’équilibre du GAN en augmentant la conscience spatiale, provient de chercheurs de l’Université chinoise de Hong Kong et de l’Université nationale australienne. Outre l’article, la vidéo et d’autres matériaux peuvent être trouvés sur la page du projet.

Le travail est naissant et actuellement limité à des images de basse résolution (256×256), mais il s’agit d’une preuve de concept qui promet de briser le « boîtier noir » de l’espace latent et survient à un moment où de nombreux projets de recherche frappent à cette porte dans la poursuite d’un contrôle accru sur la synthèse d’images.

Bien que de telles images soient engageantes (et que vous puissiez en voir davantage, en meilleure résolution, dans la vidéo intégrée à la fin de cet article), ce qui est peut-être plus significatif est que le projet a trouvé un moyen d’améliorer la qualité des images et, potentiellement, de le faire plus rapidement, en indiquant au GAN où il se trompe pendant l’entraînement.

Mais, comme Adversatif l’indique, un GAN n’est pas une entité unique, mais plutôt un conflit inégal entre autorité et corvée. Pour comprendre les améliorations apportées par les chercheurs à cet égard, examinons comment cette guerre a été caractérisée jusqu’à présent.

La lamentable situation du Générateur

Si vous avez déjà été hanté par la pensée que certains nouveaux articles de vêtements que vous avez achetés ont été produits dans un atelier de misère dans un pays exploité, ou que vous avez eu un patron ou un client qui vous disait de « le refaire » sans jamais vous dire ce qui n’allait pas dans votre dernière tentative, épargnez une once de pitié pour la partie Générateur d’un Réseau Adversatif Génératif.

Le Générateur est le cheval de trait qui vous a enchanté ces cinq dernières années en aidant les GAN à créer des personnes photoréalistes qui n’existent pas, en améliorant la résolution des anciens jeux vidéo à 4k, et en transformant des images d’archives en sortie HD à 60fps, entre autres merveilles de l’IA.

De la création de visages photoréalistes de personnes inexistantes à la restauration de vidéos anciennes et à la réactivation de jeux vidéo d’archive, le GAN a été occupé ces dernières années.

Le Générateur parcourt toutes les données d’entraînement à nouveau et à nouveau (comme des photos de visages, afin de créer un GAN capable de créer des photos de personnes aléatoires et inexistantes), une photo à la fois, pendant des jours, voire des semaines, jusqu’à ce qu’il puisse créer des images aussi convaincantes que les véritables photos qu’il a étudiées.

Alors, comment le Générateur sait-il qu’il fait des progrès, chaque fois qu’il tente de créer une image meilleure que sa tentative précédente?

Le Générateur a un patron infernal.

L’opacité impitoyable du Discriminateur

Le travail du Discriminateur est de dire au Générateur qu’il n’a pas fait suffisamment bien pour créer une image authentique par rapport aux données d’origine, et de le refaire. Le Discriminateur ne dit pas au Générateur ce qui n’allait pas dans la dernière tentative du Générateur; il prend simplement un regard privé sur celle-ci, la compare aux images sources (à nouveau, en privé), et attribue une note à l’image.

La note est jamais suffisante. Le Discriminateur ne cessera de dire « le refaire » jusqu’à ce que les scientifiques de recherche l’éteignent (lorsqu’ils jugent que l’entraînement supplémentaire n’améliorera pas les résultats).

De cette façon, en l’absence de critiques constructives, et armé uniquement d’une note dont la métrique est un mystère, le Générateur doit deviner aléatoirement quels parties ou aspects de l’image ont causé une note plus élevée qu’auparavant. Cela le mènera à de nombreuses voies insatisfaisantes supplémentaires avant qu’il ne modifie quelque chose de manière suffisamment positive pour obtenir une note plus élevée.

Le Discriminateur en tant que tuteur et mentor

L’innovation apportée par la nouvelle recherche est essentiellement que le Discriminateur indique maintenant au Générateur quelles parties de l’image étaient insatisfaisantes, afin que le Générateur puisse se concentrer sur ces zones dans sa prochaine itération, et ne pas jeter les sections qui ont été notées plus haut. La nature de la relation est passée de conflictuelle à collaborative.

Pour remédier à la disparité d’insight entre le Discriminateur et le Générateur, les chercheurs ont utilisé GradCAM comme un mécanisme capable de formuler les insights du Discriminateur en un outil de rétroaction visuelle pour la prochaine tentative du Générateur.

La nouvelle méthode d’entraînement d’équilibre est appelée EqGAN. Pour une reproductibilité maximale, les chercheurs ont incorporé des techniques et des méthodes existantes avec des paramètres par défaut, y compris l’utilisation de l’architecture StyleGan2.

L’architecture d’EqGAN. Le codage spatial du Générateur est aligné sur la conscience spatiale du Discriminateur, avec des échantillons aléatoires de cartes de chaleur spatiales (voir image précédente) encodés à nouveau dans le générateur via la couche d’encodage spatial (SEL). GradCAM est le mécanisme par lequel les cartes d’attention du Discriminateur sont mises à la disposition du générateur.

GradCAM produit des cartes de chaleur (voir les images ci-dessus) qui reflètent la critique du Discriminateur sur la dernière itération, et les rend disponibles pour le Générateur.

Une fois le modèle entraîné, la cartographie reste comme un artefact de ce processus collaboratif, mais peut également être utilisée pour explorer le code latent final de manière interactive, comme le montre la vidéo du projet des chercheurs (voir ci-dessous).

EqGAN

Le projet a utilisé un certain nombre de jeux de données populaires, notamment les jeux de données LSUN Cat et Churches, ainsi que le jeu de données FFHQ. La vidéo ci-dessous présente également des exemples de manipulation faciale et féline à l’aide d’EqGAN.

Toutes les images ont été redimensionnées à 256×256 avant d’entraîner EqGAN sur la mise en œuvre officielle de StyleGAN2. Le modèle a été entraîné avec une taille de lot de 64 sur 8 GPU jusqu’à ce que le Discriminateur ait été exposé à plus de 25 millions d’images.

En testant les résultats du système sur des échantillons sélectionnés avec la distance de Fréchet Inception (FID), les auteurs ont établi une métrique appelée Indicateur de déséquilibre (DI) – le degré auquel le Discriminateur conserve son avantage en termes de connaissance sur le Générateur, avec l’objectif de réduire cet écart.

Sur les trois jeux de données entraînés, la nouvelle métrique a montré une baisse utile après l’encodage de la conscience spatiale dans le Générateur, avec un équilibre amélioré démontré à la fois par la FID et le DI.

Les chercheurs concluent:

‘Nous espérons que ce travail pourra inspirer davantage de recherches sur l’équilibre du GAN et développer de nouvelles méthodes pour améliorer la qualité de la synthèse d’images en manipulant l’équilibre du GAN. Nous mènerons également des investigations théoriques plus approfondies sur cette question dans les travaux futurs.’

Et poursuivent:

‘Les résultats qualitatifs montrent que notre méthode force avec succès le Générateur à se concentrer sur des régions spécifiques. Les expériences sur divers jeux de données valident que notre méthode atténue le déséquilibre dans l’entraînement du GAN et améliore considérablement la qualité globale de la synthèse d’images. Le modèle résultant avec une conscience spatiale permet également la manipulation interactive de l’image de sortie.’

Regardez la vidéo ci-dessous pour plus de détails sur le projet et d’autres exemples d’exploration dynamique et interactive de l’espace latent dans un GAN.

11:12am 4th Dec 2021 – Corrected URL for GradCAM and tidied up surrounding reference.