Chirurgie esthétique pour les visages générés par GAN

Nouvelle recherche en provenance de Corée du Sud promet d’améliorer la qualité des données de visages synthétiques créées par les réseaux antagonistes génératifs (GAN).

Le système est capable d’identifier les artefacts d’image produits par les processus GAN et de les corriger, même jusqu’au point de remplacer les cheveux qui étaient obscurcis par un casque, de remplacer des parties du visage entièrement manquantes dans l’original, et de supprimer les occlusions telles que les mains et les lunettes de soleil, et fonctionne également bien sur les sorties scéniques et architecturales.

À gauche de chaque colonne, la sortie GAN originale avec des défauts, suivie de deux autres approches des artefacts, et enfin de la méthode utilisée par les chercheurs sud-coréens. Source: https://arxiv.org/pdf/2104.06118.pdf

La plupart des approches récentes pour améliorer la qualité des images générées par GAN ont adopté l’attitude que les artefacts sont un risque professionnel du processus, traitant la méthodologie comme une « force de la nature », et les résultats plus psychédéliques ou aberrationnels qu’elle peut produire comme un sous-produit inévitable.

Au lieu de cela, la recherche sud-coréenne propose de « réparer » les images affectées d’une manière qui n’interfère pas avec la chaîne générative continue, en identifiant les facettes qui provoquent des artefacts, et en réduisant ou en éliminant leur influence dans le réseau GAN à un niveau semi-supervisé qui dépasse et étend les mécanismes auto-correcteurs natifs de l’architecture GAN.

Pour le projet, il a été nécessaire de créer un ensemble de données étiqueté à la main largement applicable d’images qui étaient gravement affectées par les artefacts GAN. Initialement, les chercheurs ont utilisé la distance de Fréchet-Inception (FID), une métrique qui évalue la qualité de la sortie GAN en comparant les fonctionnalités dans les images, comme unité de qualification. Les 10 000 images avec les scores FID les plus élevés parmi une série de 200 000 images ont été utilisées comme unités « d’artefact » distinctes. Par la suite, les chercheurs ont étiqueté à la main 2 000 images générées, en les classifiant chacune comme « normale » ou affectée par les artefacts FID. Ensuite, un modèle a été créé pour classer l’ensemble de données en artefact, normal et échantillons du monde réel aléatoires.

Après cela, la cartographie d’activation de classe à poids de gradient (Grad-CAM) a été utilisée pour générer des masques pour les régions affectées par les artefacts, ce qui a effectivement automatisé l’étiquetage des défauts.

Dans l’image ci-dessus, les masques Grad-CAM ont été appliqués à la sortie de l’ensemble de données LSUN-Church outdoor et de l’ensemble de données CelebA-HQ.

En analysant les 20 résultats les plus touchés d’une série de 20 000 images, des masques de segmentation sont générés, dans lesquels des résultats représentatifs de l’ensemble des générations (qui sont susceptibles d’être plus précis ou plus convaincants que les artefacts) peuvent être substitués en abaissant l’activation des unités productrices d’artefacts dans les générations suivantes.

L’évaluation humaine des corrections a abouti à 53 % des images « réparées » étant étiquetées comme « normales », tandis que 97 % des images originales montrent encore des améliorations significatives par rapport aux originaux.

Les chercheurs affirment que cette méthode, avec quelques réglages mineurs, peut également être adaptée à StyleGAN2 de NVIDIA.

Les avantages des données synthétiques

Principalement en ce qui concerne les données de visage, la rareté générale des ensembles de données du monde réel pour la vision par ordinateur est un obstacle à la recherche diversifiée dans des secteurs de recherche importants, tels que la reconnaissance faciale, la reconnaissance des émotions, la recherche médicale et les études sur une segmentation plus fine de la topologie du visage, entre autres.

La réaction actuelle contre l’utilisation gratuite des données orientées vers le web et la collecte ad hoc d’images de visages du monde réel pour les inclure dans les bases de données de visages est un obstacle supplémentaire à la recherche, avec un nombre croissant d’États et de nations renforçant les scraping du web, et l’appropriation d’images de médias sociaux à ces fins.

Au cours des dix dernières années, un nombre limité d’ensembles de données de visages soigneusement sélectionnés ont offert un refuge contre ce type d’incertitude, avec divers défis de recherche publics annuels centrés autour d’eux. Cependant, cela a probablement conduit les projets de recherche à adapter leurs méthodologies spécifiquement à ces ensembles de données, avec des résultats cohérents et comparables d’année en année obtenus au prix d’un manque de diversité dans le matériel source – une situation qui empire chaque année que la nouvelle recherche se limite à ces limites.

En outre, certains de ces « ensembles de données traditionnels » ont été critiqués pour leur manque de diversité raciale, ce qui suggère que ces références de benchmarking ne peuvent peut-être pas être considérées comme des ressources appropriées dans un avenir proche.

Cela signifie la nécessité de données de visage de haute qualité qui soient réalistes, mais où les images « du monde réel » contributrices ont été transformées bien au-delà de la reconnaissance. Même si cette utilisation de données de visage « réel » « à un niveau » peut elle-même déclencher des problèmes sur la provenance des visages générés par GAN, c’est un obstacle qui ne devrait pas surgir jusqu’à ce que les mécanismes juridiques et techniques pour la collecte de données de ce type soient établis; et, en ce qui concerne les changements possibles dans les cadres juridiques autour de la question, c’est encore un risque moindre que celui de l’utilisation d’images de personnes réelles.

Lecture supplémentaire:

Améliorer le réalisme des images synthétiques
Correction automatique des unités internes dans les réseaux de neurones génératifs