Chirurgie plastique pour les visages générés par GAN

NOUVEAU Une étude de Corée du Sud promet d'améliorer la qualité des données faciales synthétiques créées par les réseaux antagonistes génératifs (GAN).

Le système est capable d'identifier les artefacts d'image produits par les processus GAN et de les corriger, même au point de remplacer les cheveux masqués par un bonnet, de remplacer les parties du visage entièrement manquantes dans l'original et de supprimer les occlusions telles que les mains et les lunettes de soleil. , et fonctionne également bien sur la production scénique et architecturale.

À gauche pour chaque colonne, la sortie originale du GAN avec des défauts, suivie de deux autres approches des artefacts, et enfin de la méthode utilisée par les chercheurs sud-coréens. Source : https://arxiv.org/pdf/2104.06118.pdf

Les approches les plus récentes visant à améliorer la qualité des images générées par GAN ont adopté la position selon laquelle les artefacts sont un risque professionnel du processus, traitant la méthodologie comme une « force de la nature » et les résultats plus psychédéliques ou aberrants qu'elle peut produire comme un sous-produit inévitable.

Au lieu de cela, la recherche sud-coréenne propose de « réparer » les images affectées d'une manière qui n'interfère pas avec la chaîne générative continue, en identifiant les facettes qui provoquent des artefacts et en réduisant ou en éliminant leur influence dans le réseau GAN à un niveau semi-supervisé qui dépasse et étend les mécanismes d'autocorrection natifs de l'architecture GAN.

Pour le projet, il était nécessaire de créer un ensemble de données largement applicable et étiqueté à la main d'images qui ont été gravement affectées par les artefacts GAN. Initialement, les chercheurs ont utilisé Frechet Inception Distance (IN), Un métrique Cet outil évalue la qualité des résultats du GAN en comparant les caractéristiques des images, en tant qu'unité qualifiante. Les 10,000 200,000 images présentant les scores FID les plus élevés parmi une série de 2,000 XNUMX images ont été utilisées comme « unités d'artefact » distinctes. Les chercheurs ont ensuite étiqueté manuellement XNUMX XNUMX images générées, les classant chacune comme « normale » ou affectée par des artefacts FID. Un modèle a ensuite été créé pour classer l'ensemble de données en échantillons d'artefacts, normaux et aléatoires du monde réel.

Après cela, le mappage d'activation de classe pondéré par le gradient (Diplômé-CAM) a été utilisé pour générer des masques pour les régions affectées par des artefacts, automatisant efficacement l'étiquetage des défauts.

Dans l'image ci-dessus, les masques Grad-CAM ont été appliqués à la sortie du LSUN-Église extérieure ensemble de données, et le Jeu de données CelebA-HQ.

En analysant les 20 résultats les plus touchés à partir d'une série de 20,000 XNUMX images, des masques de segmentation sont générés, dans lesquels des résultats représentatifs de la zone à travers les générations (qui sont susceptibles d'être plus précis ou convaincants que les artefacts) peuvent être remplacés en réduisant l'activation de les unités productrices d'artefacts dans les générations suivantes.

L'évaluation humaine des corrections a permis de qualifier 53 % des images « réparées » de « normales », tandis que 97 % des images originales présentent encore des améliorations significatives par rapport aux originales.

Les chercheurs affirment que cette méthode, avec quelques modifications mineures, peut également être adaptée à NVIDIA. StyleGAN2.

Les avantages des données synthétiques

Principalement en ce qui concerne les données faciales, la rareté générale des ensembles de données du monde réel pour la vision par ordinateur constitue un obstacle à diverses recherches dans des secteurs de recherche importants, tels que la reconnaissance faciale, la reconnaissance des émotions, la recherche médicale et les études sur une segmentation plus granulaire de la topologie du visage. visage, parmi divers autres domaines.

La réaction actuelle envers la libre utilisation des données sur le Web et la collecte ponctuelle d'images de visages du monde réel à inclure dans les bases de données de visages est un obstacle supplémentaire à la recherche, avec un nombre croissant d'États et de nations sévir on raclage Web, et l'appropriation des images des médias sociaux à ces fins.

Au cours des dix dernières années, un nombre limité de ensembles de données de visage ont offert un refuge contre ce genre d'incertitude, avec divers défis annuels de recherche publique centrés autour d'eux. Cependant, cela a sans doute conduit à des projets de recherche qui ont orienté leurs méthodologies spécifiquement vers ces ensembles de données, avec des résultats cohérents et comparables d'une année sur l'autre obtenus au prix élevé d'un manque de diversité dans le matériel source - une situation qui s'aggrave chaque année. les nouvelles recherches se limitent à ces limites.

De plus, certains de ces ensembles de données « traditionnels » sont devenus sous critique pour un manque de diversité raciale, ce qui suggère que ces piliers de l'analyse comparative pourraient ne pas être considérés comme des ressources appropriées dans un avenir proche.

Cela implique la nécessité de données faciales de haute qualité et réalistes, mais dont les images « du monde réel » ont été transformées au point d'être méconnaissables. Même si cette utilisation de données faciales réelles « à distance » peut à terme poser problème. provenance En ce qui concerne les visages générés par GAN, il s'agit d'un obstacle qui ne risque pas de se poser avant l'avènement de mécanismes juridiques et techniques pour la collecte de données de ce type ; et, en ce qui concerne les changements possibles des cadres juridiques autour de la question, cela représente toujours un risque moindre que l'utilisation d'images de personnes réelles.

Pour en savoir plus:

Améliorer le réalisme des images synthétiques
Correction automatique des unités internes dans les réseaux de neurones génératifs