Orchestrer la synthèse faciale avec la segmentation sémantique

Le problème de l’invention de visages humains avec un Réseau Adversatif Génératif (GAN) est que les données du monde réel qui alimentent les images fausses viennent avec des accessoires indésirables et inséparables, tels que les cheveux sur la tête (et/ou le visage), les arrière-plans et divers types de mobilier de visage, tels que les lunettes, les chapeaux et les boucles d’oreilles; et que ces aspects périphériques de la personnalité deviennent inévitablement liés à une identité « fusionnée ».

Sous les architectures GAN les plus courantes, ces éléments ne sont pas adressables dans leur propre espace dédié, mais sont plutôt étroitement associés au visage dans (ou autour duquel) ils sont intégrés.

Il n’est généralement pas possible de dicter ou d’affecter l’apparence de sous-sections d’un visage créé par un GAN, telles que rétrécir les yeux, allonger le nez ou changer la couleur des cheveux de la manière dont un artiste de police pourrait le faire.

Cependant, le secteur de la recherche sur la synthèse d’images travaille sur ce problème:

De nouvelles recherches sur la génération de visages basée sur GAN ont séparé les différentes sections d’un visage en zones distinctes, chacune avec son propre « générateur », travaillant en concert avec d’autres générateurs pour l’image. Dans la rangée du milieu, nous voyons la carte de fonctionnalités « orchestratrice » qui construit des zones supplémentaires du visage. Source: https://arxiv.org/pdf/2112.02236.pdf

Dans un nouvel article, des chercheurs de la branche américaine du géant technologique chinois ByteDance ont utilisé la segmentation sémantique pour diviser les parties constitutives du visage en sections distinctes, chacune étant allouée à son propre générateur, de sorte qu’il est possible d’obtenir un degré plus élevé de désentanglement. Ou, du moins, de désentanglement perçu.

L’article est intitulé SemanticStyleGAN: Apprentissage de priorités génératives compositionnelles pour la synthèse et l’édition d’images contrôlables, et est accompagné d’une page de projet riche en médias featuring de multiples exemples des diverses transformations fines qui peuvent être réalisées lorsque les éléments faciaux et de tête sont isolés de cette manière.

La texture faciale, le style et la couleur des cheveux, la forme et la couleur des yeux, et de nombreux autres aspects des caractéristiques générées par GAN peuvent désormais être de facto désentrelacés, même si la qualité de la séparation et le niveau d’instrumentalité peuvent varier selon les cas. Source: https://semanticstylegan.github.io/

L’Espace Latent Incontrôlable

Un Réseau Adversatif Génératif formé pour générer des visages – tel que le StyleGan2 qui alimente le site Web populaire thispersondoesnotexist.com – forme des relations complexes entre les « fonctionnalités » (pas dans le sens facial) qu’il dérive de l’analyse de milliers de visages du monde réel, afin d’apprendre à créer des visages humains réalistes lui-même.

Ces processus clandestins sont des « codes latents », collectivement l’espace latent. Ils sont difficiles à analyser et, par conséquent, difficiles à instrumentaliser.

La semaine dernière, un nouveau projet de synthèse d’images est apparu, qui tente de « cartographier » cet espace latent pendant le processus d’entraînement lui-même, puis d’utiliser ces cartes pour naviguer de manière interactive, et diverses autres solutions ont été proposées pour obtenir un contrôle plus profond du contenu synthétisé par GAN.

Un certain progrès a été réalisé, avec une offre diverse d’architectures GAN qui tentent de « pénétrer » dans l’espace latent d’une manière ou d’une autre et de contrôler les générations faciales à partir de là. De tels efforts incluent InterFaceGAN, StyleFlow, GANSpace, et StyleRig, parmi d’autres offres dans un flux constant de nouveaux articles.

Ce qu’ils ont tous en commun, c’est des degrés limités de désentanglement; les ingénieux curseurs GUI pour diverses facettes (telles que « cheveux » ou « expression ») ont tendance à entraîner l’arrière-plan et/ou d’autres éléments dans le processus de transformation, et aucun d’entre eux (y compris l’article discuté ici) n’a résolu le problème du cheveu neural temporel.

Diviser et Conquérir l’Espace Latent

Dans tous les cas, la recherche de ByteDance adopte une approche différente: au lieu d’essayer de discerner les mystères d’un seul GAN opérant sur une image de visage entière, SemanticStyleGAN formule une approche basée sur la disposition, où les visages sont « composés » par des processus de générateur distincts.

Afin d’atteindre cette distinction de (fonctionnalités) faciales, SemanticStyleGAN utilise Fourier Features pour générer une carte de segmentation sémantique (distinctions de topographie faciale grossièrement colorées, montrées vers le bas à droite de l’image ci-dessous) pour isoler les zones faciales qui recevront une attention individuelle et dédiée.

Architecture de la nouvelle approche, qui impose une couche interstitielle de segmentation sémantique sur le visage, ce qui transforme effectivement le cadre en un orchestrateur de multiples générateurs pour différents aspects d’une image.

Les cartes de segmentation sont générées pour les images fausses qui sont systématiquement présentées au discriminateur GAN pour évaluation à mesure que le modèle s’améliore, et aux images sources (non fausses) utilisées pour l’entraînement.

Au début du processus, un Perceptron Multi-Couches (MLP) cartographie initialement des codes latents aléatoires, qui seront ensuite utilisés pour contrôler les poids des plusieurs générateurs qui prendront le contrôle d’une section du visage à produire.

Chaque générateur crée une carte de fonctionnalités et une carte de profondeur simulée à partir des fonctionnalités de Fourier qui lui sont fournies en amont. Cette sortie est la base des masques de segmentation.

Le réseau de rendu en aval n’est conditionné que par les cartes de fonctionnalités précédentes, et sait maintenant comment générer un masque de segmentation à plus haute résolution, facilitant la production finale de l’image.

Enfin, un discriminateur bifurqué supervise la distribution concaténée des images RGB (qui sont, pour nous, le résultat final) et des masques de segmentation qui les ont permis d’être séparés.

Avec SemanticStyleGAN, il n’y a pas de perturbations visuelles indésirables lorsque l’on « règle » les changements de fonctionnalités faciales, car chaque fonctionnalité faciale a été formée séparément dans le cadre d’orchestration.

Remplacer les Arrière-Plans

Puisque l’intention du projet est d’obtenir un contrôle plus grand de l’environnement généré, le processus de composition/rendu inclut un générateur d’arrière-plan formé sur des images réelles.

Une raison de poids pour laquelle les arrière-plans ne sont pas entraînés dans les manipulations faciales dans SemanticStyleGAN est qu’ils se trouvent sur une couche plus éloignée et sont complets, même si partiellement cachés par les visages superposés.

Puisque les cartes de segmentation aboutiront à des visages sans arrière-plans, ces arrière-plans « intégrés » ne fournissent pas seulement un contexte, mais sont également configurés pour être appropriés, en termes de luminosité, pour les visages superposés.

Entraînement et Données

Les modèles « réalistes » ont été formés sur les 28 000 premières images de CelebAMask-HQ, redimensionnées à 256×256 pixels pour accommoder l’espace d’entraînement (c’est-à-dire la VRAM disponible, qui dicte une taille de lot maximale par itération).

Plusieurs modèles ont été formés, et divers outils, ensembles de données et architectures ont été expérimentés pendant le processus de développement et divers tests d’ablation. Le plus grand modèle productif du projet présentait une résolution de 512×512, formé sur 2,5 jours sur huit GPU NVIDIA Tesla V100. Après l’entraînement, la génération d’une seule image prend 0,137 s sur un GPU lobe sans parallélisation.

Les expériences de style cartoon/anime démontrées dans les nombreuses vidéos sur la page du projet (voir lien ci-dessus) sont dérivées de divers ensembles de données de visages populaires, notamment Toonify, MetFaces, et Bitmoji.

Une Solution Intermédiaire?

Les auteurs soutiennent qu’il n’y a aucune raison pour laquelle SemanticStyleGAN ne pourrait pas être appliqué à d’autres domaines, tels que les paysages, les voitures, les églises et tous les autres « domaines par défaut » auxquels les nouvelles architectures sont régulièrement soumises tôt dans leur carrière.

Cependant, l’article concède que lorsque le nombre de classes augmente pour un domaine (comme ‘voiture’, ‘‘lampe de rue’, ‘piéton’, ‘bâtiment’, ‘voiture’ etc.), cette approche pièce par pièce pourrait devenir inapplicable de plusieurs manières, sans travail supplémentaire sur l’optimisation. L’ensemble de données urbain CityScapes, par exemple, comporte 30 classes réparties en 8 catégories.

Il est difficile de dire si l’intérêt actuel pour la conquête de l’espace latent de manière plus directe est aussi condamné que l’alchimie; ou si les codes latents seront finalement déchiffrables et contrôlables – un développement qui pourrait rendre cette approche plus « complexe à l’extérieur » de type redundant.