Création d’un réseau antagoniste génératif personnalisé avec des croquis

Les chercheurs de Carnegie Mellon et du MIT ont développé une nouvelle méthodologie qui permet à un utilisateur de créer des systèmes d’image de réseau antagoniste génératif (GAN) personnalisés simplement en dessinant des croquis indicatifs.

Un système de ce type pourrait permettre à un utilisateur final de créer des systèmes de génération d’images capables de produire des images très spécifiques, telles que des animaux particuliers, des types de bâtiments – et même des personnes individuelles. Actuellement, la plupart des systèmes de génération d’images GAN produisent des sorties larges et assez aléatoires, avec une capacité limitée à spécifier des caractéristiques particulières, telles que la race d’un animal, les types de cheveux des personnes, les styles d’architecture ou les identités faciales réelles.

L’approche, présentée dans le document Croquer votre propre GAN, utilise une nouvelle interface de croquis comme une fonction de “recherche” efficace pour trouver des fonctionnalités et des classes dans des bases de données d’images surpeuplées qui peuvent contenir des milliers de types d’objets, y compris de nombreux sous-types qui ne sont pas pertinents pour l’intention de l’utilisateur. Le GAN est ensuite formé sur ce sous-ensemble filtré d’images.

En dessinant l’objet spécifique avec lequel l’utilisateur souhaite calibrer le GAN, les capacités génératives du cadre deviennent spécialisées dans cette classe. Par exemple, si un utilisateur souhaite créer un cadre qui génère un type spécifique de chat (plutôt que n’importe quel chat, comme on peut l’obtenir avec This Cat Does Not Exist), les croquis de l’utilisateur servent de filtre pour éliminer les classes non pertinentes de chat.

Source: https://peterwang512.github.io/GANSketching/

La recherche est menée par Sheng Yu-Wang de l’Université Carnegie Mellon, ainsi que par son collègue Jun-Yan Zhu, et David Bau du Laboratoire d’informatique et d’intelligence artificielle du MIT.

La méthode elle-même est appelée “croquis GAN”, et utilise les croquis d’entrée pour modifier directement les poids d’un modèle GAN “template” pour cibler spécifiquement le domaine ou le sous-domaine identifié à travers la perte antagoniste entre domaines.

Différentes méthodes de régularisation ont été explorées pour garantir que la sortie du modèle est diverse, tout en maintenant une qualité d’image élevée. Les chercheurs ont créé des applications d’exemple capables d’interpoler l’espace latent et de réaliser des procédures d’édition d’images.

Ce [$class] n’existe pas

Les systèmes de génération d’images basés sur GAN sont devenus une mode, sinon un mème, au cours des dernières années, avec une prolifération de projets capables de générer des images de choses non existantes, y compris des personnes, des appartements à louer, des snacks, des pieds, des chevaux, des politiciens et des insectes, entre autres.

Les systèmes de synthèse d’images GAN sont créés en compilant ou en curant des ensembles de données étendus contenant des images du domaine cible, telles que des visages ou des chevaux; en formant des modèles qui généralisent une gamme de fonctionnalités à travers les images de la base de données; et en mettant en œuvre des modules générateurs qui peuvent produire des exemples aléatoires basés sur les fonctionnalités apprises.

Sortie de DeepFacePencil, qui permet aux utilisateurs de créer des visages photoréalistes à partir de croquis. De nombreux projets similaires de croquis à image existent.

Les fonctionnalités à haute dimension sont parmi les premières à être concrétisées pendant le processus de formation, et sont équivalentes aux premiers coups de pinceau d’un peintre sur une toile. Ces caractéristiques à haute dimension finiront par correspondre à des fonctionnalités beaucoup plus détaillées (c’est-à-dire l’éclat de l’œil et les moustaches pointues d’un chat, plutôt que simplement un blob beige générique représentant la tête).

Je sais ce que vous voulez dire…

En cartographiant la relation entre ces formes primitives et les interprétations ultérieures détaillées qui sont obtenues plus tard dans le processus de formation, il est possible d’inférer des relations entre des images “vagues” et “spécifiques”, permettant aux utilisateurs de créer des images complexes et photoréalistes à partir de croquis grossiers.

Récemment, NVIDIA a publié une version de bureau de sa recherche à long terme GauGAN sur la génération de paysages basée sur GAN, qui démontre facilement ce principe:

Approximations de daubs sont traduites en riches images scéniques à travers NVIDIA’s GauGAN, et maintenant l’application NVIDIA Canvas. Source: https://rossdawson.com/futurist/implications-of-ai/future-of-ai-image-synthesis/

De même, plusieurs systèmes tels que DeepFacePencil ont utilisé le même principe pour créer des générateurs d’images photoréalistes induits par croquis pour différents domaines.

L’architecture de DeepFacePencil.

Simplifier le croquis à l’image

La nouvelle approche de GAN Sketching vise à supprimer la lourde charge de collecte et de curation de données qui est généralement impliquée dans le développement de cadres d’images GAN, en utilisant les entrées de l’utilisateur pour définir quel sous-ensemble d’images devrait constituer les données de formation.

Le système a été conçu pour nécessiter seulement un petit nombre de croquis d’entrée pour calibrer le cadre. Le système inverse effectivement la fonctionnalité de PhotoSketch, une initiative de recherche conjointe de 2019 par des chercheurs de Carnegie Mellon, Adobe, Uber ATG et Argo AI, qui est intégrée dans le nouveau travail. PhotoSketch a été conçu pour créer des croquis artistiques à partir d’images, et contient déjà la cartographie efficace des relations de création d’images vague>spécifique.

Pour la partie génération du processus, la nouvelle méthode ne modifie que les poids de StyleGAN2. Puisque les données d’image utilisées ne sont qu’un sous-ensemble des données disponibles, la simple modification du réseau de mapping obtient des résultats souhaitables.

La méthode a été évaluée sur un certain nombre de sous-domaines populaires, y compris les équitation, les églises et les chats.

Le jeu de données LSUN de l’Université de Princeton de 2016 a été utilisé comme matériau principal à partir duquel dériver les sous-domaines cibles. Pour établir un système de cartographie de croquis robuste aux excentricités des entrées de croquis de l’utilisateur réel, le système est formé sur des images du jeu de données QuickDraw développé par Microsoft entre 2021-2016.

Bien que les cartographies de croquis entre PhotoSketch et QuickDraw soient quite différentes, les chercheurs ont constaté que leur cadre réussit bien à les chevaucher facilement sur des poses relativement simples, bien que des poses plus compliquées (comme des chats couchés) prouvent plus difficiles, tandis que des entrées de croquis abstraites (c’est-à-dire des dessins trop grossiers) entravent également la qualité des résultats.

Espace latent et édition d’images naturelles

Les chercheurs ont développé deux applications basées sur le travail de base: l’édition d’espace latent et l’édition d’images. L’édition d’espace latent offre des contrôles utilisateur interprétables qui sont facilités au moment de la formation, et permettent un large degré de variation tout en restant fidèle au domaine cible, et agréablement cohérents à travers les variations.

Interpolation d’espace latent lisse avec les modèles personnalisés de GAN Sketching.

La composante d’édition d’espace latent a été alimentée par le projet GANSpace de 2020, une initiative conjointe de l’Université Aalto, Adobe et NVIDIA.

Une seule image peut également être alimentée au modèle personnalisé, facilitant l’édition d’images naturelles. Dans cette application, une seule image est projétée sur le GAN personnalisé, ne permettant pas seulement l’édition directe, mais également la préservation de l’édition d’espace latent de niveau supérieur, si cela a également été utilisé.

Ici, une image réelle a été utilisée comme entrée pour le GAN (modèle de chat), qui édite l’entrée pour correspondre aux croquis soumis. Cela permet l’édition d’images via le croquis.

Bien que configurable, le système n’est pas conçu pour fonctionner en temps réel, du moins en termes de formation et de calibration. Actuellement, GAN Sketching nécessite 30 000 itérations de formation. Le système nécessite également l’accès aux données de formation d’origine pour le modèle d’origine.

Dans les cas où le jeu de données est open source et a une licence qui permet la copie locale, cela pourrait être pris en charge en incluant les données sources dans un package installé localement, bien que cela prendrait beaucoup d’espace disque; ou en accédant ou en traitant des données à distance, via une approche basée sur le cloud, qui introduit des surcharges réseau et (dans le cas où le traitement se produit réellement sur le cloud) des considérations de coût de calcul possibles.

Transformations à partir de modèles FFHQ personnalisés formés sur seulement pour des croquis générés par l’homme.