Création de deepfakes de corps entier en combinant plusieurs NeRF

Le secteur de la recherche en synthèse d’images est encombré de nouvelles propositions de systèmes capables de créer des vidéos et des images de corps entiers de jeunes personnes – principalement de jeunes femmes – dans différents types de tenues. La plupart des images générées sont statiques; occasionnellement, les représentations bougent, mais généralement pas très bien.

Le rythme de cette recherche particulière est glacial par rapport au niveau actuel de progrès dans des domaines connexes tels que les modèles de diffusion latente; cependant, les groupes de recherche, la majorité en Asie, continuent à travailler sans relâche sur le problème.

L’un des dizaines, sinon des centaines de systèmes de ‘virtual try-on’ proposés ou semi-lancés au cours des 10-15 dernières années, où les corps sont évalués par la reconnaissance d’objets basée sur l’apprentissage automatique et adaptés aux articles de vêtement proposés. Source: https://www.youtube.com/watch?v=2ZXrgGyhbak

L’objectif est de créer de nouveaux systèmes pour permettre des « essais virtuels » pour le marché de la mode et des vêtements – des systèmes qui peuvent s’adapter à la fois au client et au produit spécifique qui est actuellement disponible ou sur le point d’être lancé, sans la lourdeur de la superposition en temps réel de vêtements, ou la nécessité de demander aux clients d’envoyer des photos légèrement NSFW pour les pipelines de rendu basés sur l’apprentissage automatique.

Aucune des architectures de synthèse populaires ne semble facilement adaptable à cette tâche: l’espace latent des réseaux antagonistes génératifs (GAN) n’est pas adapté pour produire des mouvements temporels convaincants (ou même pour l’édition en général); bien que capable de générer des mouvements humains réalistes, les champs de rayonnement neural (NeRF) sont généralement naturellement résistants au type d’édition qui serait nécessaire pour « échanger » les personnes ou les vêtements à volonté; les auto-encodeurs nécessiteraient une formation fastidieuse spécifique à la personne/vêtement; et les modèles de diffusion latente, comme les GAN, n’ont pas de mécanismes temporels natifs pour la génération de vidéos.

EVA3D

Néanmoins, les papiers et les propositions continuent. Le dernier est d’un intérêt inhabituel dans une ligne de recherche autrement sans distinction et exclusivement axée sur les affaires.

EVA3D, de l’Université technologique de Nanyang à Singapour, est le premier signe d’une approche qui a mis longtemps à venir – l’utilisation de plusieurs réseaux de champs de rayonnement neural, chacun dédié à une partie distincte du corps, et qui sont ensuite composés en une visualisation assemblée et cohérente.

Une jeune femme mobile composée de plusieurs réseaux NeRF, pour EVA3D. Source: https://hongfz16.github.io/projects/EVA3D.html

Les résultats, en termes de mouvement, sont… okay. Même si les visualisations d’EVA3D ne sont pas hors de la vallée de l’incroyable, elles peuvent au moins voir la sortie de l’autoroute où elles se trouvent.

Ce qui rend EVA3D remarquable, c’est que les chercheurs derrière lui, presque unique dans le secteur de la synthèse d’images de corps entier, ont réalisé qu’un seul réseau (GAN, NeRF ou autre) ne sera pas en mesure de gérer la génération de corps entier humain editable et flexible pour quelques années – en partie à cause du rythme de la recherche, et en partie à cause des limitations matérielles et logistiques.

Par conséquent, l’équipe de Nanyang a subdivisé la tâche en 16 réseaux et plusieurs technologies – une approche déjà adoptée pour le rendu neural d’environnements urbains dans Block-NeRF et CityNeRF, et qui semble susceptible de devenir une mesure de plus en plus intéressante et potentiellement fructueuse pour atteindre les deepfakes de corps entier dans les cinq prochaines années, en attendant de nouveaux développements conceptuels ou matériels.

Tous les défis présents dans la création de ce type d’« essai virtuel » ne sont pas techniques ou logistiques, et le papier décrit certains des problèmes de données, en particulier en ce qui concerne l’apprentissage non supervisé:

‘[Les jeux de données de mode] ont principalement des poses humaines très limitées (la plupart sont des poses debout similaires), et des angles de vue très déséquilibrés (la plupart sont des vues frontales). Cette répartition de données 2D déséquilibrée pourrait entraver l’apprentissage non supervisé des GAN 3D, ce qui rendrait difficile la synthèse de vues et de poses nouvelles. Par conséquent, une stratégie d’entraînement appropriée est nécessaire pour atténuer le problème.’

Le flux de travail d’EVA3D divise le corps humain en 16 parties distinctes, chacune générée par son propre réseau NeRF. Évidemment, cela crée suffisamment de sections « non gelées » pour être en mesure de galvaniser la figure à travers la capture de mouvement ou d’autres types de données de mouvement. Outre cet avantage, cela permet également au système d’affecter des ressources maximales aux parties du corps qui « vendent » l’impression générale.

Par exemple, les pieds humains ont une gamme d’articulation très limitée, tandis que l’authenticité du visage et de la tête, outre la qualité du mouvement corporel dans son ensemble, est susceptible d’être le jeton d’authenticité pour le rendu.

Une comparaison qualitative entre EVA3D et les méthodes antérieures.

L’approche diffère radicalement du projet NeRF-centré auquel il est conceptuellement lié – 2021’s A-NeRF, de l’Université de Colombie-Britannique et Reality Labs Research, qui a cherché à ajouter un squelette de contrôle interne à une représentation NeRF conventionnelle « en un seul morceau », ce qui rend plus difficile l’allocation de ressources de traitement à différentes parties du corps en fonction des besoins.

Mouvements antérieurs – A-NeRF équipe un NeRF « cuit » avec le même type de charpente centrale ductile et articulée que l’industrie VFX a utilisé pendant si longtemps pour animer les personnages CGI. Source: https://lemonatsu.github.io/anerf/

En commun avec la plupart des projets humains similaires qui cherchent à exploiter l’espace latent des différentes approches populaires, EVA3D utilise un modèle linéaire multi-personne à peau (SMPL), une méthode traditionnelle basée sur la CGI pour ajouter de l’instrumentalité à l’abstraction générale des méthodes de synthèse actuelles. Plus tôt cette année, un autre papier, celui-ci de l’Université de Zhejiang à Hangzhou, et de l’École des médias créatifs de l’Université de Hong Kong, a utilisé de telles méthodes pour effectuer un remodelage corporel neuronal.

Résultats qualitatifs d’EVA3D sur DeepFashion.

Méthode

Le modèle SMPL utilisé dans le processus est réglé sur le « prior » humain – la personne qui est, en substance, volontairement deepfakée par EVA3D, et ses poids de peau négocient les différences entre l’espace canonique (c’est-à-dire la pose « au repos » ou « neutre » d’un modèle SMPL) et la façon dont l’apparence finale est rendue.

Le flux de travail conceptuel pour EVA3D. Source: https://arxiv.org/pdf/2210.04888.pdf

Comme le montre l’illustration ci-dessus, les boîtes de délimitation de SMPL sont utilisées comme définitions de limite pour les 16 réseaux qui composeront finalement le corps. L’algorithme de peau linéaire inverse (LBS) de SMPL est ensuite utilisé pour transférer des rayons échantillonnés visibles à l’espace de pose passive (canonique). Ensuite, les 16 sous-réseaux sont interrogés, en fonction de ces configurations, et finalement conformés en un rendu final.

Le composite NeRF entier est ensuite utilisé pour construire un cadre GAN humain 3D.

Les rendus du cadre GAN de deuxième étape seront finalement formés contre de véritables collections d’images 2D d’humains/mode.

Chaque sous-réseau représentant une partie du corps humain est composé de perceptrons multi-couches (MLP) empilés avec SIREN (représentation sinusoidale) comme fonction d’activation. Bien que SIREN résolve de nombreux problèmes dans un flux de travail comme celui-ci, et dans des projets similaires, il a tendance à surentraîner plutôt qu’à généraliser, et les chercheurs suggèrent que des bibliothèques alternatives pourraient être utilisées à l’avenir (voir la fin de l’article).

Données, formation et tests

EVA3D est confronté à des problèmes de données inhabituels, en raison des limitations et du style de poses proposées dans les jeux de données de mode, qui manquent souvent de vues alternatives ou nouvelles, et sont, peut-être intentionnellement, répétitives, afin de se concentrer sur les vêtements plutôt que sur la personne qui les porte.

En raison de cette répartition de poses déséquilibrée, EVA3D utilise des « prior » humains (voir ci-dessus) basés sur la géométrie du modèle SMPL, puis prédit un champ de distance signé (SDF) de cette pose, plutôt qu’une pose cible directe.

Pour les expériences de soutien, les chercheurs ont utilisé quatre jeux de données: DeepFashion; SHHQ; UBCFashion; et la base de données de vidéos de danse AIST (AIST Dance DB).

Les deux derniers contiennent des poses plus variées que les deux premiers, mais représentent les mêmes individus de manière répétitive, ce qui annule cette diversité autrement utile; en bref, les données sont plus que difficiles, étant donné la tâche.

Exemples de SSHQ. Source: https://arxiv.org/pdf/2204.11823.pdf

Les références utilisées étaient ENARF-GAN, le premier projet à rendre des visuels NeRF à partir de jeux de données d’images 2D; Stanford et NVIDIA’s (NVDA ) EG3D; et StyleSDF, une collaboration entre l’Université de Washington, Adobe (ADBE ) Research et l’Université de Stanford – toutes des méthodes nécessitant des bibliothèques de super-résolution pour passer de la résolution native à la résolution élevée.

Les métriques adoptées étaient la distance de Fréchet à l’incréation (controverse FID) et la distance de noyau à l’incréation (KID), ainsi que le pourcentage de clés correctes (PCKh@0,5).

Dans les évaluations quantitatives, EVA3D a pris la tête de toutes les métriques dans quatre jeux de données:

Résultats quantitatifs.

Les chercheurs notent qu’EVA3D obtient le taux d’erreur le plus bas pour le rendu de la géométrie, un facteur critique dans un projet de ce type. Ils observent également que leur système peut contrôler la pose générée et obtenir des scores PCKh@0,5 plus élevés, contrairement à EG3D, la seule méthode concurrente qui a obtenu un score plus élevé dans une catégorie.

EVA3D fonctionne nativement à la résolution 512x512px, qui est désormais la norme, bien qu’il puisse être facilement et efficacement mis à l’échelle en résolution HD en ajoutant des couches de mise à l’échelle, comme Google l’a récemment fait avec son offre de vidéo texte-à-vidéo 1024 de résolution Imagen Video.

La méthode n’est pas sans limites. Le papier note que l’activation SIREN peut causer des artefacts circulaires, qui pourraient être remédiés dans les versions futures en utilisant une représentation de base alternative, telle que EG3D, en combinaison avec un décodeur 2D. De plus, il est difficile de faire correspondre avec précision SMPL aux sources de données de mode.

Enfin, le système ne peut pas facilement accueillir de plus grands et plus fluides articles de vêtement, tels que de grandes robes; les vêtements de ce type présentent le même type de dynamique des fluides qui rendent la création de cheveux rendus par neurones tellement difficile. Présomptivement, une solution appropriée pourrait aider à résoudre les deux problèmes.

Publié pour la première fois le 12 octobre 2022.