Disney combine le CGI avec le rendu neuronal pour résoudre le problème de la « vallée de l’incertitude »

La division de recherche en intelligence artificielle de Disney a développé une méthode hybride pour la simulation faciale de qualité cinématographique, combinant les forces du rendu neuronal facial avec la constance d’une approche basée sur le CGI.

L’article en attente de publication est intitulé Rendering with Style: Combining Traditional and Neural Approaches for High Quality Face Rendering, et est présenté dans une nouvelle vidéo de 10 minutes sur la chaîne YouTube de la recherche Disney (intégrée à la fin de cet article*).

Maillages combinés avec des rendus faciaux neuronaux. Voir la vidéo intégrée à la fin de l’article pour plus de détails et de qualité. Source: https://www.youtube.com/watch?v=k-RKSGbWLng (remplacé par https://www.youtube.com/watch?v=TwpLqTmvqVk)

Comme le note la vidéo, le rendu neuronal de visages (y compris les deepfakes) peut produire des yeux et des intérieurs de bouche beaucoup plus réalistes que le CGI, tandis que les textures faciales du CGI sont plus constantes et plus adaptées à la production de VFX de niveau cinéma.

Disney expérimente donc en laissant le générateur neuronal StyleGan2 de NVIDIA gérer les caractéristiques environnantes d’un visage et les éléments « vitaux » tels que les yeux, tout en superposant des peaux faciales CGI constantes et des éléments connexes dans la sortie.

À partir de la vidéo (voir fin de l’article), le concept architectural derrière l’approche hybride de Disney, où un maillage CGI de type « ancien » est intégré dans des environnements de visages neuronaux.

La vidéo fait une référence tacite à la critique fréquente de l’inauthenticité et de l’effet de « vallée de l’incertitude » de la recréation CGI de l’acteur britannique Peter Cushing dans Rogue One (2016), en concédant:

‘[Il y a] encore un énorme fossé entre ce que les gens peuvent facilement capturer et rendre, et les doubles numériques photoréalistes finals, complets avec des cheveux, des yeux et des intérieurs de bouche. Pour combler cet écart, il faut généralement beaucoup de travail manuel de la part d’artistes qualifiés.’

En réalité, même les systèmes de capture faciale les plus modernes ne tentent pas de recréer les yeux, les intérieurs de bouche ou les cheveux, qui posent soit des problèmes d’authenticité dans ces techniques (yeux), soit des problèmes de cohérence temporelle (cheveux).

La vidéo illustre ce que les artistes VFX obtiendront après une session de capture faciale typique. Les yeux, les cheveux, la barbe et les intérieurs de bouche devront tous être traités par des équipes distinctes dans le pipeline de production, en plus de la texture et de l’éclairage.

Contrôle de l’éclairage

L’approche hybride présente également un avantage en termes de reluminage – un défi notable pour le rendu neuronal de visages, car les superpositions de peau CGI peuvent être plus facilement rééclairées.

Une version animée de l’approche CGI/neuronal.

Dans des environnements plus difficiles, tels que les tournages extérieurs, les chercheurs ont développé une méthode d’inpainting autour d’une sorte de zone démilitarisée entourant la personne « créée ».

Une marge noire est générée pour permettre un « canevas » pour l’inpainting des parties extérieures de l’identité et l’intégration de la peau CGI dans la sortie CGI/neuronal combinée.

La vidéo note:

‘[Le] rendu neuronal ne correspond pas parfaitement à la contrainte d’arrière-plan. – il n’est destiné qu’à titre de guide, puisque l’optimisation pour des composants humains réalistes comme les cheveux, les yeux et les dents est l’objectif principal. Plus difficile est de maintenir une identité cohérente, tout en changeant l’éclairage de l’environnement.’

Création de maillages CGI à partir de rendus neuronaux

L’équipe de recherche a également développé un auto-encodeur variationnel formé sur une grande base de données de images de visages 3D (non spécifiée), et affirme qu’il peut produire des « maillages de visages 3D aléatoires mais plausibles » à partir de données de vérité terrain.

Il y a des limites à cette recherche pour surmonter, notamment la difficulté de maintenir la cohérence temporelle des cheveux dans les rendus neuronaux, et la vidéo (voir ci-dessous) montre plusieurs exemples de cheveux qui se transforment rapidement dans un environnement de visage CGI/neuronal autrement cohérent.

La cohérence temporelle dans le rendu de vidéo neuronal est un problème beaucoup plus large que celui de Disney, et il semble probable que les itérations ultérieures de ce système puissent avoir recours à l’ajout de cheveux « en post », ou à d’autres approches possibles de génération de cheveux plutôt que d’espérer qu’une nouvelle approche neuronale résolve finalement le problème.

Utilisations pour la génération de données

La méthode est proposée comme une méthode potentielle de génération de données synthétiques, et d’enrichissement du paysage d’images de visages, qui est devenu dangereusement monotone ces dernières années.

Disney envisage que la nouvelle technique peuple les ensembles de données d’images de visages.

‘[Chaque] résultat photoréaliste que nous générons a une géométrie sous-jacente et des cartes d’apparence, rendues à partir de points de vue de caméra inconnus avec une illumination connue. Ces informations de « vérité terrain » peuvent être vitales pour la formation d’applications en aval, telles que la reconstruction de visages 3D monocularis, la reconnaissance faciale ou la compréhension de scène. Et chaque rendu de résultat peut être considéré comme un échantillon de données, et nous pouvons générer de nombreuses variations de différents individus.

‘De plus, même pour une seule personne rendue dans une seule expression avec un seul point de vue et une seule illumination, nous pouvons générer des variations aléatoires du rendu photoréaliste en modifiant la graine d’aléatoire pendant l’optimisation.’

Les chercheurs notent que cette diversité de sortie configurable pourrait être utile pour la formation d’applications de reconnaissance faciale, en concluant:

‘[Notre] méthode est capable d’exploiter la technologie actuelle pour la capture, la modélisation et le rendu de peau faciale, et de créer automatiquement des rendus de visages photoréalistes complets qui correspondent à l’identité, à l’expression et à la configuration de scène souhaitées. Cette approche a des applications dans le rendu facial pour le cinéma et le divertissement, en économisant le travail manuel des artistes et également pour la génération de données dans différents domaines de l’apprentissage profond.’

Pour une vision plus approfondie de la nouvelle approche, consultez la vidéo de 10 minutes publiée aujourd’hui:

* Le lien de la vidéo d’origine a été remplacé par un autre apparemment identique 8 heures après la publication de cet article. J’ai modifié tous les liens pertinents, car il n’y a aucune trace de la vidéo d’origine.

8:24 GMT+2 – La vidéo a été remplacée, car elle a été supprimée par la chaîne YouTube de la recherche Disney pour une raison quelconque.