Angle d’Anderson

NeRF : Le défi de l’édition du contenu des champs de rayonnement neuronaux

Martin Anderson
Ajouter Unite.AI à vos sources préférées sur Google
Points clésL'InstantNeRF de NVIDIA génère des scènes neuronales explorables en quelques secondes…
Voir plus
  • L'InstantNeRF de NVIDIA génère des scènes neuronales explorables en quelques secondes mais verrouille la géométrie dans des nuages de points non modifiables.
  • NeRF-Editing extrait un maillage proxy d'un NeRF et le déforme en utilisant la technique As-Rigid-As-Possible.
  • La géométrie déformée dans NeRF-Editing ne parvient pas à mettre à jour les effets secondaires comme les ombres sur les objets édités.

Au début de cette année, NVIDIA (NVDA ) a fait progresser la recherche sur les champs de rayonnement neuronaux (NeRF) de manière notable avec InstantNeRF, apparemment capable de générer des scènes neuronales explorables en quelques secondes – à partir d’une technique qui, lorsqu’elle est apparue en 2020, prenait souvent des heures ou même des jours pour s’entraîner.

InstantNeRF de NVIDIA fournit des résultats impressionnants et rapides. Source : https://www.youtube.com/watch?v=DJ2hcC1orc4

InstantNeRF de NVIDIA fournit des résultats impressionnants et rapides. Source : https://www.youtube.com/watch?v=DJ2hcC1orc4

Bien que ce type d’interpolation produise une scène statique, NeRF est également capable de dépeindre le mouvement, et d’une édition de base de type ‘copier-coller’, où des NeRF individuels peuvent soit être regroupés en scènes composites, soit insérés dans des scènes existantes.

Des NeRF imbriqués, présentés dans une étude de 2021 de Shanghai Tech University et DGene Digital Technology. Source : https://www.youtube.com/watch?v=Wp4HfOwFGP4

Des NeRF imbriqués, présentés dans une étude de 2021 de Shanghai Tech University et DGene Digital Technology. Source : https://www.youtube.com/watch?v=Wp4HfOwFGP4

Cependant, si vous souhaitez intervenir dans un NeRF calculé et vraiment changer quelque chose qui se passe à l’intérieur (de la même manière que vous pouvez modifier des éléments dans une scène CGI traditionnelle), le rythme rapide de l’intérêt du secteur a abouti à très peu de solutions à ce jour, et aucune qui commence même à approcher les capacités des flux de travail CGI.

Bien que l’estimation de la géométrie soit essentielle pour créer une scène NeRF, le résultat final est composé de valeurs assez ‘verrouillées’. Même si des progrès sont réalisés pour modifier les valeurs de texture dans NeRF, les objets réels dans une scène NeRF ne sont pas des maillages paramétriques qui peuvent être édités et manipulés, mais plutôt des nuages de points fragiles et gelés.

Dans ce scénario, une personne rendue dans un NeRF est essentiellement une statue (ou une série de statues, dans les NeRF vidéo); les ombres qu’ils projettent sur eux-mêmes et les autres objets sont des textures, plutôt que des calculs flexibles basés sur les sources de lumière; et l’édition du contenu NeRF est limitée aux choix faits par le photographe qui prend les photos sources peu nombreuses à partir desquelles le NeRF est généré. Les paramètres tels que les ombres et la pose restent non éditables, dans tout sens créatif.

Édition de NeRF

Une nouvelle collaboration de recherche universitaire entre la Chine et le Royaume-Uni aborde ce défi avec l’édition de NeRF, où des maillages de style CGI proxy sont extraits d’un NeRF, déformés à volonté par l’utilisateur, et les déformations sont transmises à nouveau aux calculs neuronaux de NeRF;

Manipulation de NeRF comme une marionnette avec NeRF-Editing : les déformations calculées à partir des images vidéo sont appliquées aux points correspondants dans la représentation NeRF. Source : http://geometrylearning.com/NeRFEditing/

Manipulation de NeRF comme une marionnette avec NeRF-Editing : les déformations calculées à partir des images vidéo sont appliquées aux points correspondants dans la représentation NeRF. Source : http://geometrylearning.com/NeRFEditing/

La méthode adapte la technique de reconstruction NeuS de 2021 développée aux États-Unis et en Chine, qui extrait une fonction de distance signée (SDF, une méthode beaucoup plus ancienne de reconstruction volumétrique) capable d’apprendre la géométrie représentée à l’intérieur du NeRF.

Cet objet SDF devient la base de sculpture de l’utilisateur, avec des capacités de déformation et de modelage fournies par la technique As-Rigid-As-Possible (ARAP) bien établie.

ARAP permet de déformer le maillage SDF extrait. D’autres méthodes, telles que les approches fondées sur un squelette ou une cage (c’est-à-dire les NURBs), fonctionneraient également bien. Source : https://arxiv.org/pdf/2205.04978.pdf

ARAP permet de déformer le maillage SDF extrait. D’autres méthodes, telles que les approches fondées sur un squelette ou une cage (c’est-à-dire les NURBs), fonctionneraient également bien. Source : https://arxiv.org/pdf/2205.04978.pdf

Avec les déformations appliquées, il est nécessaire de traduire ces informations du vecteur au niveau RGB/pixel natif de NeRF, ce qui est un peu plus long.

Les sommets triangulaires du maillage que l’utilisateur a déformé sont d’abord traduits en un maillage tétraédrique, qui forme une peau autour du maillage de l’utilisateur. Un champ de déformation discret spatial est extrait de ce maillage supplémentaire, et enfin un champ de déformation continu compatible avec NeRF est obtenu qui peut être transmis à nouveau dans l’environnement de rayonnement neuronal, reflétant les modifications et les éditions de l’utilisateur, et affectant directement les rayons interprétés dans le NeRF cible.

Des objets déformés et animés par la nouvelle méthode.

Des objets déformés et animés par la nouvelle méthode.

Le document indique:

‘Après le transfert de la déformation de surface au maillage tétraédrique, nous pouvons obtenir le champ de déformation discret de l’“espace efficace”. Nous utilisons maintenant ces transformations discrètes pour courber les rayons de projection. Pour générer une image du champ de rayonnement déformé, nous projetons des rayons dans l’espace contenant le maillage tétraédrique déformé.’

Le document est intitulé Édition de NeRF: Édition de géométrie des champs de rayonnement neuronaux, et provient de chercheurs de trois universités chinoises et d’institutions, ainsi que d’un chercheur de l’École des sciences informatiques et de l’informatique de l’Université de Cardiff, et de deux autres chercheurs du groupe Alibaba.

Limitations

Comme mentionné plus tôt, la géométrie transformée ne ‘mettra pas à jour’ aucun aspect lié du NeRF qui n’a pas été édité, ni reflétera les conséquences secondaires de l’élément déformé, telles que les ombres. Les chercheurs fournissent un exemple, où les ombres sous une figure humaine dans un NeRF restent inchangées, même si la déformation devrait modifier l’éclairage:

Dans l’article : l’ombre horizontale sur le bras du personnage reste en place même lorsque le bras est levé.

Dans l’article : l’ombre horizontale sur le bras du personnage reste en place même lorsque le bras est levé.

Expériences

Les auteurs observent qu’il n’y a actuellement aucune méthode comparable pour une intervention directe dans la géométrie de NeRF. Par conséquent, les expériences menées pour la recherche étaient plus exploratoires que comparatives.

Les chercheurs ont démontré l’édition de NeRF sur un certain nombre de jeux de données publics, notamment des personnages de Mixamo, et le célèbre bulldozer et chaise Lego de l’implémentation originale de NeRF. Ils ont également expérimenté sur une statue de cheval capturée en réalité à partir du jeu de données FVS, ainsi que sur leurs propres captures originales.

Une tête de cheval inclinée.

Une tête de cheval inclinée.

Pour les travaux futurs, les auteurs ont l’intention de développer leur système dans le cadre du framework d’apprentissage automatique compilé juste-à-temps (JIT) Jittor.

 

Publié pour la première fois le 16 mai 2022.

Rédacteur spécialisé en apprentissage automatique, expert du domaine de la synthèse d'images humaines. Ancien responsable du contenu de recherche chez Metaphysic.ai, jusqu'à sa dissolution dans Brahma.ai de DNEG.
Site Web: martinanderson.ai
Contact: martin@martinanderson.ai