Rééclairage des champs de radiance neuronaux avec n’importe quelle carte d’environnement

Un nouvel article de l’Institut Max Planck et du MIT a proposé une technique pour obtenir une véritable disjonction du contenu des champs de radiance neuronaux (NeRF) de l’éclairage présent lors de la collecte de données, permettant ainsi des cartes d’environnement ad hoc de remplacer complètement l’illumination dans une scène NeRF:

La nouvelle technique appliquée à des données réelles. Il est important de noter que la méthode fonctionne même sur des données archivées de ce type, qui n’ont pas pris en compte le pipeline nouveau lors de la collecte des données. Malgré cela, un contrôle d’éclairage réaliste et spécifié par l’utilisateur est obtenu. Source: https://arxiv.org/pdf/2207.13607.pdf

La nouvelle approche utilise le programme de animation 3D open source populaire Blender pour créer un « étage de lumière virtuel », où de nombreuses itérations de scénarios d’éclairage possibles sont rendues et finalement formées dans une couche spéciale du modèle NeRF qui peut accueillir n’importe quelle carte d’environnement que l’utilisateur souhaite utiliser pour éclairer la scène.

Une représentation de la partie du pipeline qui utilise Blender pour créer des vues d’étage de lumière virtuel de la géométrie extraite. Les méthodes précédentes suivant des lignes similaires ont utilisé de véritables étages de lumière pour fournir ces données, ce qui est une exigence lourde pour les objets discrets, et impossible pour les vues d’environnement extérieur. Dans le coin supérieur gauche des deux dernières images, on peut voir les cartes d’environnement qui dictent l’éclairage de la scène. Ces cartes peuvent être créées arbitrairement par l’utilisateur final, ce qui rapproche NeRF de la flexibilité d’une approche CGI moderne.

La méthode a été testée contre le cadre de rendu inverse Mitsuba2, et également contre les travaux précédents PhySG, RNR, Neural-PIL et NeRFactor, en utilisant uniquement un modèle d’éclairage direct, et a obtenu les meilleurs scores:

Résultats de la nouvelle technique, comparés aux approches comparables sous différentes fonctions de perte. Les chercheurs affirment que leur approche donne les méthodes de la plus haute qualité, avec les résultats évalués à l’aide du rapport signal/bruit (PSNR), de l’indice de similarité structurelle (SSIM) et de la similarité d’image perçue apprise (LPIPS).

L’article indique:

‘Nos résultats qualitatifs et quantitatifs démontrent un progrès clair par rapport à l’état actuel de la technique, en termes de récupération des paramètres de la scène ainsi que de la qualité de synthèse de notre approche sous des vues et des conditions d’éclairage nouvelles, par rapport à l’état actuel de la technique.’

Les chercheurs déclarent qu’ils publieront finalement le code du projet.

Le besoin d’édition de NeRF

Ce type de disjonction a prouvé être un défi notable pour les chercheurs dans le domaine des champs de radiance neuronaux, puisque NeRF est essentiellement une technique de photogrammétrie qui calcule la valeur de pixel de milliers de chemins possibles à partir d’un point de vue, en attribuant des valeurs RGBD, et en assemblant une matrice de ces valeurs en une représentation volumétrique. Au cœur de NeRF, il est défini par l’éclairage.

En fait, malgré ses visuels impressionnants et son adoption luxuriante par NVIDIA (NVDA ), NeRF est remarquablement « rigide » – en termes de CGI, « cuit ». Par conséquent, la communauté de recherche s’est concentrée sur l’amélioration de sa tractabilité et de sa polyvalence à cet égard au cours des 12 à 18 derniers mois.

En termes de signification, les enjeux pour ce type de jalon sont élevés, et comprennent la possibilité de transformer l’industrie des effets visuels d’un modèle créatif et collaboratif centré sur la génération de maillages, la dynamique du mouvement et le texturage, à un modèle construit autour du rendu inverse, où le pipeline des effets visuels est alimenté par des photos du monde réel (ou même, concevablement, de modèles réels et synthétisés), plutôt que d’approximations artisanales estimées.

Pour l’instant, il y a relativement peu de raisons de s’inquiéter au sein de la communauté des effets visuels, du moins en ce qui concerne les champs de radiance neuronaux. NeRF n’a que des capacités naissantes en termes de rigging, nesting, contrôle de la profondeur, articulation… et certainement aussi en ce qui concerne l’éclairage. La vidéo accompagnant un nouvel article, qui propose des déformations rudimentaires pour la géométrie NeRF, illustre l’écart énorme entre l’état actuel de la technique en CGI et les efforts séminaux des techniques de rendu neuronal.

La recherche des éléments

Néanmoins, puisqu’il est nécessaire de commencer quelque part, les chercheurs de l’article ont adopté la CGI comme un mécanisme de contrôle et de production intermédiaire, maintenant une approche courante vers les espaces latents rigides des GAN et les réseaux linéaires presque imperméables de NeRF.

En effet, le défi central est de calculer l’éclairage global (GI, qui n’a pas d’applicabilité directe dans le rendu neuronal) en une transfert de radiance précalculé (PRT, qui peut être adapté au rendu neuronal) calculable.

GI est une technique de rendu CGI vénérable qui modèle la façon dont la lumière rebondit sur les surfaces et sur d’autres surfaces, et intègre ces zones de lumière réfléchie dans un rendu, pour une réalisme ajouté.

PRT est utilisé comme une fonction d’éclairage intermédiaire dans la nouvelle approche, et le fait qu’il s’agit d’un composant discret et éditable est ce qui permet la disjonction. La nouvelle méthode modèle le matériau de l’objet NeRF avec un PRT appris.

L’éclairage réel de la scène des données originales est récupéré sous la forme d’une carte d’environnement au cours du processus, et la géométrie de la scène elle-même est extraite sous la forme d’un champ de distance signé (SDF) qui fournira finalement un maillage traditionnel pour Blender pour fonctionner sur l’étage de lumière virtuel.

Une vue d’ensemble du pipeline pour la nouvelle technique.

La première étape du processus est d’extraire la géométrie de la scène à partir des images multiples vues via la reconstruction de surface implicite, via des techniques utilisées dans la collaboration de recherche NeuS 2021.

Afin de développer un champ de transfert de radiance neuronal (NRTF, qui accueillera les données d’éclairage), les chercheurs ont utilisé le traceur de chemin différentiable Mitsuba 2.

Cela facilite l’optimisation conjointe d’une fonction de distribution de diffusion bidirectionnelle (BSDF), ainsi que la génération d’une carte d’environnement initiale. Une fois que le BSDF est créé, le traceur de chemin peut être utilisé dans Blender (voir la vidéo intégrée ci-dessus) pour créer des rendus de scène virtuels à un éclairage à la fois (OLAT).

Le NRTF est ensuite formé avec une perte combinée entre les effets de matériau photoréaliste et les données synthétiques, qui ne sont pas entrelacées les unes avec les autres.

Une comparaison avec le prédécesseur NeRFactor, sur les défis de la synthèse de vues nouvelles et du rééclairage.

La route vers l’illumination

Les exigences de formation pour cette technique, bien que notablement inférieures aux temps de formation NeRF originaux, ne sont pas insignifiantes. Sur un NVIDIA Quadro RTX 8000 avec 48 Go de VRAM, la formation préliminaire pour l’estimation initiale de la lumière et de la texture prend 30 minutes; la formation OLAT (c’est-à-dire la formation des captures de l’étage de lumière virtuel) prend huit heures; et l’optimisation conjointe finale entre les données synthétiques et réelles disjonctées prend 16 heures supplémentaires pour atteindre une qualité optimale.

De plus, la représentation neuronale résultante ne peut pas fonctionner en temps réel, prenant, selon les chercheurs, ‘plusieurs secondes par image’.

Les chercheurs concluent:

‘Nos résultats démontrent une amélioration claire par rapport à l’état actuel de la technique, tandis que les travaux futurs pourraient impliquer une amélioration supplémentaire du temps de calcul et une prise en compte conjointe de la géométrie, du matériau et de l’éclairage de la scène.’

Publié pour la première fois le 28 juillet 2022.