Adobe : Rééclairage du monde réel avec le rendu neuronal

Les chercheurs d’Adobe ont créé un système de rendu neuronal pour les scènes intérieures du monde réel capable de rééclairage sophistiqué, offrant une interface en temps réel et gérant les surfaces brillantes et les reflets – un défi notable pour les méthodes de synthèse d’images concurrentes telles que les champs de radiance neuronaux (NeRF).

Ici, une scène du monde réel a été reconstruite à partir d’un certain nombre d’images fixes, rendant la scène navigable. L’éclairage peut être ajouté et modifié en couleur et en qualité, tandis que les reflets restent précis et les surfaces brillantes expriment correctement le changement de sources et/ou de styles d’éclairage de l’utilisateur. Source: https://www.youtube.com/watch?v=d3ma4opFpgM

Le nouveau système permet un contrôle de type Photoshop, avec interface graphique, sur les aspects d’éclairage d’une scène 3D réelle capturée dans un espace neuronal, y compris les ombres et les reflets.

L’interface graphique permet à l’utilisateur d’ajouter (et d’ajuster) une source de lumière à une scène du monde réel qui a été reconstruite à partir d’un nombre restreint de photos, et de naviguer librement dans celle-ci comme si c’était un scénario basé sur un maillage CGI.

Le document, soumis à ACM Transactions on Graphics et intitulé Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, est une collaboration entre Adobe Research et des chercheurs de l’Université Côte d’Azur.

Source: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (cliquez pour voir la version haute résolution)

Comme pour les champs de radiance neuronaux (NeRF), le système utilise la photogrammétrie (en haut à gauche), dans laquelle la compréhension d’une scène est déduite d’un nombre limité de photographies, et les points de vue « manquants » sont formés via l’apprentissage automatique jusqu’à ce qu’un modèle complet et entièrement abstrait de la scène soit disponible pour une réinterprétation ad hoc.

Le système a été formé entièrement sur des données synthétiques (CGI), mais les modèles 3D utilisés ont été traités exactement comme si une personne prenait plusieurs photographies limitées d’une scène réelle pour une interprétation neuronale. L’image ci-dessus montre une scène synthétique rééclairée, mais la vue « chambre » dans l’image animée ci-dessus est dérivée de photos réelles prises dans une pièce réelle.

La représentation implicite de la scène est obtenue à partir du matériel source via un réseau de neurones convolutifs (CNN), et divisée en plusieurs couches, y compris la réflexion, l’irradiance de la source (radiosité/éclairage global) et l’albédo.

L’architecture du système de rééclairage d’Adobe. Le jeu de données multi-vues est prétraité, et la géométrie du maillage 3D est générée à partir des données d’entrée. Lorsqu’une nouvelle lumière doit être ajoutée, l’irradiance est calculée en temps réel, et la vue rééclairée est synthétisée. (cliquez pour voir la version haute résolution)

L’algorithme combine des facettes de la traçage de rayons traditionnel (Monte Carlo) et du rendu basé sur les images (IBR, rendu neuronal).

Bien que beaucoup de recherches récentes sur les champs de radiance neuronaux aient porté sur l’extraction de la géométrie 3D à partir d’images plates, l’offre d’Adobe est la première fois que des capacités de rééclairage très sophistiquées ont été démontrées via cette méthode.

L’algorithme aborde également une autre limitation traditionnelle de NeRF et des approches similaires, en calculant une carte de réflexion complète, où chaque partie de l’image est assignée à un matériau réfléchissant à 100 %.

Les textures miroir cartographient les chemins d’éclairage. (cliquez pour voir la version haute résolution)

Avec cette carte de réflexivité intégrale en place, il est possible de « diminuer » la réflexivité pour accommoder différents niveaux de réflexion dans différents types de matériaux tels que le bois, le métal et la pierre. La carte de réflexivité (ci-dessus) fournit également un modèle complet pour la cartographie des rayons, qui peut être réutilisé pour l’ajustement de l’éclairage diffus.

Autres couches du système de rendu neuronal d’Adobe. (cliquez pour voir la version haute résolution)

La capture initiale de la scène utilise 250-350 photos RAW à partir desquelles un maillage est calculé via la stéréoscopie multi-vues. Les données sont résumées en cartes de fonctionnalités d’entrée 2D qui sont ensuite réprojétées dans la nouvelle vue. Les changements d’éclairage sont calculés en moyennant les couches diffuses et brillantes de la scène capturée.

La couche miroir est générée par un calcul de miroir rapide à un seul rayon (un rebond), qui estime les valeurs sources originales, puis les valeurs cibles. Les cartes qui contiennent des informations sur l’éclairage d’origine de la scène sont stockées dans les données neuronales, de la même manière que les cartes de radiosité sont souvent stockées avec les données de scène CGI traditionnelles.

Résolution des réflexions de rendu neuronal

Peut-être que la principale réalisation de ce travail est la dissociation des informations de réflexion des couches diffuses et autres dans les données. Le temps de calcul est réduit en garantissant que les vues « réflexion » activées, telles que les miroirs, sont calculées uniquement pour la vue active de l’utilisateur, et non pour toute la scène.

Les chercheurs affirment que ce travail représente la première fois que des capacités de rééclairage ont été associées à des capacités de navigation en vue libre dans un seul cadre pour les scènes qui doivent reproduire des surfaces réfléchissantes de manière réaliste.

Certaines concessions ont été faites pour atteindre cette fonctionnalité, et les chercheurs reconnaissent que les méthodes antérieures qui utilisent des maillages plus complexes par vue démontrent une géométrie améliorée pour les petits objets. Les directions futures de l’approche d’Adobe incluront l’utilisation de la géométrie par vue afin d’améliorer cet aspect.