Adobe : Rééclairer le monde réel avec le rendu neuronal

Des chercheurs d'Adobe ont créé un système de rendu neuronal pour les scènes intérieures du monde réel, capable d'un rééclairage sophistiqué, offrant une interface en temps réel et gérant les surfaces brillantes et les reflets - un défi notable pour les méthodes de synthèse d'images concurrentes telles que Neural Radiance Fields (NeRF).

Ici, une scène réelle a été reconstituée à partir de plusieurs images fixes, ce qui facilite la navigation. L'éclairage peut être ajouté et sa couleur et sa qualité peuvent être modifiées, tandis que les reflets restent fidèles et que les surfaces brillantes reflètent fidèlement les changements de sources et/ou de styles d'éclairage de l'utilisateur. Source : https://www.youtube.com/watch?v=d3ma4opFpgM

Le nouveau système permet un contrôle de type Photoshop, piloté par interface graphique, sur les aspects d'éclairage d'une scène 3D réelle capturée dans un espace neuronal, y compris les ombres et les reflets.

L'interface graphique permet à un utilisateur d'ajouter (et d'ajuster) une source d'éclairage à une scène du monde réel qui a été reconstruite à partir d'un nombre restreint de photos, et de naviguer librement à travers elle comme s'il s'agissait d'un scénario basé sur un maillage de style CGI.

L'espace papier, soumis à ACM Transactions on Graphics et intitulé Rééclairage neuronal intérieur à point de vue libre à partir d'une stéréo multi-vues, est une collaboration entre Adobe Research et des chercheurs de l'Université Côte d'Azur.

Source : https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (cliquez pour voir la version en pleine résolution)

Comme avec les champs de rayonnement neuronal (Nerf), le système utilise la photogrammétrie (en haut à gauche), dans laquelle la compréhension d'une scène est déduite d'un nombre limité de photographies, et les points de vue « manquants » sont formés via l'apprentissage automatique jusqu'à ce qu'un modèle complet et entièrement abstrait de la scène soit disponible pour une réinterprétation ad hoc.

Le système a été entièrement entraîné à partir de données synthétiques (CGI), mais les modèles 3D utilisés ont été traités exactement comme si une personne prenait plusieurs photographies limitées d'une scène réelle pour une interprétation neuronale. L'image ci-dessus montre une scène synthétique en cours de rééclairage, mais la vue « chambre » de l'image animée supérieure est dérivée de photos réelles prises dans une pièce réelle.

La représentation implicite de la scène est obtenue à partir du matériau source via un réseau neuronal convolutif (CNN) et divisée en plusieurs couches, dont la réflectance, l'irradiance de la source (radiosité/éclairage global) et l'albédo.

L'architecture du système de relighting d'Adobe. L'ensemble de données à vues multiples est prétraité et la géométrie de maillage 3D est générée à partir des données d'entrée. Lorsqu'une nouvelle lumière doit être ajoutée, l'éclairement est calculé en temps réel, et la vue relit synthétisée. (cliquez pour voir la version pleine résolution)

L'algorithme combine les facettes du lancer de rayons traditionnel (Monte Carlo) et du rendu basé sur l'image (IBR, rendu neuronal).

Bien qu'une quantité notable de recherches récentes sur les champs de rayonnement neuronal se soit intéressée à l'extraction de la géométrie 3D à partir d'images plates, l'offre d'Adobe est la première fois qu'un rééclairage hautement sophistiqué est démontré via cette méthode.

L'algorithme répond également à une autre limitation traditionnelle de NeRF et d'approches similaires, en calculant une carte de réflexion complète, où chaque partie de l'image se voit attribuer un matériau 100 % réfléchissant.

Les textures en miroir tracent les chemins d'éclairage. (cliquez pour voir la version pleine résolution)

Grâce à cette carte de réflectivité intégrée, il est possible de la réduire pour s'adapter à différents niveaux de réflexion dans différents types de matériaux tels que le bois, le métal et la pierre. La carte de réflectivité (ci-dessus) fournit également un modèle complet pour la cartographie des rayons, réutilisable pour le réglage de l'éclairage diffus.

Autres couches du système de rendu neuronal Adobe. (cliquez pour voir la version pleine résolution)

La capture initiale de la scène utilise 250 à 350 photos RAW à partir desquelles un maillage est calculé via Multi-View Stereo. Les données sont résumées dans des cartes de caractéristiques d'entrée 2D qui sont ensuite reprojetées dans la nouvelle vue. Les changements d'éclairage sont calculés en faisant la moyenne des couches diffuses et brillantes de la scène capturée.

La couche d'image miroir est générée par un calcul rapide de miroir mono-rayon (un seul rebond), qui estime les valeurs sources d'origine, puis les valeurs cibles. Les cartes contenant des informations sur l'éclairage d'origine de la scène sont stockées dans les données neuronales, de la même manière que les cartes de radiosité sont souvent stockées avec les données de scène CGI traditionnelles.

Résolution des réflexions de rendu neuronal

La principale réussite de ce travail réside peut-être dans le découplage des informations de réflectance des couches diffuses et autres couches de données. Le temps de calcul est réduit grâce à la garantie que les vues en temps réel prenant en compte la réflectance, comme les miroirs, sont calculées uniquement pour la vue utilisateur active, et non pour l'ensemble de la scène.

Les chercheurs affirment que ce travail représente la première fois que les capacités de rééclairage ont été associées aux capacités de navigation à vue libre dans un cadre unique pour des scènes qui doivent reproduire des surfaces réfléchissantes de manière réaliste.

Certains sacrifices ont été faits pour obtenir cette fonctionnalité, et les chercheurs admettent que les méthodes antérieures qui utilisent des maillages par vue plus complexes démontrent une géométrie améliorée pour les petits objets. Les orientations futures de l'approche Adobe incluront l'utilisation de la géométrie par vue afin d'améliorer cet aspect.