Adobe : Rééclairage du monde réel avec le rendu neuronal

Les chercheurs d’Adobe ont créé un système de rendu neuronal pour les scènes intérieures du monde réel capable d’un rééclairage sophistiqué, offrant une interface en temps réel et gérant les surfaces brillantes et les reflets – un défi notable pour les méthodes de synthèse d’images concurrentes telles que les champs de radiance neuronaux (NeRF).

Ici, une scène du monde réel a été reconstruite à partir d’un certain nombre d’images fixes, rendant la scène navigable. L’éclairage peut être ajouté et modifié en couleur et en qualité, tandis que les reflets restent précis, et les surfaces brillantes expriment correctement le changement de sources et/ou de styles d’éclairage de l’utilisateur. Source: https://www.youtube.com/watch?v=d3ma4opFpgM

Le nouveau système permet un contrôle de type Photoshop, avec interface graphique utilisateur, sur les aspects d’éclairage d’une scène 3D réelle capturée dans un espace neuronal, y compris les ombres et les reflets.

L’interface graphique utilisateur permet à l’utilisateur d’ajouter (et d’ajuster) une source d’éclairage à une scène du monde réel qui a été reconstruite à partir d’un nombre restreint de photos, et de naviguer librement à travers elle comme si c’était un scénario basé sur un maillage CGI.

Le document, soumis à ACM Transactions on Graphics et intitulé Relighting neuronal en vue libre pour les scènes intérieures à partir de stéréo multi-vues, est une collaboration entre Adobe Research et des chercheurs de l’Université Côte d’Azur.

Source: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (cliquez pour voir la version haute résolution)

Comme pour les champs de radiance neuronaux (NeRF), le système utilise la photogrammétrie (en haut à gauche), dans laquelle la compréhension d’une scène est déduite d’un nombre limité de photographies, et les points de vue « manquants » sont formés via l’apprentissage automatique jusqu’à ce qu’un modèle complet et entièrement abstrait de la scène soit disponible pour une réinterprétation ad hoc.

Le système a été formé entièrement sur des données synthétiques (CGI), mais les modèles 3D utilisés ont été traités exactement comme si une personne prenait plusieurs photographies limitées d’une scène réelle pour une interprétation neuronale. L’image ci-dessus montre une scène synthétique qui est rééclairée, mais la vue « chambre » dans l’image animée ci-dessus est dérivée de photos réelles prises dans une pièce réelle.

La représentation implicite de la scène est obtenue à partir du matériel source via un réseau de neurones convolutionnels (CNN), et divisée en plusieurs couches, notamment la réflectance, l’irradiance de la source (radiosité/éclairage global) et l’albédo.

L’architecture du système de rééclairage d’Adobe. Le jeu de données multi-vues est prétraité, et la géométrie du maillage 3D est générée à partir des données d’entrée. Lorsqu’une nouvelle lumière doit être ajoutée, l’irradiance est calculée en temps réel, et la vue rééclairée est synthétisée. (cliquez pour voir la version haute résolution)

L’algorithme combine des aspects de la traçage de rayons traditionnelle (Monte Carlo) et du rendu basé sur l’image (IBR, rendu neuronal).

Bien qu’une quantité notable de recherches récentes sur les champs de radiance neuronaux ait porté sur l’extraction de la géométrie 3D à partir d’images plates, l’offre d’Adobe est la première fois que des capacités de rééclairage hautement sophistiquées ont été démontrées via cette méthode.

L’algorithme aborde également une autre limitation traditionnelle de NeRF et des approches similaires, en calculant une carte de réflexion complète, où chaque partie de l’image est assignée à un matériau réfléchissant à 100%.

Les textures miroir cartographient les chemins d’éclairage. (cliquez pour voir la version haute résolution)

Avec cette carte de réflexivité intégrale en place, il est possible de « baisser » la réflexivité pour accommoder différents niveaux de réflexion dans différents types de matériaux tels que le bois, le métal et la pierre. La carte de réflexivité (ci-dessus) fournit également un modèle complet pour la cartographie des rayons, qui peut être réutilisé pour des ajustements d’éclairage diffus.

Autres couches du système de rendu neuronal d’Adobe. (cliquez pour voir la version haute résolution)

La capture initiale de la scène utilise 250-350 photos RAW à partir desquelles un maillage est calculé via la stéréo multi-vues. Les données sont résumées en cartes de fonctionnalités d’entrée 2D qui sont ensuite ré projetées dans la nouvelle vue. Les changements d’éclairage sont calculés en moyennant les couches diffuses et brillantes de la scène capturée.

La couche miroir est générée via un calcul de miroir rapide à un seul rayon (un rebond), qui estime les valeurs sources originales, puis les valeurs cibles. Les cartes qui contiennent des informations sur l’éclairage original de la scène sont stockées dans les données neuronales, de la même manière que les cartes de radiance sont souvent stockées avec les données de scène CGI traditionnelles.

Résolution des réflexions de rendu neuronal

La principale réalisation de ce travail est peut-être la découplage des informations de réflexion des couches diffuses et autres dans les données. Le temps de calcul est maintenu bas en s’assurant que les vues « réflexion » activées, telles que les miroirs, sont calculées uniquement pour la vue active de l’utilisateur, et non pour la scène entière.

Les chercheurs affirment que ce travail représente la première fois que des capacités de rééclairage ont été associées à des capacités de navigation en vue libre dans un seul cadre pour les scènes qui doivent reproduire des surfaces réfléchissantes de manière réaliste.

Certaines concessions ont été faites pour atteindre cette fonctionnalité, et les chercheurs reconnaissent que des méthodes antérieures utilisant des maillages plus complexes par vue démontrent une meilleure géométrie pour les petits objets. Les directions futures pour l’approche d’Adobe incluront l’utilisation de la géométrie par vue pour améliorer cet aspect.