Adobe: Relighting the Real World With Neural Rendering

Investigadores de Adobe han creado un sistema de renderizado neural para escenas interiores del mundo real que es capaz de relighting sofisticado, ofrece una interfaz en tiempo real y maneja superficies brillantes y reflejos – un desafío notable para métodos de síntesis de imagen competidores como Neural Radiance Fields (NeRF).

Aquí, una escena del mundo real ha sido reconstruida a partir de varias imágenes fijas, lo que hace que la escena sea navegable. La iluminación se puede agregar y cambiar en color y calidad, mientras que los reflejos permanecen precisos y las superficies brillantes expresan correctamente el cambio en las fuentes de iluminación y/o estilos del usuario. Fuente: https://www.youtube.com/watch?v=d3ma4opFpgM

El nuevo sistema permite un control de estilo Photoshop, con una interfaz gráfica de usuario (GUI) sobre los aspectos de iluminación de una escena 3D real que ha sido capturada en un espacio neural, incluyendo sombras y reflejos.

La GUI permite a un usuario agregar (y ajustar) una fuente de iluminación a una escena del mundo real que ha sido reconstruida a partir de un número escaso de fotos, y navegar libremente a través de ella como si fuera un escenario basado en malla de CGI.

El artículo, presentado a ACM Transactions on Graphics y titulado Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, es una colaboración entre Adobe Research y investigadores de la Université Côte d’Azur.

Fuente: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (haga clic para ver la versión de alta resolución)

Al igual que Neural Radiance Fields (NeRF), el sistema utiliza fotogrametría (arriba a la izquierda), en la que la comprensión de una escena se infiere a partir de un número limitado de fotografías, y los puntos de vista ‘perdidos’ se entrenan a través del aprendizaje automático hasta que se dispone de un modelo completo y completamente abstracto de la escena para su reinterpretación ad hoc.

El sistema se ha entrenado completamente con datos sintéticos (CGI), pero los modelos 3D utilizados se han tratado exactamente como si una persona estuviera tomando varias fotografías limitadas de una escena real para la interpretación neural. La imagen de arriba muestra una escena sintética que se está relighting, pero la vista de la ‘habitación’ en la imagen superior (animada) es derivada de fotos reales tomadas en una habitación real.

La representación implícita de la escena se obtiene del material de origen a través de una Red Neuronal Convolucional (CNN), y se divide en varias capas, incluyendo reflectancia, irradiancia de la fuente (radiosidad/iluminación global) y albedo.

La arquitectura del sistema de relighting de Adobe. El conjunto de datos de varias vistas se preprocesa, y se genera la geometría de la malla 3D a partir de los datos de entrada. Cuando se debe agregar una nueva luz, la irradiancia se calcula en tiempo real y se sintetiza la vista relit. (haga clic para ver la versión de alta resolución)

El algoritmo combina aspectos de la trazabilidad de rayos tradicional (Monte Carlo) y la renderización basada en imágenes (IBR, renderizado neural).

Aunque una cantidad notable de investigaciones recientes sobre Neural Radiance Fields se ha centrado en la extracción de geometría 3D a partir de imágenes planas, el enfoque de Adobe es la primera vez que se ha demostrado un relighting altamente sofisticado a través de este método.

El algoritmo también aborda otra limitación tradicional de NeRF y enfoques similares, al calcular un mapa de reflejos completo, donde cada parte de la imagen se asigna un material reflectante del 100%.

Texturas espejadas trazan los caminos de iluminación. (haga clic para ver la versión de alta resolución)

Con este mapa de reflectividad integral en su lugar, es posible ‘reducir’ la reflectividad para acomodar varios niveles de reflejo en diferentes tipos de materiales como la madera, el metal y la piedra. El mapa de reflectividad (arriba) también proporciona una plantilla completa para el mapeo de rayos, que se puede reutilizar para fines de ajuste de iluminación difusa.

Otras capas en el sistema de renderizado neural de Adobe. (haga clic para ver la versión de alta resolución)

La captura inicial de la escena utiliza 250-350 fotos RAW a partir de las cuales se calcula una malla a través de Multi-View Stereo. Los datos se resumen en mapas de características de entrada 2D que luego se proyectan nuevamente en la vista novedosa. Los cambios en la iluminación se calculan promediando las capas difusas y brillantes de la escena capturada.

La capa de espejo se genera a través de un cálculo rápido de espejo de un solo rayo (un rebote), que estima los valores de fuente originales y luego los valores de destino. Los mapas que contienen información sobre la iluminación original de la escena se almacenan en los datos neuronales, similar a la forma en que los mapas de radiación se almacenan a menudo con los datos de escena de CGI tradicionales.

Resolviendo las reflexiones del renderizado neural

Quizás el logro principal del trabajo es la desacoplación de la información de reflectancia de las capas difusas y otras capas en los datos. El tiempo de cálculo se mantiene bajo al asegurarse de que las vistas ‘reflectantes’ en vivo, como los espejos, se calculen solo para la vista activa del usuario, en lugar de para toda la escena.

Los investigadores afirman que este trabajo representa la primera vez que las capacidades de relighting se han igualado a las capacidades de navegación de vista libre en un solo marco para escenas que deben reproducir superficies reflectantes de manera realista.

Se han hecho algunos sacrificios para lograr esta funcionalidad, y los investigadores conceden que los métodos anteriores que utilizan mallas por vista más complejas demuestran una mejor geometría para objetos pequeños. Las direcciones futuras para el enfoque de Adobe incluirán el uso de geometría por vista para mejorar este aspecto.