Adobe: Iluminando el mundo real con renderizado neural

Investigadores de Adobe han creado un sistema de renderizado neural para escenas interiores del mundo real que es capaz de relucir sofisticado, ofrece una interfaz en tiempo real y maneja superficies brillantes y reflejos – un desafío notable para los métodos de síntesis de imagen competidores como Neural Radiance Fields (NeRF).

Aquí, una escena del mundo real ha sido reconstruida a partir de varias imágenes fijas, lo que hace que la escena sea navegable. La iluminación se puede agregar y cambiar en color y calidad, mientras que los reflejos permanecen precisos y las superficies brillantes expresan correctamente el cambio en las fuentes de iluminación y/o estilos del usuario. Fuente: https://www.youtube.com/watch?v=d3ma4opFpgM

El nuevo sistema permite un control similar al de Photoshop sobre los aspectos de iluminación de una escena 3D real capturada en un espacio neural, incluyendo sombras y reflejos.

La interfaz de usuario permite agregar (y ajustar) una fuente de iluminación a una escena del mundo real que ha sido reconstruida a partir de un número escaso de fotos, y navegar libremente a través de ella como si fuera un escenario basado en malla de CGI.

El artículo, presentado a ACM Transactions on Graphics y titulado Iluminación neural de interior con vista libre desde estéreo múltiple, es una colaboración entre Adobe Research y investigadores de la Université Côte d’Azur.

Fuente: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (haga clic para ver la versión de alta resolución)

Al igual que con Neural Radiance Fields (NeRF), el sistema utiliza fotogrametría (arriba a la izquierda), en la que la comprensión de una escena se infiere a partir de un número limitado de fotografías, y los puntos de vista ‘faltantes’ se entrenan mediante aprendizaje automático hasta que se disponga de un modelo completo y completamente abstracto de la escena para su reinterpretación ad hoc.

El sistema se ha entrenado completamente con datos sintéticos (CGI), pero los modelos 3D utilizados se han tratado exactamente como si una persona estuviera tomando varias fotografías limitadas de una escena real para interpretación neural. La imagen de arriba muestra una escena sintética relucida, pero la vista de la ‘habitación’ en la imagen animada de arriba se deriva de fotos reales tomadas en una habitación real.

La representación implícita de la escena se obtiene del material de origen a través de una Red Neuronal Convolucional (CNN), y se divide en varias capas, incluyendo reflectancia, irradiancia de la fuente (radiosidad/iluminación global) y albedo.

La arquitectura del sistema de iluminación de Adobe. El conjunto de datos de vista múltiple se preprocesa, y se genera una geometría de malla 3D a partir de los datos de entrada. Cuando se debe agregar una nueva luz, la irradiancia se calcula en tiempo real, y se sintetiza la vista relucida. (haga clic para ver la versión de alta resolución)

El algoritmo combina facetas de la trazado de rayos tradicional (Monte Carlo) y la representación de imagen basada en imágenes (IBR, renderizado neural).

Aunque una cantidad notable de investigaciones recientes sobre Neural Radiance Fields se ha centrado en la extracción de geometría 3D de imágenes planas, la oferta de Adobe es la primera vez que se ha demostrado una iluminación sofisticada a través de este método.

El algoritmo también aborda otra limitación tradicional de NeRF y enfoques similares, al calcular un mapa de reflejos completo, donde cada parte de la imagen se asigna un material reflectante al 100%.

Texturas espejadas trazan los caminos de iluminación. (haga clic para ver la versión de alta resolución)

Con este mapa de reflectividad integral en su lugar, es posible ‘reducir’ la reflectividad para acomodar varios niveles de reflejo en diferentes tipos de materiales, como madera, metal y piedra. El mapa de reflectividad (arriba) también proporciona una plantilla completa para el mapeo de rayos, que se puede reutilizar para fines de ajuste de iluminación difusa.

Otras capas en el sistema de renderizado neural de Adobe. (haga clic para ver la versión de alta resolución)

La captura inicial de la escena utiliza 250-350 fotos RAW a partir de las cuales se calcula una malla a través de estéreo múltiple. Los datos se resumen en mapas de características de entrada 2D que se proyectan nuevamente en la vista novedosa. Los cambios en la iluminación se calculan promediando las capas difusas y brillantes de la escena capturada.

La capa de imagen espejada se genera a través de un cálculo de espejo rápido de un solo rayo (un rebote), que estima los valores de fuente originales y luego los valores de destino. Los mapas que contienen información sobre la iluminación original de la escena se almacenan en los datos neuronales, similar a como se almacenan los mapas de radiosidad con los datos de escena de CGI tradicionales.

Resolviendo las reflexiones del renderizado neural

Quizás el logro principal del trabajo es la desvinculación de la información de reflectancia de las capas difusas y otras en los datos. El tiempo de cálculo se mantiene bajo al asegurarse de que las vistas ‘reflectantes’-habilitadas en vivo, como los espejos, se calculen solo para la vista activa del usuario, en lugar de para toda la escena.

Los investigadores afirman que este trabajo representa la primera vez que las capacidades de relucir se han igualado a las capacidades de navegación de vista libre en un solo marco para escenas que deben reproducir superficies reflectantes de manera realista.

Se han hecho algunos sacrificios para lograr esta funcionalidad, y los investigadores admiten que los métodos anteriores que utilizan mallas de vista más complejas demuestran una geometría mejorada para objetos pequeños. Las direcciones futuras para el enfoque de Adobe incluirán el uso de geometría de vista para mejorar este aspecto.