Adobe: Het echte leven opnieuw belichten met neurale rendering

Onderzoekers van Adobe hebben een neurale rendering-systeem voor echte wereld indoor-scènes gemaakt dat in staat is tot geavanceerde opnieuw belichten, een real-time interface biedt en glanzende oppervlakken en reflecties aanpakt – een opvallende uitdaging voor concurrerende beeldsynthesemethoden zoals Neurale Radiance Fields (NeRF).

Hier is een echte wereldscène gereconstrueerd vanuit een aantal stills, waardoor de scène navigeerbaar is. Belichting kan worden toegevoegd en veranderd in kleur en kwaliteit, terwijl reflecties nauwkeurig blijven en glanzende oppervlakken de verandering in lichtbronnen en/of stijlen van de gebruiker correct weergeven. Bron: https://www.youtube.com/watch?v=d3ma4opFpgM

Het nieuwe systeem biedt een Photoshop-achtige, GUI-gestuurde controle over belichtingsaspecten van een echte 3D-scène die in een neurale ruimte is vastgelegd, inclusief schaduwen en reflecties.

De GUI laat een gebruiker toe om een lichtbron toe te voegen (en aan te passen) aan een echte wereldscène die is gereconstrueerd vanuit een schaarse hoeveelheid foto’s, en om vrij door de scène te navigeren alsof het een CGI-achtige mesh-gebaseerde scène was.

Het artikel, ingediend bij ACM Transactions on Graphics en getiteld Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, is een samenwerking tussen Adobe Research en onderzoekers van de Université Côte d’Azur.

Bron: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (klik om de volledige resolutie te zien)

Net als bij Neurale Radiance Fields (NeRF), gebruikt het systeem fotogrammetrie (boven links), waarbij het begrip van een scène wordt afgeleid van een beperkt aantal foto’s, en de ‘ontbrekende’ gezichtspunten getraind worden via machine learning totdat een complete en geheel geabstraheerde model van de scène beschikbaar is voor ad hoc herinterpretatie.

Het systeem is volledig getraind op synthetische (CGI) gegevens, maar de 3D-modellen die zijn gebruikt, zijn behandeld alsof een persoon meerdere beperkte foto’s van een echte scène zou nemen voor neurale interpretatie. De afbeelding hierboven toont een synthetische scène die opnieuw is belicht, maar het ‘slaapkamer’-beeld in de bovenste (geanimeerde) afbeelding hierboven is afgeleid van echte foto’s die in een echte kamer zijn genomen.

De impliciete voorstelling van de scène wordt verkregen uit de bronmateriaal via een Convolutional Neural Network (CNN), en verdeeld in meerdere lagen, waaronder reflectie, bronstraling (radiositeit/globale verlichting) en albedo.

De architectuur van het Adobe-opnieuw-belichtingssysteem. De multi-view dataset is voorbewerkt, en 3D-mesh-geometrie gegenereerd vanuit de invoergegevens. Wanneer een nieuwe lichtbron moet worden toegevoegd, wordt de straling in real-time berekend, en het opnieuw belichte beeld gesynthetiseerd. (klik om de volledige resolutie te zien)

De algoritme combineert facetten van traditionele ray tracing (Monte Carlo) en Image-Based Rendering (IBR, neurale rendering).

Hoewel een aanzienlijk deel van het recente onderzoek naar Neurale Radiance Fields betrekking had op het extraheren van 3D-geometrie uit platte afbeeldingen, is Adobe’s aanbod de eerste keer dat zeer geavanceerde opnieuw belichten via deze methode is gedemonstreerd.

De algoritme adresseert ook een andere traditionele beperking van NeRF en soortgelijke benaderingen, door het berekenen van een complete reflectiekarte, waarbij elk deel van de afbeelding een 100% reflecterend materiaal wordt toegewezen.

Gespiegelde textures zetten lichtpaden uit. (klik om de volledige resolutie te zien)

Met deze integrale reflectiviteitskaart is het mogelijk om de reflectiviteit ‘uit te schakelen’ om verschillende niveaus van reflectie in verschillende soorten materialen zoals hout, metaal en steen te accommoderen. De reflectiviteitskaart (hierboven) biedt ook een complete sjabloon voor straalkaart, die opnieuw kan worden gebruikt voor doeleinden van diffuse verlichtingsaanpassing.

Andere lagen in het Adobe neurale rendering-systeem. (klik om de volledige resolutie te zien)

De initiële vastlegging van de scène gebruikt 250-350 RAW-foto’s, vanuit welke een mesh wordt berekend via Multi-View Stereo. De gegevens worden samengevat in 2D-invoerfunctiekaarten die vervolgens opnieuw worden geprojecteerd in het nieuwe beeld. Veranderingen in belichting worden berekend door diffuse en glanzende lagen van de vastgelegde scène te middelen.

De spiegelbeeldlaag wordt gegenereerd via een snelle enkele-straal-spiegelberekening (één bounce), die oorspronkelijke bronwaarden schat en vervolgens de doelwaarden. Kaarten die informatie over de oorspronkelijke belichting van de scène bevatten, worden opgeslagen in de neurale gegevens, net zoals radiosity-kaarten vaak worden opgeslagen met traditionele CGI-scènegegevens.

Neurale renderingreflecties oplossen

Misschien is de belangrijkste prestatie van het werk het loskoppelen van reflectie-informatie van diffuse en andere lagen in de gegevens. De berekentijd wordt verlaagd door ervoor te zorgen dat live ‘reflectie’-ingeschakelde beelden, zoals spiegels, alleen voor het actieve gebruikersbeeld worden berekend, in plaats van voor de hele scène.

De onderzoekers beweren dat dit werk de eerste keer is dat opnieuw-belichtingsmogelijkheden zijn gekoppeld aan free-view-navigatiemogelijkheden in één kader voor scènes die realistische reflecterende oppervlakken moeten reproduceren.

Er zijn enkele offers gebracht om deze functionaliteit te bereiken, en de onderzoekers geven toe dat eerdere methoden die gebruikmaken van complexere per-view-meshes een verbeterde geometrie voor kleine objecten demonstreren. Toekomstige richtingen voor de Adobe-benadering zullen het gebruik van per-view-geometrie omvatten om dit aspect te verbeteren.