Adobe: Genoplyser den virkelige verden med neuralt rendering

Forskere fra Adobe har oprettet et neuralt renderingsystem til indendørs scener i den virkelige verden, der kan udføre avanceret genoplysning, tilbyder en realtidsgrænseflade og håndterer glansfulde overflader og refleksioner – en bemærkelsesværdig udfordring for konkurrerende billedsynthesemetoder som Neural Radiance Fields (NeRF).

Her er en scene fra den virkelige verden blevet rekonstrueret fra et antal billeder, så scenen kan navigeres. Belysning kan tilføjes og ændres i farve og kvalitet, mens refleksioner forbliver nøjagtige, og glansfulde overflader udtrykker brugerens ændring af lyskilder og/eller stilarter. Kilde: https://www.youtube.com/watch?v=d3ma4opFpgM

Det nye system tillader Photoshop-lignende, GUI-drevet kontrol over lysaspekter af en rigtig 3D-scene, der er fanget i et neuralt rum, herunder skygger og refleksioner.

GUI’en tillader en bruger at tilføje (og justere) en lyskilde til en scene fra den virkelige verden, der er blevet rekonstrueret fra et sparsomt antal fotos, og at navigere frit gennem den, som om det var en CGI-lignende mesh-baseret scene.

Artiklen, der er indsendt til ACM Transactions on Graphics og har titlen Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, er et samarbejde mellem Adobe Research og forskere fra Université Côte d’Azur.

Kilde: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (klik for at se fuld størrelse)

Som med Neural Radiance Fields (NeRF) bruger systemet fotogrammetri (oven til venstre), hvor forståelsen af en scene udledes fra et begrænset antal fotografier, og de ‘manglende’ visninger trænes via maskinlæring, indtil en komplet og fuldstændig abstrakt model af scenen er tilgængelig for ad hoc fortolkning.

Systemet er blevet trænet udelukkende på syntetiske (CGI) data, men de 3D-modeller, der er blevet brugt, er blevet behandlet præcis, som hvis en person havde taget et begrænset antal fotografier af en rigtig scene til neuralt fortolkning. Billedet ovenfor viser en syntetisk scene, der er blevet genoplyst, men ‘soveværelset’ i det øverste (animerede) billede ovenfor er afledt fra virkelige fotos taget i et rigtigt rum.

Den implicitte repræsentation af scenen opnås fra kildematerialet via en Convolutional Neural Network (CNN) og er inddelt i flere lag, herunder refleksion, lyskilde-stråling (radiositet/global belysning) og albedo.

Arkitekturen af Adobes genoplysningsystem. Det multi-view-datasæt er forbehandlet, og 3D-mesh-geometri er genereret fra inputdata. Når en ny lyskilde skal tilføjes, beregnes strålingen i realtid, og den genoplyste visning syntetiseres. (klik for at se fuld størrelse)

Algoritmen kombinerer aspekter af traditionel ray tracing (Monte Carlo) og Image-Based Rendering (IBR, neuralt rendering).

Selvom en betydelig mængde af nylig forskning i Neural Radiance Fields har været beskæftiget med at udlede 3D-geometri fra flade billeder, er Adobes tilbud det første gang, at højst avanceret genoplysning er blevet demonstreret via denne metode.

Algoritmen løser også en anden traditionel begrænsning af NeRF og lignende tilgange, ved at beregne en komplet refleksionskort, hvor hvert enkelt punkt i billedet tildeles et 100% reflektivt materiale.

Spejlbilledteksturer udviser lysveje. (klik for at se fuld størrelse)

Med denne integrale refleksivitetskort på plads er det muligt at ‘diale ned’ refleksiviteten til at tilpasse forskellige niveauer af refleksion i forskellige materialer som træ, metal og sten. Refleksivitetskortet (ovenfor) giver også en komplet skabelon for ray-mapping, som kan genbruges til formål som diffuse lysjustering.

Andre lag i Adobes neuralt renderingsystem. (klik for at se fuld størrelse)

Initial optagelse af scenen bruger 250-350 RAW-fotos, hvorfra en mesh er beregnet via Multi-View Stereo. Data er sammenfattet i 2D input-funktioner, der derefter projiceres ind i den nye visning. Ændringer i lys beregnes ved at gennemsnitte diffuse og glansfulde lag af den fangete scene.

Spejlbilledlaget genereres gennem en hurtig enkelt-ray-spejlberegning (én bounce), der estimerer oprindelige kildeværdier og derefter målværdier. Kort, der indeholder information om scenens oprindelige lys, gemmes i neuralt data, ligesom radiositetskort ofte gemmes med traditionel CGI-scenedata.

Løsning af neuralt renderingsrefleksioner

Måske er det primære resultat af arbejdet decoupleringen af refleksionsinformation fra diffuse og andre lag i data. Beregningstiden holdes nede ved at sikre, at live ‘refleksions’-aktiverede visninger, såsom spejle, kun beregnes for den aktive brugervisning, og ikke for hele scenen.

Forskerne hævder, at dette arbejde repræsenterer den første gang, at genoplysningsfunktioner er blevet kombineret med fri visningsnavigationsfunktioner i en enkelt ramme for scener, der skal genskabe refleksive overflader realistisk.

Nogle ofre er blevet gjort for at opnå denne funktionalitet, og forskerne indrømmer, at tidligere metoder, der bruger mere komplekse per-vis-mesh, demonstrerer forbedret geometri for små objekter. Fremtidige retninger for Adobes tilgang vil omfatte brugen af per-vis-geometri for at forbedre dette aspekt.