Adobe: Gjenlyser den virkelige verden med neuralt rendering

Forskere fra Adobe har utviklet et neuralt renderingsystem for innendørs scener i den virkelige verden som kan håndtere sofistikert gjenlysing, tilbyr en sanntidsgrensesnitt og håndterer blanke overflater og refleksjoner – en merkbar utfordring for konkurrerende bilde syntese metoder som Neural Radiance Fields (NeRF).

Her er en virkelig scene som er rekonstruert fra et antall stillbilder, noe som gjør scenen navigerbar. Lys kan legges til og endres i farge og kvalitet, mens refleksjoner forblir nøyaktige, og blanke overflater uttrykker brukerens endring av lyskilder og/eller stiler. Kilde: https://www.youtube.com/watch?v=d3ma4opFpgM

Det nye systemet tillater Photoshop-stil, GUI-drevet kontroll over lysaspekter av en virkelig 3D-scene som er fanget inn i et neuralt rom, inkludert skygge og refleksjoner.

GUI-en tillater en bruker å legge til (og justere) en lyskilde til en virkelig scene som er rekonstruert fra et sparsomt antall fotografier, og å navigere fritt gjennom den som om den var en CGI-stil mesh-basert scenario.

Den artikkelen, som er sendt inn til ACM Transactions on Graphics og har tittelen Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, er et samarbeid mellom Adobe Research og forskere fra Université Côte d’Azur.

Kilde: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (klikk for å se full-res versjon)

Som med Neural Radiance Fields (NeRF), bruker systemet fotogrammetri (ovenfor til venstre), hvor forståelsen av en scene er inferert fra et begrenset antall fotografier, og de “manglende” visninger trent via maskinlæring til en fullstendig og helt abstrakt modell av scenen er tilgjengelig for ad hoc tolkning.

Systemet er trent fullstendig på syntetisk (CGI) data, men de 3D-modellene som er brukt, er behandlet eksakt som om en person tok flere begrensede fotografier av en virkelig scene for neuralt tolkning. Bildet ovenfor viser en syntetisk scene som er gjenlyst, men “soverommet” i den øverste (animerte) bildet ovenfor er avledet fra faktiske fotografier tatt i et virkelig rom.

Den implisitte representasjonen av scenen er oppnådd fra kildematerialet via en Convolutional Neural Network (CNN), og delt inn i flere lag, inkludert refleksjon, lysstråling (radiosity/global belysning) og albedo.

Arkitekturen til Adobe-gjenlysningsystemet. Det multi-viewport datasettet er forbehandlet, og 3D-mesh-geometri generert fra inndata. Når et nytt lys må legges til, beregnes strålingen i sanntid, og den gjenlyste visningen syntetiseres. (klikk for å se full-res versjon)

Algoritmen kombinerer aspekter av tradisjonell ray tracing (Monte Carlo) og Image-Based Rendering (IBR, neuralt rendering).

Selv om en betydelig del av nylig forskning om Neural Radiance Fields har vært opptatt av å trekke ut 3D-geometri fra flate bilder, er Adobes tilbud det første gang at høyt sofistikert gjenlysning er demonstrert via denne metoden.

Algoritmen løser også en annen tradisjonell begrensning av NeRF og lignende tilnærminger, ved å beregne en fullstendig refleksjonskart, hvor hver enkelt del av bildet er tildelt et 100% reflektivt materiale.

Speiltektekst kartlegger lysveier. (klikk for å se full-res versjon)

Med denne integrale refleksivitetskarten på plass, er det mulig å “skru ned” refleksiviteten for å tilpasse ulike nivåer av refleksjon i ulike typer materialer som tre, metall og stein. Refleksivitetskarten (ovenfor) gir også en fullstendig mal for stråling, som kan gjenbrukes for formål som diffuse lysjustering.

Andre lag i Adobe neuralt renderingsystem. (klikk for å se full-res versjon)

Initialfangst av scenen bruker 250-350 RAW-fotografier, fra hvilke en mesh er beregnet via Multi-View Stereo. Dataene er sammenfattet i 2D inndata-egenskapskart som deretter projiseres inn i den nye visningen. Endringer i lys er beregnet ved å gjennomsnitte diffuse og blanke lag av den fanget scenen.

Speil-bilde-laget er generert gjennom en rask enkelt-stråle speil-beregning (en gang), som estimerer opprinnelige kildeverdier og deretter målverdier. Kart som inneholder informasjon om scenens opprinnelige lys er lagret i neuralt data, på samme måte som radiositetskart ofte er lagret med tradisjonelle CGI-scenedata.

Løsning av neuralt renderingsrefleksjoner

Kanskje det primære fremragende arbeidet er å løse refleksjonsinformasjon fra diffuse og andre lag i dataene. Beregningsiden holdes nede ved å sikre at sanntidsaktive “refleksjons”-aktive visninger, som speil, bare beregnes for den aktive bruker-visningen, og ikke for hele scenen.

Forskerne hevder at dette arbeidet representerer den første gang at gjenlysningsfunksjoner er koblet til fri-viewport-navigeringsfunksjoner i ett rammeverk for scener som må gjengi refleksive overflater realistisk.

Noen ofre er blitt gjort for å oppnå denne funksjonaliteten, og forskerne innrømmer at tidligere metoder som bruker mer komplekse per-viewport-mesh viser forbedret geometri for små objekter. Fremtidige retninger for Adobes tilnærming vil inkludere bruk av per-viewport-geometri for å forbedre dette aspektet.