Adobe: ponovno osvetlitev resničnega sveta z nevronskim upodabljanjem

Raziskovalci iz podjetja Adobe so ustvarili sistem nevronskega upodabljanja za resnične prizore v zaprtih prostorih, ki je zmožen prefinjene ponovne osvetlitve, ponuja vmesnik v realnem času ter obravnava sijajne površine in odseve – pomemben izziv za konkurenčne metode sinteze slike, kot so Neural Radiance Fields (NeRF). .

Tu je bil prizor iz resničnega sveta rekonstruiran iz številnih fotografij, zaradi česar je prizor navigiran. Osvetlitev je mogoče dodajati in spreminjati v barvi in ​​kakovosti, medtem ko odsevi ostanejo natančni, sijajne površine pa pravilno izražajo uporabnikovo spremembo svetlobnih virov in/ali stilov. Vir: https://www.youtube.com/watch?v=d3ma4opFpgM

Novi sistem omogoča nadzor svetlobnih vidikov resničnega 3D prizora v slogu Photoshopa, ki ga vodi GUI, vključno s sencami in odsevi.

GUI omogoča uporabniku, da doda (in prilagodi) vir osvetlitve resničnemu prizoru, ki je bil rekonstruiran iz redkega števila fotografij, in prosto krmari po njem, kot da bi šlo za mrežni scenarij v slogu CGI.

O papirja, predložen ACM Transactions on Graphics in naslovljen Notranja nevronska ponovna osvetlitev brez gledišča iz Sterea z več pogledi, je sodelovanje med Adobe Research in raziskovalci z Université Côte d'Azur.

Vir: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (kliknite za ogled različice v polni ločljivosti)

Tako kot pri nevronskih sevalnih poljih (NeRF), sistem uporablja fotogrametrijo (zgoraj levo), pri čemer se razumevanje prizora sklepa iz omejenega števila fotografij, 'manjkajočih' zornih kotov pa se usposablja s strojnim učenjem, dokler ni popoln in popolnoma abstrahiran model prizora na voljo za oglas hoc reinterpretacija.

Sistem je bil v celoti usposobljen na sintetičnih (CGI) podatkih, vendar so bili uporabljeni 3D modeli obravnavani točno tako, kot bi se zgodilo, če bi oseba posnela več omejenih fotografij resničnega prizora za nevronsko interpretacijo. Zgornja slika prikazuje ponovno osvetlitev sintetičnega prizora, vendar je pogled 'spalnice' na zgornji (animirani) sliki izpeljan iz dejanskih fotografij, posnetih v resnični sobi.

Implicitna predstavitev prizora je pridobljena iz izvornega materiala prek konvolucijske nevronske mreže (CNN) in razdeljena na več plasti, vključno z odbojnostjo, obsevanjem vira (radiosity/globalna osvetlitev) in albedom.

Arhitektura sistema za ponovno osvetlitev Adobe. Nabor podatkov z več pogledi je predhodno obdelan in iz vhodnih podatkov je ustvarjena 3D-mrežna geometrija. Ko je treba dodati novo svetlobo, se obsevanje izračuna v realnem času in sintetizira ponovno osvetljen pogled. (kliknite za ogled različice v polni ločljivosti)

Algoritem združuje vidike tradicionalnega sledenja žarkom (Monte Carlo) in upodabljanja na podlagi slike (IBR, nevronsko upodabljanje).

Čeprav se je precej nedavnih raziskav nevronskih sevalnih polj ukvarjalo z ekstrakcijo 3D-geometrije iz ravnih slik, je Adobejeva ponudba prvič pokazala visoko sofisticirano ponovno osvetlitev s to metodo.

Algoritem obravnava tudi drugo tradicionalno omejitev NeRF in podobnih pristopov, in sicer z izračunom popolnega odbojnega zemljevida, kjer je vsakemu posameznemu delu slike dodeljen 100-odstotni odsevni material.

Zrcalne teksture začrtajo svetlobne poti. (kliknite za ogled različice v polni ločljivosti)

S tem integriranim zemljevidom odsevnosti je mogoče "zmanjšati" odbojnost, da se prilagodi različnim stopnjam odboja v različnih vrstah materialov, kot so les, kovina in kamen. Zemljevid odbojnosti (zgoraj) ponuja tudi popolno predlogo za preslikavo žarkov, ki jo je mogoče ponovno uporabiti za prilagoditev difuzne svetlobe.

Druge plasti v sistemu nevronskega upodabljanja Adobe. (kliknite za ogled različice v polni ločljivosti)

Začetni zajem prizora uporablja 250–350 fotografij RAW, iz katerih se prek Multi-View Stereo izračuna mreža. Podatki so povzeti v 2D vhodne zemljevide funkcij, ki so nato ponovno projicirani v nov pogled. Spremembe v osvetlitvi se izračunajo s povprečenjem razpršenih in sijajnih slojev zajetega prizora.

Plast z zrcalno sliko se ustvari s hitrim izračunom ogledala z enim žarkom (en odboj), ki oceni prvotne izvorne vrednosti in nato ciljne vrednosti. Zemljevidi, ki vsebujejo informacije o izvirni osvetlitvi prizora, so shranjeni v nevronskih podatkih, podobno kot se zemljevidi radiosity pogosto shranjujejo s tradicionalnimi podatki o prizorih CGI.

Reševanje odsevov nevronskega upodabljanja

Morda je glavni dosežek dela ločevanje odbojnih informacij od razpršenih in drugih plasti v podatkih. Čas izračuna se skrajša tako, da se zagotovi, da se pogledi z omogočeno 'odbojnostjo' v živo, kot so ogledala, izračunajo samo za pogled aktivnega uporabnika in ne za celotno sceno.

Raziskovalci trdijo, da to delo predstavlja prvič, da so bile zmožnosti ponovne osvetlitve usklajene z zmožnostmi navigacije s prostim pogledom v enem samem okviru za prizore, ki morajo realistično reproducirati odsevne površine.

Da bi dosegli to funkcionalnost, je bilo nekaj žrtvovanja in raziskovalci priznavajo, da prejšnje metode, ki uporabljajo bolj zapletene mreže na pogled, prikazujejo izboljšano geometrijo za majhne predmete. Prihodnje usmeritve za pristop Adobe bodo vključevale uporabo geometrije na pogled, da bi izboljšali ta vidik.