Adobe: Relighting the Real World With Neural Rendering

Riċerkaturi mill-Adobe ħolqu sistema ta’ rendering newrali għal xeni ta’ ġewwa tad-dinja reali li kapaċi tixgħel mill-ġdid sofistikat, toffri interface f’ħin reali, u tieħu ħsieb uċuħ tleqq u riflessjonijiet – sfida notevoli għal metodi ta’ sintesi ta’ immaġini li jikkompetu bħal Neural Radiance Fields (NeRF) .

Hawnhekk, ix-xena tad-dinja reali ġiet rikostitwita minn għadd ta' stampi fissi, li jagħmlu x-xena navigabbli. Id-dawl jista 'jiġi miżjud u mibdul fil-kulur u l-kwalità, filwaqt li r-riflessjonijiet jibqgħu preċiżi, u l-uċuħ tleqq jesprimu b'mod korrett il-bidla tal-utent fis-sorsi tad-dawl u/jew stili. Sors: https://www.youtube.com/watch?v=d3ma4opFpgM

Is-sistema l-ġdida tippermetti kontroll immexxi mill-GUI fuq stil Photoshop fuq aspetti tad-dawl ta’ xena 3D reali li nqabdet fi spazju newrali, inklużi dellijiet u riflessi.

Il-GUI tippermetti lill-utent biex iżid (u jaġġusta) sors tad-dawl għal xena tad-dinja reali li ġiet rikostitwita minn numru skars ta 'ritratti, u biex jinnaviga liberament minnu bħallikieku kien xenarju bbażat fuq malji ta' stil CGI.

il karta, sottomess lil ACM Transactions on Graphics u intitolat Relighting newrali ta 'ġewwa b'perspettiva ħielsa minn Stereo b'ħafna opinjonijiet, hija kollaborazzjoni bejn Adobe Research u riċerkaturi mill-Université Côte d'Azur.

Sors: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (ikklikkja biex tara l-verżjoni full-res)

Bħall-Oqsma ta' Radjanza Newrali (NeRF), is-sistema tuża fotogrammetrija (fuq ix-xellug), fejn il-fehim ta’ xena jiġi dedott minn numru limitat ta’ ritratti, u l-veduti “nieqsin” imħarrġa permezz ta’ tagħlim bil-magni sakemm ikun disponibbli mudell komplet u kompletament astratt tax-xena għal reklam. interpretazzjoni mill-ġdid hoc.

Is-sistema ġiet imħarrġa għal kollox fuq data sintetika (CGI), iżda l-mudelli 3D użati ġew ittrattati eżattament kif jiġri kieku persuna tkun qed tieħu diversi ritratti limitati ta’ xena reali għal interpretazzjoni newrali. L-immaġini ta' hawn fuq turi xena sintetika li qed terġa' tittella', iżda l-veduta tal-'kamra tas-sodda' fl-immaġni ta' fuq (animata) ta' hawn fuq hija derivata minn ritratti reali meħuda f'kamra reali.

Ir-rappreżentazzjoni impliċita tax-xena tinkiseb mill-materjal tas-sors permezz ta 'Netwerk Neurali Konvoluzzjonali (CNN), u maqsuma f'diversi saffi, inkluż ir-riflettanza, l-irradjanza tas-sors (radjożità/illuminazzjoni globali) u albedo.

L-arkitettura tas-sistema ta' dawl mill-ġdid ta' l-Adobe. Is-sett tad-dejta b'ħafna opinjonijiet huwa pproċessat minn qabel, u ġeometrija tal-malji 3D ġġenerata mid-dejta tal-input. Meta jrid jiżdied dawl ġdid, l-irradjanza tiġi kkalkulata f'ħin reali, u l-veduta mill-ġdid sintetizzata. (ikklikkja biex tara verżjoni full-res)

L-algoritmu jgħaqqad aspetti tar-ray tracing tradizzjonali (Monte Carlo) u Rendering Ibbażat fuq l-Immaġini (IBR, rendering newrali).

Għalkemm ammont notevoli ta 'riċerka reċenti fl-Oqsma ta' Radjanza Newrali kienet ikkonċernata bl-estrazzjoni tal-ġeometrija 3D minn immaġini ċatti, iżda l-offerta ta 'Adobe hija l-ewwel darba li dwal mill-ġdid sofistikat ħafna intwera permezz ta' dan il-metodu.

L-algoritmu jindirizza wkoll limitazzjoni tradizzjonali oħra ta 'NeRF u approċċi simili, billi jikkalkula mappa ta' riflessjoni kompluta, fejn kull parti waħda tal-immaġni hija assenjata materjal li jirrifletti 100%.

It-tessuti mera jfasslu l-mogħdijiet tad-dawl. (ikklikkja biex tara verżjoni full-res)

B'din il-mappa ta 'riflettività integrali f'postha, huwa possibbli li r-riflettività 'l isfel biex takkomoda diversi livelli ta' rifless f'tipi differenti ta 'materjal bħall-injam, metall u ġebel. Il-mappa ta 'riflettività (hawn fuq) tipprovdi wkoll mudell komplut għall-mapping tar-raġġi, li jista' jerġa 'jintuża għal skopijiet ta' aġġustament tad-dawl imxerred.

Saffi oħra fis-sistema ta' rendering newrali tal-Adobe. (ikklikkja biex tara verżjoni full-res)

Il-qbid inizjali tax-xena juża 250-350 ritratti RAW li minnhom tiġi kkalkulata malja permezz ta 'Multi-View Stereo. Id-dejta hija miġbura fil-qosor f'mapep tal-karatteristiċi tad-dħul 2D li mbagħad jerġgħu jiġu pproġettati fil-veduta ġdida. Bidliet fid-dawl huma kkalkulati billi ssir medja ta 'saffi diffużi u tleqq tax-xena maqbuda.

Is-saff tal-immaġni tal-mera huwa ġġenerat permezz ta 'kalkolu veloċi tal-mera b'raġġ wieħed (bounce wieħed), li jistma l-valuri tas-sors oriġinali u mbagħad il-valuri fil-mira. Mapep li jkun fihom informazzjoni dwar id-dawl oriġinali tax-xena huma maħżuna fid-dejta newrali, simili għall-mod kif il-mapep tar-radjusity spiss jinħażnu b'dejta tax-xena CGI tradizzjonali.

Issolvi r-Riflessjonijiet tar-Rendering Neural

Forsi l-kisba primarja tax-xogħol hija d-diżakkoppjar ta 'informazzjoni ta' riflessjoni minn saffi diffużi u oħrajn fid-dejta. Il-ħin tal-kalkolu jinżamm imnaqqas billi jiġi żgurat li l-veduti ħajjin attivati ​​b''reflectance', bħal mirja, huma kkalkulati biss għall-vista attiva tal-utent, aktar milli għax-xena kollha.

Ir-riċerkaturi jsostnu li dan ix-xogħol jirrappreżenta l-ewwel darba li l-kapaċitajiet tad-dawl mill-ġdid ġew imqabbla ma 'kapaċitajiet ta' navigazzjoni b'vista libera f'qafas wieħed għal xeni li jridu jirriproduċu uċuħ li jirriflettu b'mod realistiku.

Saru xi sagrifiċċji biex tinkiseb din il-funzjonalità, u r-riċerkaturi jammettu li metodi preċedenti li jużaw malji għal kull viżjoni aktar kumplessi juru ġeometrija mtejba għal oġġetti żgħar. Direzzjonijiet futuri għall-approċċ Adobe se jinkludu l-użu ta 'ġeometrija per-view sabiex jitjieb dan l-aspett.