Tekoäly
Uudelleenvalaisu Neural Radiance Fields -kenttiä minkä tahansa ympäristökartan kanssa
Uusi tutkimus Max Planck -instituutista ja MIT:stä on ehdottanut menetelmää, jolla voidaan saavuttaa todellinen erottelu Neural Radiance Fields (NeRF) -sisällöstä ja valaistuksesta, joka oli läsnä, kun data kerättiin, mikä mahdollistaa ad hoc -ympäristökarttojen täydellisen vaihtamisen valaistukseksi NeRF-kohtauksessa:
Uusi tekniikka sovellettu todelliseen dataan. On huomattavaa, että menetelmä toimii jopa arkistoidussa datasta, jota ei otettu huomioon, kun dataa kerättiin. Huolimatta siitä, saavutetaan realistinen ja käyttäjän määrittelemä valaistusohjaus Lähde: https://arxiv.org/pdf/2207.13607.pdf
Uusi lähestymistapa käyttää suositeltua avoimen lähdekoodin 3D-animointiohjelmaa Blenderiä luomaan “virtuaalisen valaisuvaiheen”, jossa useita mahdollisia valaistusskenaarioita renderöidään ja lopulta koulutetaan erityiseen kerrokseen NeRF-mallissa, joka voi sopeutua mihin tahansa ympäristökartaan, jonka käyttäjä haluaa käyttää kohtauksen valaistukseen.
Virtuaalisen valaisuvaiheen osan pipelinea, joka hyödyntää Blenderiä virtuaalisten valaisuvaiheen näkymien luomiseen. Aikaisemmat menetelmät, jotka seuraavat samanlaista linjaa, ovat käyttäneet oikeita valaisuvaiheita tämän datan toimittamiseen, mikä on raskas vaatimus erillisten objektien osalta ja mahdoton ulkoisen ympäristön näkymien osalta. Oikeanpuoleisen kuvan ylävasemmassa kulmassa voidaan nähdä ympäristökartat, jotka määrittelevät kohtauksen valaistuksen. Nämä voidaan luoda vapaasti käyttäjän toimesta, mikä tuo NeRF:lle askelen lähemmäs modernin CGI-lähestymistavan joustavuutta.
Lähestymistapa testattiin Mitsuba2 -käänteisen renderöintikehyksen kanssa, sekä aikaisempien töiden PhySG, RNR, Neural-PIL ja NeRFactor kanssa, käyttäen ainoastaan suoran valaistusmallin, ja saavutti parhaat tulokset:
Uuden tekniikan tulokset, verrattuna vertailukelpoisiin lähestymistapoihin erilaisissa häviöfunktioissa. Tutkijat väittävät, että heidän lähestymistapansa tarjoaa korkealaatuisimmat menetelmät, ja tulokset arvioidaan huipputasoisen signaali-kohina-suhdeluvun (PSNR), rakenteellisen samankaltaisuusmittarin (SSIM) ja tehokkaan, vaikka epäsymmetrisen oppimisen havaintopohjaisen kuvaepäilymittarin (LPIPS) avulla.
