Neuraalisen säteilyn kentän uudelleenvalaisu valitsemallasi ympäristökartalla

Max Planck -instituutin ja MIT:n uusi tutkimus on ehdottanut menetelmää, jolla voidaan saada aikaan todellinen erottelu Neuraalisen säteilyn kentän (NeRF) sisällöstä ja valaistuksesta, joka oli läsnä, kun data kerättiin, mahdollistaen ad hoc -ympäristökarttojen täydellisen vaihtamisen valaistuksessa NeRF-kohtauksessa:

Uuden tekniikan soveltaminen todellisiin tietoihin. On huomattavaa, että menetelmä toimii jopa arkistoiduilla tietoilla, jotka eivät ottaneet uutta putkia huomioon, kun tietoja kerättiin. Huolimatta siitä, että realistinen ja käyttäjän määrittelemä valaistusohjaus saavutetaan. Lähde: https://arxiv.org/pdf/2207.13607.pdf

Uusi lähestymistapa käyttää suositeltua avoimen lähdekoodin 3D-animointiohjelmaa Blenderiä luomaan “virtuaalisen valostudion”, jossa useita mahdollisia valaistusskenaarioita renderöidään ja lopulta koulutetaan erityiseen kerrokseen NeRF-mallissa, joka voi ottaa käyttöön minkä tahansa ympäristökartan, jonka käyttäjä haluaa käyttää kohtauksen valaistukseen.

Virtuaalisen valostudion osan kuvaus, joka hyödyntää Blenderiä virtuaalisten valostudio-näkymien luomiseen. Aikaisemmat menetelmät, jotka seurasivat samanlaista lähestymistapaa, käyttivät todellisia valostudioita tietojen toimittamiseen, mikä on rasittava vaatimus erillisten esineiden osalta ja mahdoton vaatimus ulkoisten ympäristönäkymien osalta. Oikeanpuoleisten kahden kuvan ylävasemmassa nurkassa nähdään ympäristökartat, jotka määräävät kohtauksen valaistuksen. Nämä voivat luoda vapaaehtoisesti loppukäyttäjän toimesta, mikä tuo NeRF:in lähemmäs modernin CGI-lähestymistavan joustavuutta.

Tutkimus vertasi uutta lähestymistapaa Mitsuba2 -käänteisen renderöintikehykseen sekä aikaisempiin töihin PhySG, RNR, Neural-PIL ja NeRFactor, käyttäen ainoastaan suoran valaistusmallin, ja saavutti parhaat tulokset:

Uuden tekniikan tulokset, verrattuna muihin lähestymistapoihin eri menetelmien avulla. Tutkijat väittävät, että heidän lähestymistapansa tarjoaa korkealaatuisimmat menetelmät, joita arvioidaan huipputasoisen signaali-kohinamittauksella (PSNR), rakenteellisen samankaltaisuusmittauksella (SSIM) ja oppimismenetelmällä, joka on perustettu havaintoihin (LPIPS).

Tutkimusraportti toteaa:

‘Meidän laadulliset ja määrälliset tulokset osoittavat selkeän edistysaskeleen kohtauksen parametrejen palauttamisessa ja synteesin laadussa uusissa näkymissä ja valaistusolosuhteissa verrattuna aikaisempaan tutkimukseen.’

Tutkijat toteavat, että he tulevat julkaisemaan koodin hankkeelle.

NeRF:n muokkaustarpeen

Tällainen erottelu on osoittautunut merkittäväksi haasteeksi Neuraalisten säteilyn kenttien tutkijoille, koska NeRF on perimmältään fotogrammetria, joka lasketaan tuhansien mahdollisten polkujen arvoja näkökulmasta, määrittää RGBD-arvot ja kokoaa nämä arvot tilavuusesitykseksi. NeRF on määritelty valaistuksella.

Todellisuudessa NeRF on huomattavan “jäykkä” – CGI-terminologian mukaan “paistettu”. Siksi tutkimusyhteisö on keskittynyt parantamaan sen käsittelykykyä ja joustavuutta tässä suhteessa viimeisen 12-18 kuukauden aikana.

Merkitsevyyden osalta, panokset tällaiselle merkittävälle saavutukselle ovat korkeat ja sisältävät mahdollisuuden muuttaa visuaalisten efektien teollisuutta luovasta ja yhteistyöhön perustuvasta mallista, joka keskittyy meshin luomiseen, liikkeen dynamiikkaan ja teksturointiin, malliin, joka perustuu käänteiseen renderöintiin, jossa VFX-putki perustuu maailmanlaajuisten valokuvien ottamiseen oikeista asioista (tai jopa syntetisoituja malleja), eikä arvioituja, taidokkaita approksimaatioita.

Tällä hetkellä visuaalisten efektien yhteisöllä ei ole suurta syytä olla huolissaan Neuraalisten säteilyn kenttien suhteen. NeRF:illä on vasta alkuvaiheen kyvyt riggauksessa, pesintässä, syvyyden hallinnassa, articulaatiossa… ja myös valaistuksessa. Lisätiedot toisesta uudesta tutkimuksesta, joka tarjoaa perustavanlaatuiset muodonmuutokset NeRF-geometrialle, osoittavat valtavan kuilun nykyisen CGI-tilan ja neurorrenderöintitekniikoiden uraauurtavien ponnistelujen välillä.

Alkuelementtien seulonta

Kuitenkin, koska on tarpeen aloittaa jostakin, uuden tutkimuksen tutkijat ovat omaksuneet CGI:n välikätenä ohjaus- ja tuotantomekanismina, mikä on nyt yleinen lähestymistapa GANien jäykkiin latenttiin avaruuksiin ja NeRF:n lähes läpinäkymättömiin ja lineaarisiin verkkoihin.

Periaatteessa, keskeinen haaste on laskea globaali valaistus (GI, jolla ei ole suoraa soveltamismahdollisuutta neurorrenderöinnissä) vastaavaan esikäsiteltyä säteilyn siirtämistä (PRT, joka voidaan sovittaa neurorrenderöintiin) laskentaan.

GI on vanha CGI-renderöintitekniikka, joka mallintaa valon heijastumista pinnoilla ja muiden pintojen valaistusta, ja sisällyttää nämä valaistusalueet renderöintiin, jotta saadaan lisää realistisuutta.

PRT:ä käytetään välikätenä valaistusfunktiona uudessa lähestymistavassa, ja se, että se on diskreetti ja muokattavissa oleva komponentti, saavuttaa erottelun. Uusi menetelmä mallintaa NeRF-objektin materiaalia oppimalla PRT:ä.

Alkuperäisen datan todellinen kohtauksen valaistus palautetaan ympäristökarttana prosessissa, ja kohtauksen geometria itsessään on poistettu Allekirjoitettu etäisyyden kenttä (SDF), joka lopulta tarjoaa perinteisen verkon Blenderille virtuaalisen valostudion toiminnassa.

Uuden tekniikan putken yleiskatsaus.

Prosessin ensimmäinen vaihe on poistaa kohtauksen geometria saatavilla olevista moninäkökulmaisista kuvista impliciteen pinnan rekonstruktioon kautta, käyttäen menetelmiä, jotka on käytetty 2021 NeuS-tutkimuksessa.

Jotta voidaan kehittää neuroradianssisiirtämisen kenttä (NRTF, joka ottaa valaistusdatan), tutkijat käyttivät Mitsuba 2 -erottuvaa polkurenderöintiä.

Tämä mahdollistaa yhdessä optimoinnin bidirektionaalisen hajottumisjakauman (BSDF) sekä alkuperäisen ympäristökartan luomisen. Kun BSDF on luotu, polkurenderöintiä voidaan käyttää Blenderissä (ks. upotettu video yllä) luomaan virtuaalisia yhden valon kerrallaan (OLAT) -kohtauksen renderöintejä.

NRTF on koulutettu yhdistetyllä tappiofunktiolla fotorealististen materiaaliefektien ja synteettisen datan välillä, jotka eivät ole toisiinsa sekaantuneita.

Vertailu edeltävän NeRFactorin kanssa uusien näkymien synteesin ja uudelleenvalaisun haasteista.

Tie valaistukseen

Tämän tekniikan koulutusvaatimukset, vaikka olivatkin huomattavasti vähäisemmät kuin alkuperäisen NeRF-koulutusajat, eivät ole merkityksettömiä. NVIDIA (NVDA ) Quadro RTX 8000:lla, jossa on 48 GB VRAM:ia, esialkuperäinen valaistus- ja tekstuurin arvioinnin koulutus kestää 30 minuuttia; OLAT-koulutus (ts. virtuaalisen valostudion koulutus) kestää 8 tuntia; ja lopullinen yhdistetty optimointi erottelun saavuttamiseksi syntetisoiduilla ja todellisilla tiedoilla kestää 16 tuntia, jotta saavutetaan optimaalinen laatu.

Lisäksi tuloksena oleva neurorrepresentaatio ei voi toimia reaaliajassa, vaan se kestää, tutkijoiden mukaan, “useita sekunteja per ruutu”.

Tutkijat toteavat:

‘Tuloksemme osoittavat selkeän parannuksen nykyiseen tilaan nähden, kun taas tuleva työ voisi keskittyä parantamaan suorituskykyä ja yhteistä geometrian, materiaalin ja kohtauksen valaistuksen päättelyä.’

Julkaistu ensimmäisen kerran 28. heinäkuuta 2022.