Voivatko Applen HDR-lisäykset ratkaista heijastusongelmat neurorenderöinnissä?

Applen voimakas ja pitkäaikainen sijoitus lisättyyn todellisuuteen kiihtyy tänä vuonna, kun yritys julkaisee uuden joukon kehittäjätyökaluja, joilla voidaan kaapata ja muuttaa oikean maailman esineitä AR-ominaisuuksiksi, ja kasvava teollisuusvakuutus, jonka mukaan omistettu AR-lasit tulevat tukemaan upouviaa kokemuksia, joita tämä R&D-lumivyöry voi mahdollistaa.

Applen lisätyn todellisuuden pyrkimyksistä paljastui uusi tieto, jossa uusi tutkimus yhtiön tietokoneen näköntutkimusosastolta paljastaa menetelmän, jossa 360-astetta panoramaisia korkean dynaamisen alueen (HDR) kuvia voidaan käyttää kohteen mukautettujen heijastusten ja valaistuksen antamiseen, jotka siirretään lisättyyn todellisuuden kohtauksiin.

Tutkimuksessa, jonka otsikko on HDR-ympäristön arviointi aikarealista lisättyyn todellisuuteen, Apple Computer Vision Research Engineer Gowri Somanath ja Senior Machine Learning Manager Daniel Kurz esittävät dynaamisen, aikarealisen HDR-ympäristön luomista konvoluutio-neuraaliverkolla (CNN), joka toimii mobiililaitteessa. Tuloksena on, että heijastusominaisuudet voivat tosiaan heijastaa uusia, näkemättömiä ympäristöjä tarpeen mukaan:

Applen uudessa AR-objektin luomisprosessissa painekattila on esitetty fotogrammetrialla ympäristönsä kanssa, mikä johtaa vakuuttaviin heijastuksiin, jotka eivät ole “paistettu” tekstuurin sisään. Lähde: https://docs-assets.developer.apple.com/

Menetelmä, joka esiteltiin CVPR 2021 -tapaamisessa, ottaa valokuvan koko kohtauksesta ja käyttää EnvMapNet -CNN:ää arvioidakseen visuaalisesti täydellisen panoramaisen HDR-kuvan, jota kutsutaan myös “valoanturaksi”.

Tuloksena oleva kartta tunnistaa voimakkaat valonlähteet (piirretty lopussa yllä olevassa animaatiossa) ja ottaa ne huomioon virtuaaliesineiden renderöinnissä.

EnvMapNetin arkkitehtuuri, joka prosessoi rajoitettua kuvamateriaalia täyskohtauksen HDR-valoantureiksi. Lähde: https://arxiv.org/pdf/2011.10687.pdf

Algoritmi voi suorittaa alle 9 ms:n aikana iPhone XS:llä, ja se kykenee renderöimään heijastusominaisuuksilla varustettuja esineitä reaaliajassa, suunnattua virhettä 50 % vähemmän verrattuna aiempiin ja erilaisiin lähestymistapoihin ongelmaan.

Valoanturit

HDR-valaistusympäristöt ovat olleet visuaalisten efektien osana siitä lähtien, kun korkean dynaamisen alueen kuvat (keksitty 1986) tulivat merkittäväksi voimaksi tietokoneteknologian edistymisen kautta 1990-luvulla. Jokainen, joka on katsellut kulissien takana olevaa kuvamateriaalia, on saattanut huomata surrealistisen, lavastetun läsnäolon, jossa tekniikot pitävät peilejä tangoissa – viitekuvia, jotka sisällytetään ympäristötekijöiksi, kun CGI-elementtejä rakennetaan kohtaukseen.

Lähde: https://beforesandafters.com/

Kuitenkin kromipallojen käyttäminen heijastuskartan tekstuurien luomiseen edelsi 1990-lukua, ja se johti vuoden 1983 SIGGRAPH-tutkimukseen Pyramidal Parametrics, jossa esiteltiin kuvia heijastuvasta CGI-robotista tyylistä, josta tuli kuuluisa lähes vuosikymmenen kuluttua Terminator 2: Judgment Day -elokuvan “nestemäisen metallin” efektien kautta.

HDR-ympäristöt neurorenderöinnissä?

Neurorenderöinti tarjoaa mahdollisuuden luoda fotorealistinen video hyvin niukasta syötteestä, mukaan lukien karkeat segmentaatiokartat.