Voivatko Apple’n HDR-lisätty todellisuuden ympäristöt ratkaista heijastukset neurorenderöinnissä?

Apple’n voimakas, pitkäaikainen sijoitus lisättyyn todellisuuteen kiihtyy tänä vuonna, uudella joukon kehittäjien työkaluilla kaappaamaan ja muuntaa oikean maailman objekteja AR-tekijöiksi, ja kasvava teollisuuden vakuutus, että omistettu AR-lasit tulevat tukemaan upouvia kokemuksia, joita tämä myrsky R&D: tä voidaan mahdollistaa.

Yksi uusi tieto Apple’n ponnisteluista lisätyn todellisuuden parissa, uusi paperi yrityksen tietokoneen näköntutkimusosastolta paljastaa menetelmän, jossa 360-astetta panoraama korkean dynaamisen alueen (HDR) kuvia voidaan käyttää kohteen spesifisiin heijastuksiin ja valaistukseen objekteille, jotka ovat superimposed augmented reality -kohtauksiin.

Otsikko HDR-ympäristön kartan arvio neurorenderöintiin, paperi, Apple Computer Vision Research Engineer Gowri Somanath ja Senior Machine Learning Manager Daniel Kurz, ehdottaa dynaamista luomista reaaliaikaisia HDR-ympäristöjä konvoluutio-neuroverkkoa (CNN) suoritettaessa mobiilissa prosessointiympäristössä. Tuloksena on, että heijastavat objektit voivat kirjaimellisesti peilata uusia, näkemättömiä ympäristöjä vaadittaessa:

Apple’n uudessa AR-objektin luomisvirrassa, painekattila on instanssi fotogrammetrialla ympäristönsä kanssa, johtuen vakuuttavista heijastuksista, jotka eivät ole ‘paistetut’ tekstuurissa. Lähde: https://docs-assets.developer.apple.com/

Menetelmä, joka esiteltiin CVPR 2021: ssä, ottaa valokuvan koko kohtauksesta ja käyttää EnvMapNet CNN: ää arvioida visuaalisesti täydellinen panoraama HDR -kuva, jota kutsutaan myös ‘valoanturaksi’.

Tuloksena oleva kartta tunnistaa voimakkaat valonlähteet (piirretty lopussa edellä olevassa animaatiossa) ja ottaa ne huomioon virtuaalisten objektien renderöinnissä.

EnvMapNetin arkkitehtuuri, joka prosessoi rajoitettua kuvamateriaalia täyskohtauksen HDR-valoantureiksi. Lähde: https://arxiv.org/pdf/2011.10687.pdf