Investițiile Apple în Realitatea Augmentată și Medii HDR pentru Renderarea Neuronală: O Soluție pentru Reflexii?

Investițiile Apple în tehnologiile de Realitate Augmentată sunt accelerate în acest an, cu un nou set de instrumente pentru dezvoltatori pentru a captura și converti obiecte din lumea reală în faceti de Realitate Augmentată, și o convingere tot mai puternică în industrie că ochelarii dedicați de Realitate Augmentată vor fi lansați pentru a sprijini experiențele imersive pe care această furtună de cercetare și dezvoltare le poate face posibile.

Printre noile informații despre eforturile Apple în domeniul Realității Augmentate, un nou articol de la divizia de cercetare a viziunii calculate a companiei dezvăluie o metodă pentru utilizarea imaginilor panoramice 360 de grade cu gamă dinamică ridicată (HDR) pentru a furniza reflexii și iluminare specifice scenei pentru obiectele care sunt suprapuse peste scenele de realitate augmentată.

Intitulat Estimarea Hărții de Mediu HDR pentru Realitatea Augmentată în Timp Real, articolul, scris de inginerul de cercetare a viziunii calculate de la Apple, Gowri Somanath, și managerul senior de învățare automată, Daniel Kurz, propune crearea dinamică a unor medii HDR în timp real prin intermediul unei rețele neuronale convoluționale (CNN) care rulează într-un mediu de procesare mobil. Rezultatul este că obiectele reflective pot reflecta literalmente medii noi, nevăzute, la cerere:

În noul flux de lucru de generare a obiectelor de Realitate Augmentată de la Apple, un vas sub presiune este instanțiat prin fotogrammetrie complet cu mediul său ambient, ducând la reflexii convingătoare care nu sunt ‘coapte’ în textură. Sursă: https://docs-assets.developer.apple.com/

Metoda, prezentată la CVPR 2021, capturează o imagine a întregii scene și utilizează EnvMapNet CNN pentru a estima o imagine panoramică HDR vizual completă, cunoscută și sub numele de ‘sondă de lumină’.

Harta rezultată identifică surse puternice de lumină (conturate la sfârșitul animației de mai sus) și le ia în considerare la renderarea obiectelor virtuale.

Arhitectura EnvMapNet, care procesează imagini limitate în sonde de lumină HDR complete. Sursă: https://arxiv.org/pdf/2011.10687.pdf

Algoritmul poate rula în mai puțin de 9 ms pe un iPhone XS și este capabil să renderizeze obiecte conștiente de reflexii în timp real, cu o eroare direcțională redusă cu 50% comparativ cu abordările anterioare și diferite ale problemei.

Sonde de Lumină

Mediile de iluminare HDR au fost un factor în efectele vizuale de la începutul anilor 1990, odată cu apariția imaginilor cu gamă dinamică ridicată (inventate în 1986). Cineva care urmărește filmări din culise poate observa prezența tehnicilor care țin bile de metal pe bețe – imagini de referință care urmează a fi incorporate ca factori de mediu atunci când se reconstruiesc elemente CGI pentru scenă.

Sursă: https://beforesandafters.com/

Cu toate acestea, utilizarea bilelor de metal pentru hărți de reflexie precede anii 1990, datând din 1983, când a apărut articolul Pyramidal Parametrics, care a prezentat imagini statice ale unui robot CGI reflector într-un stil care avea să devină faimos aproape un deceniu mai târziu prin efectele ‘metal lichid’ din Terminator 2: Judgement Day.

Medii HDR în Renderarea Neuronală?

Imaginile generate prin Renderarea Neuronală oferă posibilitatea de a genera videouri fotorealistice din intrări foarte sărace, inclusiv hărți de segmentare grosiere.