Kan Apples HDR-forbedrede virkelighetsmiljøer løse refleksjonsproblemer for neuralt rendering?

Apples lange og intense investeringer i Augmented Reality-teknologier akselererer i år, med en rekke nye utviklerverktøy for å fange og konvertere virkelige verdensobjekter til AR-facetter, og en voksende industribeslutning om at dedikert AR-utstyr kommer for å støtte de immersive opplevelsene som denne forskningsstormen kan muliggjøre.

Blant en rekke nye opplysninger om Apples innsats i Augmented Reality, avslører en ny rapport fra selskapets datavisjonsforskningsavdeling en metode for å bruke 360-graders panoramiske høytdynamiske billedbilder (HDR) for å gi scene-spesifikke refleksjoner og lysforhold for objekter som er overlagt i augmented reality-scener.

Rapporten, med tittelen HDR Environment Map Estimation for Real-Time Augmented Reality, foreslår dynamisk opprettelse av sanntids-HDR-miljøer via en konvolusjonsnevralt nettverk (CNN) som kjører i en mobil prosesseringsmiljø. Resultatet er at refleksive objekter kan faktisk speile nye, usette miljøer på forespørsel:

I Apples nye AR-objektgenereringsarbeidsflyt er en trykkoker instansiert ved photogrammetri, fullstendig med sin omgivelsesmiljø, noe som fører til overbevisende refleksjoner som ikke er ‘baked’ inn i teksturen. Kilde: https://docs-assets.developer.apple.com/

Metoden, som ble lansert på CVPR 2021, tar et bilde av hele scenen og bruker EnvMapNet-CNN for å estimere et visuelt fullstendig panoramisk HDR-bilde, også kjent som en ‘lys-sonde’.

Den resulterende kartet identifiserer sterke lyskilder (omkranset i slutten av animasjonen ovenfor) og tar hensyn til dem ved rendering av virtuelle objekter.

Arkitekturen til EnvMapNet, som prosesserer begrensede bilder til full-scene HDR-lys-sonder. Kilde: https://arxiv.org/pdf/2011.10687.pdf

Algoritmen kan kjøre på under 9 ms på en iPhone XS, og er i stand til å rendre refleks-objekter i sanntid, med redusert retningfeil på 50% sammenlignet med tidligere og forskjellige tilnærminger til problemet.

Lys-sonder

HDR-lys-miljøer har vært en faktor i visuelle effekter siden høytdynamiske billedbilder (oppfunnet i 1986) ble en merkbær faktor gjennom fremgang i datateknologi på 1990-tallet. Alle som ser på bak-scenen kan ha lagt merke til den surrealistiske tilstedeværelsen av teknikerne som holder opp speil-kuler på staver – referansebilder som skal inkorporeres som miljøfaktorer når man rekonstruerer CGI-elementer for scenen.

Kilde: https://beforesandafters.com/

Men å bruke kromkuler til refleksjonskartlegging teksturer forhånder det 1990-tallet, tilbake til 1983 SIGGRAPH-rapporten Pyramidal Parametrics, som viste stille bilder av en refleksiv CGI-robot i en stil som skulle bli berømt nesten et tiår senere gjennom ‘flytende metall’-effektene i James Camerons Terminator 2: Judgement Day.

HDR-miljøer i neuralt rendering?

Bilder generert fra Neural Radiance Fields (NeRF) er likeledes utfordret. Selv om ny forskning på NeRF har gjort fremskritt i å skille ut elementene som utgjør en neural scene (for eksempel MIT/Google samarbeid på NeRFactor), har refleksjoner forblevet et hinder.