Kan Apple’s HDR-augmented reality-omgevingen reflecties oplossen voor neurale rendering?

Apple’s krachtige, langetermijninvestering in augmented reality-technologieën versnelt dit jaar, met een nieuw assortiment ontwikkelaarstools om echte wereldobjecten te vastleggen en om te zetten in AR-aspecten, en een groeiend industrieel besef dat speciale AR-brillen eraan komen om de immersieve ervaringen te ondersteunen die deze storm van R&D kan mogelijk maken.

Onder een reeks nieuwe informatie over Apple’s inspanningen op het gebied van augmented reality, een nieuw artikel van de computer vision-onderzoeksafdeling van het bedrijf onthult een methode om 360-graden panoramische high dynamic range (HDR)-afbeeldingen te gebruiken om scène-specifieke reflecties en verlichting te bieden voor objecten die in augmented reality-scènes worden gesuperponeerd.

Getiteld HDR Environment Map Estimation for Real-Time Augmented Reality, het artikel, geschreven door Apple Computer Vision Research Engineer Gowri Somanath en Senior Machine Learning Manager Daniel Kurz, stelt de dynamische creatie van real-time HDR-omgevingen voor via een convolutional neural network (CNN) die draait in een mobiele verwerkingomgeving. Het resultaat is dat reflecterende objecten letterlijk nieuwe, ongeziene omgevingen kunnen weerspiegelen op aanvraag:

In Apple’s nieuwe AR-objectgeneratie-workflow wordt een drukpan geïnstantieerd door photogrammetrie, compleet met zijn omgevingsomgeving, waardoor overtuigende reflecties ontstaan die niet ‘gebakken’ zijn in de textuur. Bron: https://docs-assets.developer.apple.com/

De methode, die voor het eerst werd getoond op CVPR 2021, neemt een snapshot van de hele scène en gebruikt de EnvMapNet CNN om een visueel complete panoramische HDR-afbeelding te schatten, ook bekend als een ‘light probe’.

De resulterende kaart identificeert sterke lichtbronnen (omlijnd aan het einde in de bovenstaande animatie) en houdt daar rekening mee bij het renderen van virtuele objecten.

De architectuur van EnvMapNet, die beperkte beelden verwerkt tot volledige scène-HDR-lichtprobes. Bron: https://arxiv.org/pdf/2011.10687.pdf

De algoritme kan draaien in minder dan 9ms op een iPhone XS en is in staat om reflectie-gevoelige objecten in real-time te renderen, met een reductie van 50% van de richtingsfout in vergelijking met eerdere en verschillende benaderingen van het probleem.

Lichtprobes

HDR-verlichtingsomgevingen zijn een factor in visuele effecten sinds high dynamic range-afbeeldingen (uitgevonden in 1986) een opvallende kracht werden door de vooruitgang in computertechnologie in de jaren 90. Iedereen die achter-de-scherm-beelden bekijkt, kan de surrealistische aanwezigheid van technici hebben opgemerkt die spiegeltjes op stokken vasthouden – referentiebeelden die worden opgenomen als omgevingsfactoren wanneer CGI-elementen voor de scène worden gereconstrueerd.

Bron: https://beforesandafters.com/

Maar het gebruik van chroomballen voor reflectiemapping-texturen dateert uit de jaren 80, toen het in 1983 werd gepubliceerd in het SIGGRAPH-artikel Pyramidal Parametrics, dat stillevens van een reflecterend CGI-robot toonde in een stijl die bijna een decennium later beroemd zou worden door de ‘vloeibare metaal’-effecten van James Cameron’s Terminator 2: Judgment Day.

HDR-omgevingen in neurale rendering?

Neurale rendering biedt de mogelijkheid om fotorealistische video te genereren uit zeer schaarse invoer, inclusief grove segmentatiekaarten.