Může Appleovy HDR rozšířené reality prostředí vyřešit odrazy pro neuronové vykreslování?

Appleova dlouhodobá a intenzivní investice do technologií rozšířené reality se letos zrychluje, a to díky novým nástrojům pro vývojáře, které umožňují zachytit a převést reálné objekty do AR prvků, a rostoucí přesvědčení v odvětví, že speciální AR brýle jsou na cestě, aby podporovaly imerzivní zážitky, které tato vlna výzkumu a vývoje může umožnit.

Mezi novou informací o Appleových snahách v oblasti rozšířené reality, nová studie z počítačového vidění výzkumné divize společnosti odhaluje metodu pro použití 360stupňových panoramatických high dynamic range (HDR) obrazů pro poskytování scénově specifických odrazů a osvětlení pro objekty, které jsou superponovány do scén rozšířené reality.

Nazvaná HDR Environment Map Estimation for Real-Time Augmented Reality, studie, kterou provedli Apple Computer Vision Research Engineer Gowri Somanath a Senior Machine Learning Manager Daniel Kurz, navrhuje dynamické vytváření reálných HDR prostředí prostřednictvím konvoluční neuronové sítě (CNN) běžící v mobilním procesním prostředí. Výsledkem je, že reflektivní objekty mohou doslova odrážet nové, neviditelné prostředí na vyžádání:

V Apple novém AR objektovém generování, je tlak na hrnec instance pomocí fotogrammetrie kompletní s jeho okolním prostředím, což vede k přesvědčivým odrazům, které nejsou „upečené“ do textury. Source: https://docs-assets.developer.apple.com/

Metoda, která byla představena na CVPR 2021, pořídí snímek celé scény a používá EnvMapNet CNN k odhadu vizuálně kompletní panoramatické HDR obrazu, také známé jako “light probe”.

Výsledná mapa identifikuje silné světelné zdroje (obklopené na konci výše uvedené animace) a zohledňuje je při vykreslování virtuálních objektů.

Architektura EnvMapNet, která zpracovává omezené obrazové údaje do plnohodnotných HDR světelných sond. Source: https://arxiv.org/pdf/2011.10687.pdf

Algoritmus může běžet pod 9 ms na iPhone XS a je schopen vykreslovat reflektivní objekty v reálném čase, se sníženým směrovým chybou o 50 % ve srovnání s předchozími a odlišnými přístupy k problému.

Light Probes

HDR osvětlovací prostředí byla faktorem ve vizuálních efektech od doby, kdy high dynamic range obrazů (vynalezené v roce 1986) se staly významnou silou díky pokrokům v počítačové technice v 90. letech. Kdokoli, kdo sleduje záběry z natáčení, možná si všiml surrealistické přítomnosti techniků, kteří drží zrcadlové koule na tyčích – referenční obrazové údaje, které budou začleněny jako environmentální faktory při rekonstrukci CGI prvků pro scénu.

Source: https://beforesandafters.com/

Nicméně, použití chromových koulí pro odrazové mapování textur předchází 90. létům, sahající až do roku 1983, kdy byla představena SIGGRAPH studie Pyramidal Parametrics, která obsahovala statické obrazové údaje o reflektivním CGI robotovi ve stylu, který se stal slavným téměř dekádu později díky “kapalnému kovu” efektům ve filmu Jamese Camerona Terminator 2: Den zúčtování.

HDR Environments In Neural Rendering?

Neuronové vykreslování nabízí možnost generovat fotorealistické video z velmi řídkých vstupních údajů, včetně hrubých segmentačních map.