Andersonův úhel

Může Appleovy HDR rozšířené reality prostředí vyřešit odrazy pro neuronové vykreslování?

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyAppleův CNN EnvMapNet odhaduje HDR světelné sondy pro celou scénu za méně než 9 ms na…
Zobrazit více
  • Appleův CNN EnvMapNet odhaduje HDR světelné sondy pro celou scénu za méně než 9 ms na iPhonu XS.
  • Neuronové renderovací metody jako NeRF postrádají odrazivost prostředí, což by Appleův HDR mapping mohl vyřešit.
  • Appleův lehký HDR mapping s omezenými zdroji může posunout sémantickou segmentaci k fotorealistické syntéze videa.

Appleova dlouhodobá a intenzivní investice do technologií rozšířené reality se letos zrychluje, a to díky novým nástrojům pro vývojáře, které umožňují zachytit a převést reálné objekty do AR prvků, a rostoucí přesvědčení v odvětví, že speciální AR brýle jsou na cestě, aby podporovaly imerzivní zážitky, které tato vlna výzkumu a vývoje může umožnit.

Mezi novou informací o Appleových snahách v oblasti rozšířené reality, nová studie z počítačového vidění výzkumné divize společnosti odhaluje metodu pro použití 360stupňových panoramatických high dynamic range (HDR) obrazů pro poskytování scénově specifických odrazů a osvětlení pro objekty, které jsou superponovány do scén rozšířené reality.

Nazvaná HDR Environment Map Estimation for Real-Time Augmented Reality, studie, kterou provedli Apple (AAPL ) Computer Vision Research Engineer Gowri Somanath a Senior Machine Learning Manager Daniel Kurz, navrhuje dynamické vytváření reálných HDR prostředí prostřednictvím konvoluční neuronové sítě (CNN) běžící v mobilním procesním prostředí. Výsledkem je, že reflektivní objekty mohou doslova odrážet nové, neviditelné prostředí na vyžádání:

V Apple novém AR objektovém generování, je tlak na hrnec instance pomocí fotogrammetrie kompletní s jeho okolním prostředím, což vede k přesvědčivým odrazům, které nejsou „upečené“ do textury. Source: https://docs-assets.developer.apple.com/

V Apple novém AR objektovém generování, je tlak na hrnec instance pomocí fotogrammetrie kompletní s jeho okolním prostředím, což vede k přesvědčivým odrazům, které nejsou „upečené“ do textury. Source: https://docs-assets.developer.apple.com/

Metoda, která byla představena na CVPR 2021, pořídí snímek celé scény a používá EnvMapNet CNN k odhadu vizuálně kompletní panoramatické HDR obrazu, také známé jako “light probe”.

Výsledná mapa identifikuje silné světelné zdroje (obklopené na konci výše uvedené animace) a zohledňuje je při vykreslování virtuálních objektů.

Architektura EnvMapNet, která zpracovává omezené obrazové údaje do plnohodnotných HDR světelných sond. Source: https://arxiv.org/pdf/2011.10687.pdf

Architektura EnvMapNet, která zpracovává omezené obrazové údaje do plnohodnotných HDR světelných sond. Source: https://arxiv.org/pdf/2011.10687.pdf

Algoritmus může běžet pod 9 ms na iPhone XS a je schopen vykreslovat reflektivní objekty v reálném čase, se sníženým směrovým chybou o 50 % ve srovnání s předchozími a odlišnými přístupy k problému.

Light Probes

HDR osvětlovací prostředí byla faktorem ve vizuálních efektech od doby, kdy high dynamic range obrazů (vynalezené v roce 1986) se staly významnou silou díky pokrokům v počítačové technice v 90. letech. Kdokoli, kdo sleduje záběry z natáčení, možná si všiml surrealistické přítomnosti techniků, kteří drží zrcadlové koule na tyčích – referenční obrazové údaje, které budou začleněny jako environmentální faktory při rekonstrukci CGI prvků pro scénu.

Source: https://beforesandafters.com/

Source: https://beforesandafters.com/

Nicméně, použití chromových koulí pro odrazové mapování textur předchází 90. létům, sahající až do roku 1983, kdy byla představena SIGGRAPH studie Pyramidal Parametrics, která obsahovala statické obrazové údaje o reflektivním CGI robotovi ve stylu, který se stal slavným téměř dekádu později díky “kapalnému kovu” efektům ve filmu Jamese Camerona Terminator 2: Den zúčtování.

HDR Environments In Neural Rendering?

Neuronové vykreslování nabízí možnost generovat fotorealistické video z velmi řídkých vstupních údajů, včetně hrubých segmentačních map.

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai