Czy Środowiska Rozszerzonej Rzeczywistości Apple z Technologią HDR Mogą Rozwiązać Problem Odbić Światła w Renderowaniu Neuronowym?

Inwestycje Apple w technologie rozszerzonej rzeczywistości przyspieszają w tym roku, z nowymi narzędziami dla deweloperów do przechwytywania i konwersji obiektów z rzeczywistego świata na elementy AR, oraz rosnącym przekonaniem w branży, że poświęcone okulary AR będą wspierać immersyjne doświadczenia, które te badania i rozwój mogą umożliwić.

Wśród nowych informacji o wysiłkach Apple w dziedzinie rozszerzonej rzeczywistości, nowy artykuł z wydziału badań nad widzeniem komputerowym firmy ujawnia metodę wykorzystania panoramicznych obrazów HDR do zapewnienia sceny-specyficznych odbić i oświetlenia dla obiektów nakładanych na sceny rozszerzonej rzeczywistości.

Tytuł HDR Environment Map Estimation for Real-Time Augmented Reality, artykuł autorstwa inżyniera badań nad widzeniem komputerowym Apple, Gowri Somanath, i starszego menedżera machine learning, Daniela Kurza, proponuje dynamiczne tworzenie środowisk HDR w czasie rzeczywistym za pomocą sieci neuronowej (CNN) działającej w środowisku mobilnym. Wynikiem jest to, że obiekty odbijające mogą literalnie odbijać nowe, niewidziane środowiska na żądanie:

W nowym przepływie pracy Apple do generowania obiektów AR, ciśnieniowy kocioł jest wystąpiany przez fotogrametrię wraz z jego środowiskiem, co prowadzi do przekonywujących odbić, które nie są „upieczone” w tekstuře. Źródło: https://docs-assets.developer.apple.com/

Metoda, zaprezentowana na CVPR 2021, robi zdjęcie całej sceny i wykorzystuje EnvMapNet CNN do oszacowania wizualnie kompletnego panoramicznego obrazu HDR, znanego również jako „sonda światła”.

Wynikający z tego map identyfikuje silne źródła światła (zaznaczone na końcu w powyższej animacji) i uwzględnia je w renderowaniu obiektów wirtualnych.

Architektura EnvMapNet, która przetwarza ograniczone obrazy w pełne środowiska HDR. Źródło: https://arxiv.org/pdf/2011.10687.pdf

Algorytm może działać w czasie poniżej 9 ms na iPhone XS i jest w stanie renderować obiekty odbijające w czasie rzeczywistym, z redukowanym błędem kierunkowym o 50% w porównaniu z poprzednimi i różnymi podejściami do problemu.

Sondy Światła

Środowiska oświetleniowe HDR były czynnikiem w efektach wizualnych od czasu, gdy obrazy HDR (wynalezione w 1986 roku) stały się znaczącą siłą dzięki postępom w technice komputerowej w latach 90. Każdy, kto oglądał materiały z planu, mógł zauważyć surrealistyczną obecność technicznych trzymających lusterka na patyku – odniesienia do obrazów, które mają być włączone jako czynniki środowiskowe podczas odtwarzania elementów CGI w scenie.

Źródło: https://beforesandafters.com/

Jednak wykorzystanie kuli chromowej do mapowania odbić tekstur poprzedza lata 90., sięgając 1983 roku i artykułu Pyramidal Parametrics, który zawierał statyczne obrazy odbijającego się robota CGI w stylu, który stał się słynny prawie dekadę później dzięki efektom „ciekłego metalu” w filmie Jamesa Camerona Terminator 2: Dzień sądu.

Środowiska HDR w Renderowaniu Neuronowym?

Renderowanie neuronowe oferuje możliwość generowania fotorealistycznych filmów z bardzo rzadkich danych wejściowych, w tym surowych map segmentacji.