AppleのHDR拡張現実環境は、Neural Renderingの反射を解決することができるか？

Appleは、長期にわたって拡張現実技術に投資を続けており、この年は、新しい開発者ツールを導入して、現実世界のオブジェクトをARの要素に変換することができるようになりました。また、AR専用の眼鏡が登場する可能性が高まっています。

Appleの拡張現実技術に関する新しい情報の中で、新しい論文が発表され、360度パノラマHDR画像を使用して、ARシーンにオブジェクトを重ねる際の反射と照明を提供する方法が提案されています。

この論文は、Appleのコンピュータビジョン研究部門のGowri SomanathとDaniel Kurzによって書かれ、モバイル処理環境で動作する畳み込みニューラルネットワーク（CNN）を使用して、リアルタイムのHDR環境を動的に生成する方法を提案しています。結果として、反射するオブジェクトは、実際の環境をミラーのように映し出すことができます。

Appleの新しいARオブジェクト生成ワークフローでは、圧力鍋が写真測量法によってインスタンス化され、環境の反射が含まれています。 Source: https://docs-assets.developer.apple.com/

この方法は、CVPR 2021で発表され、シーン全体のスナップショットを取り、EnvMapNet CNNを使用して、視覚的に完成したパノラマHDR画像（ライトプローブ）を推定します。

結果として得られるマップは、強い光源を特定し（上のアニメーションの最後にアウトラインされています）、仮想オブジェクトのレンダリングにそれらを考慮します。

EnvMapNetのアーキテクチャは、制限された画像をフルシーンのHDRライトプローブに変換します。 Source: https://arxiv.org/pdf/2011.10687.pdf

このアルゴリズムは、iPhone XSで9ミリ秒未満で動作し、リアルタイムで反射を考慮したオブジェクトをレンダリングできます。以前のアプローチと比較して、方向エラーが50%減少しています。

ライトプローブ

HDR照明環境は、視覚効果において重要な要素で、1986年に発明されたHDR画像が1990年代にコンピュータ技術の進歩によって注目されるようになりました。誰でも、技術者の背後にあるシーンの映像をみると、ミラー玉を持ち上げている技術者が見えます。これは、CGI要素をシーンに再構築する際の環境要因として組み込まれるための参照画像です。

Source: https://beforesandafters.com/

しかし、反射マッピングのテクスチャとしてクロームボールを使用することは、1990年代以前の1983年のSIGGRAPH論文「Pyramidal Parametrics」まで遡ります。この論文では、反射的なCGIロボットの静止画像が紹介されており、約10年後にはジェームズ・キャメロン監督の「Terminator 2: Judgment Day」の「液体金属」効果で有名になりました。

Neural RenderingにおけるHDR環境

ニューラルレンダリングでは、非常にスパースな入力から写真レベルのビデオを生成することができます。