アドビ：ニューラルレンダリングで現実世界の照明を再現する

アドビの研究者は、屋内シーンのニューラルレンダリングシステムを開発し、複雑な照明の再現、リアルタイムのインターフェイス、光沢のある表面や反射の処理を実現しました。これは、Neural Radiance Fields（NeRF）などの画像合成方法が直面している課題です。

ここでは、実世界のシーンが複数の静止画像から再構築され、シーンをナビゲートできるようになりました。照明を追加して色や質感を変更できますが、反射は正確に残り、光沢のある表面は照明源やスタイルの変更を正しく表現します。 ソース：https://www.youtube.com/watch?v=d3ma4opFpgM

新しいシステムは、PhotoshopスタイルのGUIを使用して、3Dシーンの照明を制御できます。シーンはニューラル空間にキャプチャされ、影や反射も含みます。

GUIを使用して、実世界のシーンに照明源を追加して調整できます。シーンは、CGIスタイルのメッシュベースのシナリオのように自由にナビゲートできます。

この論文は、ACM Transactions on Graphicsに提出され、《Free-viewpoint Indoor Neural Relighting from Multi-view Stereo》と題され、アドビ研究とUniversité Côte d’Azurの研究者による共同研究です。

ソース：https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (クリックしてフルサイズを表示)

Neural Radiance Fields（NeRF）と同様に、このシステムは写真測量法を使用してシーンを理解し、機械学習で「欠落」している視点を補完してシーンの完全な抽象モデルを生成します。

システムは完全に合成（CGI）データでトレーニングされていますが、使用される3Dモデルは、実世界のシーンをニューラル解釈のために複数の写真から再構築する場合と同じように処理されています。上の画像は、シーンの照明を変更する例ですが、「ベッドルーム」のビューは、実際の部屋で撮影された写真から生成されています。

シーンの暗黙の表現は、Convolutional Neural Network（CNN）を使用して入力データから取得され、反射率、放射率（ラジオシティ/グローバルイルミネーション）、アルベドなどの複数の層に分割されます。

アドビの照明システムのアーキテクチャ。マルチビューのデータセットは事前に処理され、入力データから3Dメッシュの幾何学が生成されます。新しい照明源を追加するとき、放射率はリアルタイムで計算され、照明されたビューが合成されます。 (クリックしてフルサイズを表示)

アルゴリズムは、伝統的なレイトレーシング（モンテカルロ法）と画像ベースのレンダリング（IBR、ニューラルレンダリング）の要素を組み合わせています。

最近のNeural Radiance Fieldsに関する研究の多くは、平面画像から3D幾何学を抽出することに焦点を当てていますが、アドビのアプローチは、反射表面をリアルに再現するシーンで高度な照明の再現を実現した初めての例です。

アルゴリズムはまた、NeRFや同様のアプローチの伝統的な限界を解決し、完全な反射マップを計算して、画像の各部分に100%の反射材質を割り当てます。

ミラー層は、照明パスをマッピングします。 (クリックしてフルサイズを表示)

この反射マップを使用すると、さまざまな材質（木、金属、石など）で反射率を調整できます。また、反射マップは、拡散光の調整にも使用できます。

アドビのニューラルレンダリングシステムの他のレイヤー。 (クリックしてフルサイズを表示)

シーンの初期キャプチャには、250〜350枚のRAW画像が使用され、マルチビュー・ステレオ法でメッシュが計算されます。データは2D入力特徴マップに要約され、後に新しいビューに投影されます。照明の変更は、拡散層と光沢層の平均化によって計算されます。

ミラー層は、高速な単一レイのミラー計算（1回のバウンド）によって生成され、元のソース値とターゲット値を推定します。シーンの元の照明に関する情報を含むマップは、ニューラルデータに保存され、従来のCGIシーンデータでラジオシティマップが保存されるのと同様です。

ニューラルレンダリングの反射を解決する

この研究の主な成果は、反射情報を拡散層や他の層から切り離すことです。反射が有効なビュー（ミラーなど）は、ユーザーのアクティブなビューのみで計算され、シーン全体で計算されるのではなく、計算時間を短縮します。

研究者は、この研究が、反射表面をリアルに再現するシーンで、照明の再現と自由なビューのナビゲーションを一つのフレームワークで実現した初めての例であると主張しています。

この機能を実現するために、いくつかの妥協がなされました。研究者は、より複雑なパーヴュー・メッシュを使用する従来の方法が、小さな物体の幾何学の向上を示していることを認めています。アドビのアプローチの将来の方向性には、幾何学の向上のためにパーヴュー・メッシュを使用することが含まれます。