NeRF：Facebook共同研究開発の静的／動的ビデオ合成

バージニア工科大学と州立大学、Facebookの共同研究により、NeRFビデオ合成における大きな課題の一つが解決された。Neural Radiance Fields（NeRF）出力で静的イメージと動的ビデオを自由に混合することが可能になった。

このシステムは、動的ビデオ要素と静的環境を備えたナビゲーション可能なシーンを生成できる。各要素はロケーションで録音されるが、仮想環境の制御可能な要素に分離される。

さらに、このシステムは単一の視点から動作し、スタジオ環境に拘束されるマルチカメラアレイが不要である。

この論文は、Dynamic View Synthesis from Dynamic Monocular Videoと題され、モノキュラーNeRFワークフローを開発した最初の論文ではないが、同一の入力から時間変化モデルと時間静止モデルを同時にトレーニングし、モーションビデオを「事前マップ」されたNeRFロケーション内に存在させるフレームワークを生成した最初の論文である。

Beyond D-NeRF

研究者は、Dynamic NeRF（D-NeRF）の多様性を、単一の視点のみで再現する必要があった。マルチカメラアレイを使用するD-NeRFとは異なり、シーンフローを予測し、時空一貫性のある歪んだ放射場を開発するために、2D光学フロー分析を使用して、3D点を参照フレームで取得する必要があった。

計算された3D点は、仮想カメラに戻され、計算された光学フローと推定光学フローを一致させる「シーンフロー」を確立するために使用される。

トレーニング時、動的要素と静的要素は、完全なモデルとして、別々のアクセス可能な要素として調和される。

深度順序損失の計算を含め、D-NeRFのシーンフロー予測の厳格な正則化を適用することで、モーションブルーの問題が大幅に軽減される。

この研究は、NeRF計算の正則化に多くの貢献を提供し、単一の視点からの出力の探索の多様性と容易性を大幅に改善するが、動的NeRF要素と静的NeRF要素の新しい分離と再統合も注目に値する。

NeRF – 静的またはビデオ？

最近、16台のカメラでキャプチャされた動的NeRFシーンの要素を分離できる新しいNeRF研究について紹介した。

ST-NeRF（上）では、キャプチャされたシーンの個別の要素を再配置し、サイズを変更し、再生速度を変更し、停止したり逆再生したりすることができる。また、16台のカメラでキャプチャされた180度のアークの任意の部分を「スクロール」することもできる。

しかし、ST-NeRFの論文の著者は、システムでは常に時間が何らかの方向に進行しており、ビデオではなく「静的にマップ」されたNeRF環境に効果を適用し、ライトを変更することは難しいと結論付けた。

高編集可能な静的NeRF環境

静的Neural Radiance Fieldシーンは、動的ビデオセグメントから分離され、さまざまな方法で処理および拡張できる。NeRV（Neural Reflectance and Visibility Fields for Relighting and View Synthesis）では、NeRF環境またはオブジェクトの照明とテクスチャを変更するための初期のステップが提供される。

NeRVを使用したNeRFオブジェクトの照明 ソース：https://www.youtube.com/watch?v=4XyDdvhhjVo

NeRVを使用した再テクスチャリング、写実的なスペキュラ効果を含む 画像の基礎となる配列は静的であるため、この方法でNeRFの要素を処理および拡張することが、ビデオフレームの範囲にわたる効果を包含するよりも容易であり、初期の前処理と最終的なトレーニングをより軽量化し、容易にする。