ニューラルレンダリング: NeRFが新鮮な空気の中を歩く

Google Research と Harvard University の共同研究により、Neural Radiance Fields（NeRF）を使用して完全なシーンの 360 度ニューラルビデオを作成する新しい手法が開発されました。この新しいアプローチにより、NeRF はテーブルトップモデルや閉じた室内シナリオに限定されることなく、あらゆる環境でカジュアルに抽象的に利用できるよう一歩近づきました。

記事の最後に完全版ビデオがあります。 Source: https://www.youtube.com/watch?v=zBSH-k9GbV4

Mip-NeRF 360 は、空のような拡張された背景や「無限」のオブジェクトを扱うことができます。これは、従来の多くのバージョンとは異なり、光線の解釈方法に制限を設け、注意の境界を作り出すことで、長時間のトレーニングを合理化します。この記事の最後に埋め込まれた新しい動画で、さらなる例やプロセスに関する詳細な洞察をご覧ください。

新しい論文のタイトルは Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields で、Google Research のシニアスタッフリサーチサイエンティスト Jon Barron が主導しています。

NeRFとは何か？

NeRF ネットワークを「ビデオ」という観点で説明するのは難しいです。実際には、完全に 3D で実現された AI ベースの仮想環境に近く、単一の写真（ビデオフレームを含む）から得られる複数の視点を組み合わせて、機械学習アルゴリズムの潜在空間にのみ存在するシーンを構築しますが、そこから任意の数の視点やビデオを自由に抽出できます。

NeRF がニューラルシーンに組み立てるデータを提供する複数のカメラ撮影ポイントの図（右図）。

寄与する写真から得られた情報は、従来の CGI ワークフローで使用される ボクセルグリッド に似たマトリックスに学習され、3D 空間のすべての点に値が割り当てられ、シーンをナビゲート可能にします。

従来のボクセルマトリックスは、ピクセル情報（通常は JPEG ファイルのピクセルグリッドのような 2D コンテキストに存在）を三次元空間に配置します。 Source: ResearchGate

写真間の隙間空間を計算した後（必要に応じて）、各寄与写真の可能なすべてのピクセルの経路は実質的にレイ・トレースされ、色の値と透明度の値が割り当てられます。透明度がなければ、ニューラルマトリックスは完全に不透明または完全に空になるでしょう。

ボクセルグリッドと同様に、しかし CGI ベースの 3D 座標空間とは異なり、’閉じた’ オブジェクトの ‘内部’ は NeRF マトリックス内に存在しません。好きなら CGI のドラムキットを分解して内部を見ることはできますが、NeRF にとっては、表面の不透明度が ‘1’ になる時点でドラムキットの存在は終了します。

ピクセルのより広い視野

Mip-NeRF 360 は 2021 年 3 月の研究 の拡張版で、徹底的なスーパーサンプリングを行わずに NeRF に効率的なアンチエイリアシングを導入しました。

従来の NeRF は 1 つのピクセル経路だけを計算するため、初期のインターネット画像フォーマットや過去のゲームシステムで見られたような「ジャギー」が生じやすくなります。これらのギザギザは、隣接ピクセルをサンプリングして平均的な表現を求めるなど、さまざまな手法で解決されてきました。

従来の NeRF が 1 つのピクセル経路だけをサンプリングするのに対し、Mip-NeRF は広角ビームのトーチのような「円錐形」キャッチメント領域を導入し、隣接ピクセルに関する十分な情報を提供して、詳細を向上させつつ経済的なアンチエイリアシングを実現します。

Mip-NeRF が使用する円錐形のキャッチメントは円錐台（下図）に分割され、さらに「ぼかし」処理されて、ピクセルの精度とエイリアシングを計算できる曖昧なガウス空間を表現します。 Source: https://www.youtube.com/watch?v=EpH175PY1A0

標準的な NeRF 実装に対する改善は顕著でした：

Mip-NeRF（右）は 2021 年 3 月にリリースされ、ピクセルを単に「ぼかす」だけでなく、より包括的で経済的なエイリアシングパイプラインを通じて詳細を向上させます。 Source: https://jonbarron.info/mipnerf/

NeRFの無限領域

3 月の論文では、遠方のオブジェクトや空を含む無限環境で Mip-NeRF を使用する際の 3 つの課題が未解決のままでした。新しい論文では、これらを解決するために カルマン方式 のワープを Mip-NeRF のガウス分布に適用しています。

次に、より大規模なシーンはより多くの処理能力と長時間のトレーニングを必要としますが、Mip-NeRF 360 は小さな「提案」マルチレイヤーパセプトロン（MLP）でシーンジオメトリを「蒸留」し、大規模な標準 NeRF MLP が予測するジオメトリを事前に境界付けすることで、トレーニング速度を 3 倍に向上させます。

最後に、より大規模なシーンは解釈されたジオメトリの離散化を曖昧にしがちで、ゲームの出力が「裂ける」ようなアーティファクトが発生します。新しい論文では、Mip-NeRF のレイ間隔用に新しい正則化項を作成することでこの問題に対処しています。

右側では、非常に大きなシーンを境界付けすることの難しさから Mip-NeRF に不要なアーティファクトが見られます。左側では、新しい正則化項がシーンを十分に最適化し、これらの乱れを除去したことがわかります。

新しい論文の詳細を知りたい方は、以下のビデオをご覧ください。また、2021 年 3 月のビデオ紹介もあります。さらに、これまでの取材記事をご覧いただくことで、より多くの情報を得られます。

最初の公開日 2021年11月25日
2021年12月21日 12:25pm – 失われた動画を置き換えました。 – MA