Artificial Intelligence

ニューラルレンダリング: NeRF が新鮮な空気の中を散歩する

更新中 on 2022 年 12 月 9 日

Google Research とハーバード大学の共同研究により、完全なシーンの 360 度ニューラルビデオを作成する新しい方法が開発されました。ニューラルラディアンスフィールド (NeRF)。新しいアプローチにより、NeRF は環境に制限されることなく、あらゆる環境でのカジュアルな抽象使用に一歩近づきます。卓上モデル or 閉じられた内部シナリオ.

フルビデオについては記事の最後をご覧ください。 出典: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 は、拡張された背景や空などの「無限の」オブジェクトを処理できます。これは、これまでのほとんどの反復とは異なり、光線の解釈方法に制限を設定し、長時間のトレーニング時間を合理化する注意の境界を作成するためです。より多くの例とプロセスの詳細な洞察については、この記事の最後に埋め込まれた新しい付属ビデオを参照してください。

　新しい紙というタイトルです Mip-NeRF 360: 無制限のアンチエイリアス処理されたニューラル放射フィールドであり、Google Research のシニアスタッフ研究科学者である Jon Barron が率いています。

この画期的な進歩を理解するには、神経放射場ベースの画像合成がどのように機能するかについて基本的な理解を得る必要があります。

NeRFとは何ですか?

NeRF ネットワークを「ビデオ」という観点から説明するのは問題があり、完全な 3D 実現に近いものですが、 AIベース 仮想環境では、1 枚の写真 (ビデオフレームを含む) からの複数の視点を使用して、技術的には機械学習アルゴリズムの潜在空間にのみ存在するシーンをつなぎ合わせますが、そこから膨大な数の視点とビデオを自由に抽出できます。。

NeRF がニューラルシーンに組み立てるデータを提供する複数のカメラキャプチャポイントの図 (右の図)。

投稿された写真から得られた情報は、従来のアルゴリズムと同様のマトリックスにトレーニングされます。ボクセルグリッド CGI ワークフローでは、3D 空間内のすべてのポイントが最終的に値を持ち、シーンがナビゲート可能になります。

従来のボクセルマトリックスは、ピクセル情報 (通常、JPEG ファイルのピクセルグリッドなどの 2D コンテキストに存在します) を 344488704 次元空間に配置します。出典: https://www.researchgate.net/publication/XNUMX_Processing_and_analysis_of_airborne_full-waveform_laser_scanning_data_for_the_characterization_of_forest_structur_and_fuel_properties

従来のボクセルマトリックスは、ピクセル情報 (通常、JPEG ファイルのピクセルグリッドなどの 2D コンテキストに存在します) を XNUMX 次元空間に配置します。出典：ResearchGate

(必要に応じて) 写真間の隙間スペースを計算した後、寄与する各写真の考えられる各ピクセルのパスが効果的に「レイトレーシング」され、透明度値を含むカラー値が割り当てられます (透明度値がなければ、ニューラルマトリックスは完全に不透明になります)。または完全に空です）。

ボクセルグリッドのように、 異なり、 CGI ベースの 3D 座標空間、「閉じた」オブジェクトの「内部」は、NeRF マトリックスには存在しません。必要に応じて、CGI ドラムキットを分割して内部を確認することができます。ただし、NeRF に関する限り、ドラムキットの表面の不透明度の値が「1」になると、ドラムキットの存在は終了します。

ピクセルのより広い視野

Mip-NeRF 360 は、 2021年XNUMX月調査これにより、徹底的なスーパーサンプリングを行わずに効率的なアンチエイリアシングが NeRF に効果的に導入されました。

NeRF は伝統的に XNUMX つのピクセルパスのみを計算します。「ギザギザ」初期のインターネット画像形式を特徴づけたものと同様に、以前のゲームシステム。これらのギザギザのエッジはさまざまな方法で解決され、通常は隣接するピクセルをサンプリングして平均表現を見つけることが含まれます。

従来の NeRF はその XNUMX つのピクセルパスのみをサンプリングするため、Mip-NeRF では、ワイドビームトーチのような「円錐形」集水域を導入し、以下の十分な情報を提供します。隣接ピクセルを使用して、ディテールが改善された経済的なアンチエイリアスを生成します。

Mip-NeRF が使用する円錐形の集水域は、円錐台にスライスされ (下図)、これをさらに「ぼかして」、ピクセルの精度とエイリアシングを計算するために使用できる、より曖昧なガウス空間を表します。出典: https://www.youtube.com/watch?v=EpH175PY1A0

Mip-NeRF が使用する円錐形の集水域は円錐台 (下の画像) にスライスされ、これをさらに「ぼかして」、ピクセルの精度とエイリアシングの計算に使用できるあいまいなガウス空間を作成します。出典: https://www.youtube.com/watch?v=EpH175PY1A0

標準の NeRF 実装と比較した改善は顕著でした。

2021 年 XNUMX 月にリリースされた Mip-NeRF (右) は、ギザギザのエッジを避けるために単にピクセルを「ぼかす」のではなく、より包括的かつ経済的なエイリアシングパイプラインを通じて改善されたディテールを提供します。出典: https://jonbarron.info/mipnerf/

NeRF 無制限

XNUMX 月の論文では、空を含む非常に遠くにある物体が含まれる可能性がある境界のない環境で Mip-NeRF を使用することに関して、未解決の XNUMX つの問題が残されました。新しい論文では、次の方法を適用することでこれを解決しています。カルマンスタイル Mip-NeRF ガウスにワープします。

第 360 に、シーンが大きくなると、より大きな処理能力とトレーニング時間の延長が必要になります。Mip-NeRF XNUMX は、シーンのジオメトリを小さな「提案」で「蒸留」することで解決します。多層パーセプトロン (MLP)、大規模な標準 NeRF MLP によって予測されるジオメトリを事前に制限します。これにより、トレーニングが XNUMX 倍高速化されます。

最後に、シーンが大きくなると、解釈されたジオメトリの離散化が曖昧になる傾向があり、その結果、ゲーム出力が「裂ける」ときにゲーマーがよく知っているようなアーティファクトが生じます。新しい論文では、Mip-NeRF 光線間隔の新しい正則化子を作成することでこの問題に対処しています。