Andersonの視点
ニューラルレンダリング：NeRFが新しい空気を吸う
Unite.AI を Google の優先ソースに追加
Google Researchとハーバード大学の共同研究により、Neural Radiance Fields（NeRF）を使用して360度のニューラルビデオを生成する新しい方法が開発されました。この新しいアプローチにより、NeRFはテーブルモデルのような制限された環境ではなく、より自由な抽象的な使用が可能になりました。
記事の最後にフルビデオをご覧ください。 ソース：https://www.youtube.com/watch?v=YStDS2-Ln1s
Mip-NeRF 360は、拡張バックグラウンドや「無限」のオブジェクト（例：空）を扱うことができます。これは、従来のNeRFとは異なり、光線の解釈方法に制限を設け、トレーニング時間を短縮する境界を作成するためです。この記事の最後に埋め込まれた新しいビデオをご覧ください。
新しい論文は、Mip-NeRF 360：Unbounded Anti-Aliased Neural Radiance Fieldsと題され、Google Researchのシニアスタッフ研究科学者Jon Barronによって率いられています。
NeRFベースの画像合成の基本的な理解が必要です。
NeRFとは何か
NeRFネットワークを「ビデオ」として説明するのは難しいです。NeRFは、完全に3Dで実現されたAIベースの仮想環境に近いもので、複数の視点から単一の写真（またはビデオフレーム）を使用してシーンを組み立てます。このシーンは、機械学習アルゴリズムの潜在的な空間でしか存在しませんが、多数の視点やビデオを自由に抽出することができます。
NeRFが組み立てるニューラルシーン（右）を提供する複数のカメラキャプチャポイントの図。
写真から得られた情報は、伝統的なボクセルグリッドに似た行列にトレーニングされ、シーンをナビゲート可能にします。
伝統的なボクセルマトリックスは、2Dのコンテキスト（例：JPEGファイルのピクセルグリッド）で存在するピクセル情報を3Dの空間に配置します。 ソース：ResearchGate
写真間の空間（必要に応じて）を計算した後、各写真のピクセルのパスは効果的に「レイトレース」され、色値（透明度値を含む）が割り当てられます。
ボクセルグリッドや、CGIベースの3D座標空間とは異なり、NeRFマトリックスには「閉じた」オブジェクトの「内部」は存在しません。CGIのドラムキットを切り開いて内部を見てみることができますが、NeRFではドラムキットの存在は表面の不透明度が「1」になる時に終了します。
ピクセルの広い視野
Mip-NeRF 360は、2021年3月の研究の拡張で、NeRFに効率的なアンチエイリアシングを導入しました。
NeRFは伝統的に1つのピクセルパスのみを計算し、早期のインターネット画像形式や初期のゲームシステムで見られた「ジャギー」と呼ばれる現象を引き起こします。これらのジャギーは、隣接するピクセルをサンプリングして平均表現を求める方法で解決されました。
Mip-NeRFは、隣接するピクセルについて十分な情報を提供する「コニカル」キャッチメントエリアを導入しました。これにより、経済的なアンチエイリアシングが可能になり、詳細が向上しました。
Mip-NeRFが使用するコニカルコーンキャッチメントエリア（下）をスライスして、ピクセルの精度とエイリアシングを計算するために使用される不確かなガウシアン空間を生成します。 ソース：https://www.youtube.com/watch?v=EpH175PY1A0
従来のNeRF実装との比較では、改善は著しくありました。
Mip-NeRF（右）は、2021年3月にリリースされ、ピクセルの「ぼかし」ではなく、より包括的なアンチエイリアシングパイプラインを介して詳細を向上させました。 ソース：https://jonbarron.info/mipnerf/
NeRFの無限の可能性
2021年3月の論文は、Mip-NeRFを無限の環境（遠いオブジェクトや空を含む）で使用する際の3つの問題を解決しませんでした。新しい論文は、これらの問題をMip-NeRFのガウシアンにカーマンスタイルの変換を適用することで解決しました。
大きなシーンでは、より多くの処理能力とトレーニング時間が必要になりますが、Mip-NeRF 360は、シーンの幾何学を小さな「提案」マルチレイヤーパーセプトロン（MLP）で「蒸留」することでこれを解決します。これにより、トレーニング時間が3倍速くなります。
大きなシーンでは、解釈される幾何学の離散化が曖昧になり、ゲームで見られる「ティアリング」のようなアーティファクトが発生します。新しい論文は、Mip-NeRFのレイ間隔に新しい正則化項を導入することでこれを解決します。
右側では、シーンの大きさによりMip-NeRFにアーティファクトが発生しています。左側では、新しい正則化項がシーンを最適化し、アーティファクトを除去しています。
新しい論文についてさらに詳しく知りたい場合は、以下のビデオをご覧ください。また、2021年3月のMip-NeRF紹介ビデオもご覧ください。NeRFの研究についてさらに詳しく知りたい場合は、こちらをご覧ください。
元の公開日：2021年11月25日
2021年12月21日 12:25 – 死亡したビデオを置き換えました。 – MA
