Andersonの視点
NeRF: ニューラル・ラディエンス・フィールドのコンテンツ編集の課題
Unite.AI を Google の優先ソースに追加
今年の初めに、NVIDIAはNeural Radiance Fields（NeRF）の研究を大幅に進歩させました。特に、NeRFの研究では、InstantNeRFが登場し、わずか数秒で探索可能なニューラル・シーンを生成できるようになりました。この技術は、2020年に登場したときには、訓練に数時間または数日かかることが多かったです。
NVIDIAのInstantNeRFは印象的な結果をもたらします。 ソース：https://www.youtube.com/watch?v=DJ2hcC1orc4
この種の補間は静的なシーンを生成しますが、NeRFは運動を表現したり、基本的な「コピー・アンド・ペースト」編集を行ったりもできます。個々のNeRFは、複合シーンにまとめられたり、既存のシーンに挿入されたりすることができます。
上海科技大学とDGene Digital Technologyの2021年の研究に登場したネストされたNeRF。 ソース：https://www.youtube.com/watch?v=Wp4HfOwFGP4
しかし、計算されたNeRFの中で実際に何かを変更したい場合は、現在のところ、非常に 少ない 解決策があります。また、CGIワークフローの機能に匹敵する解決策は存在しません。
NeRFシーンの生成には、幾何学的推定が不可欠ですが、最終的な結果は比較的「固定された」値で構成されます。NeRFのテクスチャ値を変更するための一部の進展があるものの、NeRFシーン内の実際のオブジェクトは、編集や操作が可能なパラメトリック・メッシュではなく、より脆い凍結された点群に近いものです。
このシナリオでは、NeRF内の描かれた人物は基本的に像（または、ビデオNeRFの場合は像のシリーズ）であり、像が他のオブジェクトに投げる影は、光源に基づく柔軟な計算ではなく、テクスチャです。NeRFコンテンツの編集性は、NeRFを生成するためのスパースなソース写真を撮影する写真家が行った選択に限定されます。影や姿勢などのパラメータは、創造的な意味では編集不可能です。
NeRF編集
中国とイギリスの学術研究協力により、NeRF編集という新しい手法が提案されました。この手法では、NeRFからプロキシCGIスタイルのメッシュを抽出し、ユーザーが任意に変形させ、変形をNeRFのニューラル計算に戻します。
NeRF編集によるNeRF人形劇。変形はNeRF表現内の対応する点に適用されます。 ソース：http://geometrylearning.com/NeRFEditing/
この手法は、2021年の米中の再構築手法NeuSを採用しています。この手法では、NeRF内の幾何学的構造を表現する符号距離関数(SDF)を抽出します。
このSDFオブジェクトは、ユーザーの塑形ベースとなり、As-Rigid-As-Possible(ARAP)手法によって変形や成形が可能になります。
ARAPにより、抽出されたSDFメッシュの変形が可能になります。 ソース：https://arxiv.org/pdf/2205.04978.pdf
変形を適用した後、ベクトルからNeRFのネイティブなRGB/ピクセルレベルへの変換が必要になります。
ユーザーが変形したメッシュの三角形頂点は、テトラヘドラルメッシュに変換され、ユーザーメッシュを囲む「皮」が形成されます。この追加メッシュから、空間離散変形フィールドが抽出され、最終的にNeRFに適した連続変形フィールドが得られ、ユーザーの変更や編集がNeRFのニューラル環境に反映され、解釈されたレイに直接影響を与えます。
新しい手法によって変形・アニメーションされたオブジェクト。
論文では次のように述べられています：
‘「有効空間」の表面変形をテトラヘドラルメッシュに転送した後、離散変形フィールドを取得できます。ここで、これらの離散変換を使用して、投影レイを曲げます。変形された放射場の画像を生成するために、変形されたテトラヘドラルメッシュを含む空間へのレイを投影します。’
論文のタイトルは、NeRF編集：ニューラル・ラディエンス・フィールドの幾何学的編集です。中国の3つの大学・機関と、カーディフ大学のSchool of Computer Science & Informatics、Alibaba Groupの2人の研究者による共同研究です。
限界
先ほど述べたように、変形された幾何学的構造は、編集されていないNeRFの他の側面を「更新」しません。例えば、人間の像の下の影は、像の変形によって変化しません。
論文より：像の腕を上向きに動かしても、水平方向の影は変化しません。
実験
現在、NeRFの幾何学的構造への直接介入に相当する手法は存在しません。したがって、研究者は比較よりも探索に重点を置いた実験を行いました。
研究者は、Mixamoのキャラクターや、NeRFのオリジナル実装で使用されたレゴのブルドーザーと椅子などの公開データセットでNeRF編集を実証しました。また、FVSデータセットの実際の馬の像や、自身のオリジナルキャプチャでも実験を行いました。
馬の頭を傾けた様子。
今後の研究では、JittorというJust-In-Timeコンパイルされた機械学習フレームワークでシステムを開発することを計画しています。
2022年5月16日に初めて公開されました。
