Artificial Intelligence

NeRF: ニューラルラディアンスフィールドのコンテンツ編集の課題

更新中 on 2022 年 12 月 9 日

今年初め、NVIDIA は Neural Radiance Fields を先進的に開発しました (ナーフ）特に次のような研究を行っていますインスタントNeRF、どうやら探索可能なニューラルシーンをわずか数秒で生成できるようです。登場 2020 年には、トレーニングに数時間、場合によっては数日かかることもよくありました。

NVIDIA の InstantNeRF は、印象的かつ迅速な結果を提供します。 出典: https://www.youtube.com/watch?v=DJ2hcC1orc4

この種の補間では静的なシーンが生成されますが、NeRF は次のこともできます。動きを描く、および基本的な「コピーアンドペースト」編集で、個々の NeRF を照合して合成シーン or 挿入された既存のシーンに。

ネストされた NeRF。上海理工大学と DGene Digital Technology の 2021 年の研究で取り上げられました。 出典: https://www.youtube.com/watch?v=Wp4HfOwFGP4

ただし、計算された NeRF に介入して、その内部で起こっていることを実際に変更したい場合 (従来の CGI シーンの要素を変更できるのと同じ方法で)、セクターの関心の急速なペースにより、非常に少数のソリューション現在までのところ、CGI ワークフローの機能に匹敵するものはありません。

ジオメトリ推定は NeRF シーンの作成に不可欠ですが、最終結果はかなり「ロックされた」値で構成されます。あるうちにいくつかの進歩 NeRF でテクスチャ値を変更することを目的として作成されているため、NeRF シーン内の実際のオブジェクトは編集して遊べるパラメトリックメッシュではなく、脆くて凍結した点群に似ています。

このシナリオでは、NeRF でレンダリングされた人物は本質的に彫像 (ビデオ NeRF では一連の彫像) です。自分自身や他のオブジェクトに投影される影は、光源に基づいた柔軟な計算ではなく、テクスチャです。また、NeRF コンテンツの編集可能性は、NeRF が生成されるまばらなソース写真を撮影する写真家によって行われる選択に限定されます。影やポーズなどのパラメータは、クリエイティブな意味においては編集不可のままです。

NeRF編集

中国と英国の新たな学術研究協力は、この課題に対処するものである。 NeRF編集ここで、プロキシ CGI スタイルのメッシュが NeRF から抽出され、ユーザーが自由に変形し、その変形が NeRF のニューラル計算に戻されます。

NeRF 編集による NeRF 人形劇。フッテージから計算された変形が NeRF 表現内の同等のポイントに適用されます。 出典: http://geometrylearning.com/NeRFEditing/

このメソッドは、ノイス 2021年の米中再構築手法、符号付き距離関数 (SDF、かなり古いボリューム再構築手法) これにより、NeRF 内で表現されたジオメトリを学習できます。

この SDF オブジェクトは、由緒ある As-Rigid-As-Possible (アラップ）テクニック。

ARAP を使用すると、抽出された SDF メッシュを変形できますが、スケルトンベースやケージベースのアプローチ (つまり、NURB) などの他の方法も適切に機能します。出典：https://arxiv.org/pdf/2205.04978.pdf

変形を適用した後、この情報をベクトルから NeRF ネイティブの RGB/ピクセルレベルに変換する必要がありますが、これには少し時間がかかります。

ユーザーが変形したメッシュの三角形の頂点は、まず四面体メッシュに変換され、ユーザーメッシュの周囲にスキンが形成されます。この追加メッシュから空間的離散変形フィールドが抽出され、最終的に NeRF に適した連続変形フィールドが取得されます。これはニューラルラディアンス環境に戻すことができ、ユーザーの変更と編集を反映し、ターゲット内の解釈された光線に直接影響を与えることができます。 NeRF。