人工知能

NeRF: ニューラル・ラディエンス・フィールドのコンテンツ編集の課題

Published May 16, 2022

Updated April 28, 2026

Martin Anderson

今年の初めに、NVIDIAはNeural Radiance Fields（NeRF）の研究をInstantNeRFで著しく進歩させました。これは、数秒で探索可能なニューラル・シーンを生成することができ、2020年に登場した当初は数時間または数日かかることが多かった技術です。

NVIDIAのInstantNeRFは印象的な結果を素早く提供します。 ソース: https://www.youtube.com/watch?v=DJ2hcC1orc4

この種の補間は静的なシーンを生成しますが、NeRFはまた、動きを表現することができ、基本的な「コピー・アンド・ペースト」編集も可能です。ここで、個々のNeRFは合成シーンにまとめられるか、または既存のシーンに挿入することができます。

2021年の上海科技大学とDGene Digital Technologyの研究で紹介されたネストされたNeRF。 ソース: https://www.youtube.com/watch?v=Wp4HfOwFGP4

しかし、計算されたNeRFに介入し、内部で何が起こっているかを実際に変更したい場合は（伝統的なCGIシーンで要素を変更するのと同じように）、セクターの関心の急速なペースにより、現在までに非常に少数のソリューションが見つかっているのですが、CGIワークフローの機能に匹敵するものはまだありません。

NeRFシーンの作成には、幾何学的推定が不可欠ですが、最終結果はかなり「ロックされた」値で構成されています。NeRFのテクスチャ値を変更するという点ではある程度の進歩が見られますが、NeRFシーン内の実際のオブジェクトは、編集や操作が可能なパラメトリック・メッシュではなく、より脆い凍結された点群に似ています。

このシナリオでは、NeRF内のレンダリングされた人物は本質的に像（またはビデオNeRFの場合は一連の像）であり、自分自身や他のオブジェクトに投げる影は、光源に基づく柔軟な計算ではなく、テクスチャです。NeRFコンテンツの編集性は、NeRFを生成するための希薄なソース写真を撮影する写真家が行った選択に限定されます。影やポーズなどのパラメータは、創造的な意味では編集できません。

NeRF編集

中国とイギリスの新しい学術研究コラボレーションは、この課題に対処するためにNeRF-Editingを提案しています。ここで、NeRFからプロキシCGIスタイルのメッシュが抽出され、ユーザーが自由に変形し、変形がNeRFのニューラル計算に戻されます。

NeRF-EditingによるNeRFの操り人形。変形はNeRF表現内の対応する点に適用されます。 ソース: http://geometrylearning.com/NeRFEditing/

この方法は、2021年の米国/中国の再構築技術NeuSを適応させ、NeRF内に表現された幾何学を学習できるSigned Distance Function（SDF、ボリューメトリック再構築の古い方法）を抽出します。

このSDFオブジェクトは、ユーザーの彫刻ベースとなり、古いAs-Rigid-As-Possible（ARAP）テクニックによって変形や成形能力が提供されます。

ARAPにより、抽出されたSDFメッシュを変形できます。ただし、他の方法、たとえばスケルトンに基づくアプローチやケージに基づくアプローチ（NURBsなど）も同様に機能します。ソース: https://arxiv.org/pdf/2205.04978.pdf

変形が適用された後、ベクトルからNeRFにネイティブなRGB/ピクセルレベルへの情報を翻訳する必要がありますが、これは少し長い旅です。

ユーザーが変形したメッシュの三角形頂点は、まず四面体メッシュに翻訳され、ユーザーメッシュを囲む皮膚を形成します。この追加メッシュから空間離散変形フィールドが抽出され、最終的にNeRFにフレンドリーな連続変形フィールドが得られ、これをNeRFのニューラル環境に戻すことができます。ここで、ユーザーの変更と編集が反映され、ターゲットNeRF内の解釈されたレイに直接影響します。

新しい方法で変形およびアニメーション化されたオブジェクト。

論文には以下のように記載されています：

‘「有効な空間」の表面変形を四面体メッシュに転送した後、離散変形フィールドを取得できます。ここで、これらの離散変換を使用して、投射レイを曲げます。変形された放射フィールドの画像を生成するには、変形された四面体メッシュを含む空間へのレイを投射します。’

論文は、NeRF-Editing: Geometry Editing of Neural Radiance Fieldsというタイトルで、中国の3つの大学と機関の研究者、カーディフ大学のSchool of Computer Science & Informaticsの研究者、そしてAlibaba Groupの2人の研究者によって執筆されています。