NeRF: Výzva editace obsahu neuronových radiance polí

V tomto roce společnost NVIDIA významně pokročila ve výzkumu neuronových radiance polí (NeRF) pomocí InstantNeRF, který je schopen generovat prozkoumatelné neuronové scény během několika sekund – z techniky, která, když se objevila v roce 2020, často trvala hodiny nebo dokonce dny na trénink.

NVIDIA’s InstantNeRF poskytuje působivé a rychlé výsledky. Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

Přestože tento typ interpolace produkuje statickou scénu, NeRF je také schopen zobrazovat pohyb a základní ‘copy-and-paste’ editaci, kde jednotlivé NeRFy lze buď kombinovat do kompozitních scén nebo vkládat do existujících scén.

Vnořené NeRFy, představené v roce 2021 výzkumu ze Shanghai Tech University a DGene Digital Technology. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Jedná-li se však o zásah do vypočteného NeRF a skutečnou změnu něčeho, co se děje uvnitř něj (stejně jako můžete měnit prvky v tradiční CGI scéně), rychlý tempový zájem se setkal s velmi málo řešeními do dneška, a žádným, který by dokonce začínal odpovídat možnostem CGI workflow.

Přestože je odhad geometrie nezbytný pro vytvoření NeRF scény, konečný výsledek se skládá z poměrně ‘zamčených’ hodnot. Přestože je some pokrok směrem ke změně texturových hodnot v NeRF, skutečné objekty v NeRF scéně nejsou parametrické sítě, které lze editovat a manipulovat, ale spíše křehké a zmrazené body.

V tomto scénáři je vykreslená osoba v NeRF基本ně sochou (nebo sérií soch, ve video NeRF); stíny, které vrhají na sebe a další objekty, jsou textury, spíše než flexibilní výpočty založené na světelných zdrojích; a editovatelnost NeRF obsahu je omezena na volby provedené fotografem, který pořídí řídké zdrojové fotografie, ze kterých je NeRF generován. Parametry, jako stíny a poloha, zůstávají needitovatelné, ve smyslu jakéhokoli kreativního pojetí.

NeRF-Editace

Nová akademická výzkumná spolupráce mezi Čínou a Spojeným královstvím se zabývá touto výzvou s NeRF-Editací, kde proxy CGI-styl mesh jsou extrahovány z NeRF, deformovány podle libosti uživatele a deformace jsou předány zpět do NeRF neuralních výpočtů;

NeRF loutkařství s NeRF-editací, jak deformace vypočtené z footage jsou aplikovány na ekvivalentní body uvnitř NeRF reprezentace. Source: http://geometrylearning.com/NeRFEditing/

Metoda přizpůsobuje NeuS 2021 US/Čína rekonstrukční techniku, která extrahuje Signed Distance Function (SDF, mnohem starší metodu objemové rekonstrukce), která je schopná naučit se geometrii reprezentovanou uvnitř NeRF.

Tato SDF objekt se stává uživatelskou sochařskou základnou, s ohýbáním a tvarováním schopnostmi poskytovanými osvědčenou As-Rigid-As-Possible (ARAP) technikou.

ARAP umožňuje uživatelům deformovat extrahovanou SDF mesh, ačkoli by také mohly fungovat jiné metody, jako jsou skeleton-based a cage-based přístupy (tj. NURBs). Source: https://arxiv.org/pdf/2205.04978.pdf

S aplikovanými deformacemi je nutné tyto informace přeložit z vektoru na RGB/pixel úroveň, která je doménou NeRF, což je slightly delší cesta.

Trojúhelníkové vrcholy mesh, které uživatel deformed, jsou nejprve přeloženy do tetrahedrální mesh, která tvoří kůži kolem uživatelské mesh. Prostorový diskretní deformační pole je extrahováno z této dodatečné mesh, a konečně je získán NeRF-přátelský kontinuální deformační pole, které může být předáno zpět do neuronového radiance prostředí, odrážející uživatelské změny a úpravy, a přímo ovlivňující interpretované paprsky v cílovém NeRF.

Objekty deformované a animované novou metodou.

Článek uvádí:

‘Po přenosu povrchové deformace na tetrahedrální mesh můžeme získat diskrétní deformační pole “účinného prostoru”. Nyní využíváme těchto diskrétních transformací k ohnutí paprsků. Pro generování obrazu deformed radiance pole můžeme vyslat paprsky do prostoru, který obsahuje deformovanou tetrahedrální mesh.’

Článek je nazvaný NeRF-Editace: Geometrická editace neuronových radiance polí a pochází od výzkumníků z tří čínských univerzit a institucí, společně s výzkumníkem ze School of Computer Science & Informatics na Cardiff University a dvěma dalšími výzkumníky z Alibaba Group.

Omezení

Jak je zmíněno dříve, transformovaná geometrie nebude ‘aktualizovat’ žádné související aspekty v NeRF, které nebyly editovány, ani odrážet sekundární důsledky deformovaného prvku, jako jsou stíny. Výzkumníci poskytují příklad, kde podstín na lidské postavě v NeRF zůstává nezměněn, i když by deformace měla ovlivnit osvětlení:

Z článku: vidíme, že horizontální stín na paži postavy zůstává na místě, i když se paže pohybuje nahoru.

Experimenty

Autoři pozorují, že v současné době neexistují žádné srovnatelné metody pro přímý zásah do NeRF geometrie. Proto byly experimenty provedené pro výzkum více průzkumné než srovnávací.

Výzkumníci demonstrovali NeRF-Editaci na několika veřejných datech, včetně postav z Mixamo a ikonického Lego buldozéru a židle z originální NeRF implementace. Také experimentovali na skutečném zachyceném koněm soše z FVS datasetu, jakož i na svých vlastních originálních záběrech.

Koňská hlava nakloněná.

Pro budoucí práci autoři mají v úmyslu vyvinout svůj systém v just-in-time (JIT) sestaveném strojovém učení frameworku Jittor.

Poprvé publikováno 16. května 2022.