Andersonův úhel

NeRF: Výzva editace obsahu neuronových radiance polí

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyNVIDIA InstantNeRF generuje prozkoumatelné neuronové scény během několika sekund, ale…
Zobrazit více
  • NVIDIA InstantNeRF generuje prozkoumatelné neuronové scény během několika sekund, ale uzamyká geometrii do neupravitelných mračen bodů.
  • NeRF-Editing extrahuje z NeRFu náhradní síť a deformuje ji pomocí techniky As-Rigid-As-Possible.
  • Deformovaná geometrie v NeRF-Editing nedokáže aktualizovat sekundární efekty, jako jsou stíny na upravených objektech.

V tomto roce společnost NVIDIA (NVDA ) významně pokročila ve výzkumu neuronových radiance polí (NeRF) pomocí InstantNeRF, který je schopen generovat prozkoumatelné neuronové scény během několika sekund – z techniky, která, když se objevila v roce 2020, často trvala hodiny nebo dokonce dny na trénink.

NVIDIA's InstantNeRF poskytuje působivé a rychlé výsledky. Zdroj: https://www.youtube.com/watch?v=DJ2hcC1orc4

NVIDIA’s InstantNeRF poskytuje působivé a rychlé výsledky. Zdroj: https://www.youtube.com/watch?v=DJ2hcC1orc4

Přestože tento typ interpolace produkuje statickou scénu, NeRF je také schopen zobrazovat pohyb a základní ‘copy-and-paste’ editaci, kde jednotlivé NeRFy lze buď kombinovat do kompozitních scén nebo vkládat do existujících scén.

Vnořené NeRFy, představené v roce 2021 výzkumu ze Shanghai Tech University a DGene Digital Technology. Zdroj: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Vnořené NeRFy, představené v roce 2021 výzkumu ze Shanghai Tech University a DGene Digital Technology. Zdroj: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Jedná-li se však o zásah do vypočteného NeRF a skutečnou změnu něčeho, co se děje uvnitř něj (stejně jako můžete měnit prvky v tradiční CGI scéně), rychlý tempový zájem se setkal s velmi málo řešeními do dneška, a žádným, který by dokonce začínal odpovídat možnostem CGI workflow.

Přestože je odhad geometrie nezbytný pro vytvoření NeRF scény, konečný výsledek se skládá z poměrně ‘zamčených’ hodnot. Přestože existuje určitý pokrok směrem ke změně texturových hodnot v NeRF, skutečné objekty v NeRF scéně nejsou parametrické sítě, které lze editovat a manipulovat, ale spíše křehká a zmrazená mračna bodů.

V tomto scénáři je vykreslená osoba v NeRF v podstatě sochou (nebo sérií soch, ve video NeRF); stíny, které vrhají na sebe a další objekty, jsou textury, spíše než flexibilní výpočty založené na světelných zdrojích; a editovatelnost NeRF obsahu je omezena na volby provedené fotografem, který pořídí řídké zdrojové fotografie, ze kterých je NeRF generován. Parametry, jako stíny a poloha, zůstávají needitovatelné, ve smyslu jakéhokoli kreativního pojetí.

NeRF-Editace

Nová akademická výzkumná spolupráce mezi Čínou a Spojeným královstvím se zabývá touto výzvou s NeRF-Editací, kde proxy CGI-styl mesh jsou extrahovány z NeRF, deformovány podle libosti uživatele a deformace jsou předány zpět do NeRF neuralních výpočtů;

NeRF loutkařství s NeRF-editací, jak deformace vypočtené z videozáznamu jsou aplikovány na ekvivalentní body uvnitř NeRF reprezentace. Zdroj: http://geometrylearning.com/NeRFEditing/

NeRF loutkařství s NeRF-editací, jak deformace vypočtené z videozáznamu jsou aplikovány na ekvivalentní body uvnitř NeRF reprezentace. Zdroj: http://geometrylearning.com/NeRFEditing/

Metoda přizpůsobuje NeuS z roku 2021 z USA a Číny rekonstrukční techniku, která extrahuje funkci vzdálenosti se znaménkem (SDF, mnohem starší metodu objemové rekonstrukce), která je schopná naučit se geometrii reprezentovanou uvnitř NeRF.

Tento SDF objekt se stává uživatelskou sochařskou základnou, s ohýbáním a tvarováním schopnostmi poskytovanými osvědčenou As-Rigid-As-Possible (ARAP) technikou.

ARAP umožňuje uživatelům deformovat extrahovanou SDF mesh, ačkoli by také mohly fungovat jiné metody, jako jsou přístupy založené na kostře a řídicí kleci (tj. NURBs). Zdroj: https://arxiv.org/pdf/2205.04978.pdf

ARAP umožňuje uživatelům deformovat extrahovanou SDF mesh, ačkoli by také mohly fungovat jiné metody, jako jsou přístupy založené na kostře a řídicí kleci (tj. NURBs). Zdroj: https://arxiv.org/pdf/2205.04978.pdf

S aplikovanými deformacemi je nutné tyto informace přeložit z vektoru na RGB/pixel úroveň, která je doménou NeRF, což je o něco delší cesta.

Trojúhelníkové vrcholy mesh, které uživatel deformoval, jsou nejprve přeloženy do tetrahedrální mesh, která tvoří kůži kolem uživatelské mesh. Prostorový diskretní deformační pole je extrahováno z této dodatečné mesh, a konečně je získán NeRF-přátelský kontinuální deformační pole, které může být předáno zpět do neuronového radiance prostředí, odrážející uživatelské změny a úpravy, a přímo ovlivňující interpretované paprsky v cílovém NeRF.

Objekty deformované a animované novou metodou.

Objekty deformované a animované novou metodou.

Článek uvádí:

‘Po přenosu povrchové deformace na tetrahedrální mesh můžeme získat diskrétní deformační pole “účinného prostoru”. Nyní využíváme těchto diskrétních transformací k ohnutí paprsků. Pro generování obrazu deformovaného pole radiance můžeme vyslat paprsky do prostoru, který obsahuje deformovanou tetrahedrální mesh.’

Článek je nazvaný NeRF-Editace: Geometrická editace neuronových radiance polí a pochází od výzkumníků z tří čínských univerzit a institucí, společně s výzkumníkem ze School of Computer Science & Informatics na Cardiff University a dvěma dalšími výzkumníky z Alibaba Group.

Omezení

Jak je zmíněno dříve, transformovaná geometrie nebude ‘aktualizovat’ žádné související aspekty v NeRF, které nebyly editovány, ani odrážet sekundární důsledky deformovaného prvku, jako jsou stíny. Výzkumníci poskytují příklad, kde podstín na lidské postavě v NeRF zůstává nezměněn, i když by deformace měla ovlivnit osvětlení:

Z článku: vidíme, že horizontální stín na paži postavy zůstává na místě, i když se paže pohybuje nahoru.

Z článku: vidíme, že horizontální stín na paži postavy zůstává na místě, i když se paže pohybuje nahoru.

Experimenty

Autoři pozorují, že v současné době neexistují žádné srovnatelné metody pro přímý zásah do NeRF geometrie. Proto byly experimenty provedené pro výzkum více průzkumné než srovnávací.

Výzkumníci demonstrovali NeRF-Editaci na několika veřejných datech, včetně postav z Mixamo a ikonického Lego buldozéru a židle z originální NeRF implementace. Také experimentovali na skutečné zachycené soše koně z FVS datasetu, jakož i na svých vlastních originálních záběrech.

Koňská hlava nakloněná.

Koňská hlava nakloněná.

Pro budoucí práci autoři mají v úmyslu vyvinout svůj systém v just-in-time (JIT) kompilovaném frameworku strojového učení Jittor.

 

Poprvé publikováno 16. května 2022.

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai