NeRF: Výzva úpravy obsahu polí neurálního záření

Začátkem tohoto roku NVIDIA pokročilá pole Neural Radiance Fields (NeRF) výzkum zejména s InstantNeRF, který je zjevně schopný generovat prozkoumatelné nervové scény během pouhých sekund – z techniky, která, když vynořil v roce 2020 často trval trénink hodiny nebo dokonce dny.

NVIDIA InstantNeRF poskytuje působivé a rychlé výsledky. Zdroj: https://www.youtube.com/watch?v=DJ2hcC1orc4

Ačkoli tento druh interpolace vytváří statickou scénu, NeRF je také schopen zobrazující pohyb, a základní úpravy „copy-and-paste“, kde lze jednotlivé NeRF buď skládat do kompozitní scény or vložena do stávajících scén.

Vnořené NeRF, uvedené ve výzkumu z roku 2021 od Shanghai Tech University a DGene Digital Technology. Zdroj: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Pokud však chcete zasáhnout do vypočítaného NeRF a skutečně změnit něco, co se v něm děje (stejným způsobem můžete změnit prvky v tradiční scéně CGI), rychlé tempo zájmu o sektor přišel s velmi málo řešení k dnešnímu dni a žádný, který by dokonce začal odpovídat schopnostem pracovních postupů CGI.

Ačkoli je pro vytvoření scény NeRF nezbytný odhad geometrie, konečný výsledek se skládá z poměrně „zamčených“ hodnot. Zatímco tam je nějaký pokrok Vzhledem ke změně hodnot textur v NeRF nejsou skutečné objekty ve scéně NeRF parametrické sítě, které lze upravovat a hrát si s nimi, ale spíše se podobají křehkým a zmrzlým mračnům bodů.

V tomto scénáři je vykreslená osoba v NeRF v podstatě socha (nebo série soch ve video NeRF); stíny, které vrhají na sebe a jiné objekty, jsou spíše textury než flexibilní výpočty založené na světelných zdrojích; a upravitelnost obsahu NeRF je omezena na volby provedené fotografem, který pořizuje řídké zdrojové fotografie, ze kterých je NeRF generován. Parametry, jako jsou stíny a pozice, zůstávají v jakémkoli kreativním smyslu neupravitelné.

NeRF-Editace

Nová akademická výzkumná spolupráce mezi Čínou a Spojeným královstvím řeší tuto výzvu NeRF-Editace, kde jsou sítě ve stylu proxy CGI extrahovány z NeRF, deformovány podle přání uživatele a deformace předány zpět do neuronových výpočtů NeRF:

Loutkové divadlo NeRF s úpravou NeRF, protože deformace vypočítané ze záběrů jsou aplikovány na ekvivalentní body uvnitř reprezentace NeRF. Zdroj: http://geometrylearning.com/NeRFEditing/

Metoda se přizpůsobuje NeuS 2021 USA/Čína rekonstrukční technika, která extrahuje a Funkce Signed Distance (SDF, mnohem starší metoda objemové rekonstrukce), která je schopna se naučit geometrii reprezentovanou uvnitř NeRF.

Tento objekt SDF se stává uživatelskou sochařskou základnou s možností deformace a tvarování, které poskytuje úctyhodný As-Rigid-As-Possible (ARABŠTINA) technika.

ARAP umožňuje uživatelům deformovat extrahovanou síť SDF, ačkoli jiné metody, jako jsou přístupy založené na kostře a kleci (tj. NURB), by také fungovaly dobře. Zdroj: https://arxiv.org/pdf/2205.04978.pdf

S aplikovanými deformacemi je nutné převést tyto informace z vektoru na úroveň RGB/pixel nativní pro NeRF, což je o něco delší cesta.

Trojúhelníkové vrcholy sítě, které uživatel zdeformoval, jsou nejprve převedeny do čtyřstěnné sítě, která tvoří kůži kolem uživatelské sítě. Z této dodatečné sítě je extrahováno prostorové diskrétní deformační pole a nakonec je získáno kontinuální deformační pole přátelské k NeRF, které lze přenést zpět do prostředí nervové záře, odrážející změny a úpravy uživatele a přímo ovlivňující interpretované paprsky v cíli. NeRF.

Objekty deformované a animované novou metodou.

Článek uvádí:

„Po přenesení povrchové deformace na čtyřstěnnou síť můžeme získat diskrétní deformační pole „efektivního prostoru“. Nyní používáme tyto diskrétní transformace k ohýbání vrhacích paprsků. Abychom vytvořili obraz deformovaného zářivého pole, vrháme paprsky do prostoru obsahujícího deformovanou čtyřstěnnou síť.“

Projekt papír je s názvem NeRF-Editing: Geometrické úpravy polí neuronového záření, a pochází od výzkumných pracovníků ze tří čínských univerzit a institucí, spolu s výzkumníkem ze School of Computer Science & Information na Cardiff University a dalšími dvěma výzkumníky ze skupiny Alibaba Group.

Omezení

Jak již bylo zmíněno dříve, transformovaná geometrie „neaktualizuje“ žádné související aspekty v NeRF, které nebyly upraveny, ani neodráží sekundární důsledky deformovaného prvku, jako jsou stíny. Výzkumníci poskytují příklad, kdy spodní stíny na lidské postavě v NeRF zůstávají nezměněny, i když by deformace měla změnit osvětlení:

Z papíru: vidíme, že vodorovný stín na paži postavy zůstává na svém místě, i když se paže pohybuje nahoru.

Experimenty

Autoři pozorují, že v současné době neexistují žádné srovnatelné metody pro přímý zásah do geometrie NeRF. Experimenty prováděné za účelem výzkumu byly proto spíše průzkumné než srovnávací.

Výzkumníci demonstrovali NeRF-Editing na řadě veřejných datových sad, včetně postav z Mixama a nyní ikonického buldozeru Lego a židle z původního NeRF. uskutečnění. Experimentovali také na skutečné zachycené soše koně z r FVS datový soubor, stejně jako jejich vlastní originální záběry.

Hlava koně se naklonila.

Pro budoucí práci mají autoři v úmyslu vyvinout svůj systém v just-in-time (JIT) kompilovaném rámci strojového učení Jittor.

Poprvé publikováno 16. května 2022.