NeRF: Výzva úpravy obsahu polí neurálneho žiarenia

Začiatkom tohto roka NVIDIA pokročilé polia neurónového žiarenia (NeRF) výskum najmä s InstantNeRF, ktorý je zjavne schopný generovať preskúmateľné neurónové scény za pár sekúnd – z techniky, ktorá, keď vynoril v roku 2020 trvalo trénovanie často hodiny alebo dokonca dni.

InstantNeRF od NVIDIA poskytuje pôsobivé a rýchle výsledky. Zdroj: https://www.youtube.com/watch?v=DJ2hcC1orc4

Hoci tento druh interpolácie vytvára statickú scénu, NeRF je tiež schopný zobrazujúci pohyba základných úprav typu „copy-and-paste“, kde jednotlivé NeRF môžu byť usporiadané do kompozitné scény or vložená do existujúcich scén.

Vnorené NeRF, uvedené vo výskume z roku 2021 od Shanghai Tech University a DGene Digital Technology. Zdroj: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Ak však chcete zasiahnuť do vypočítaného NeRF a skutočne zmeniť niečo, čo sa v ňom deje (rovnakým spôsobom, ako môžete zmeniť prvky v tradičnej scéne CGI), rýchle tempo záujmu o sektor prišiel s veľmi málo riešenie k dnešnému dňu a žiadny, ktorý by sa dokonca začal zhodovať s možnosťami pracovných postupov CGI.

Aj keď je odhad geometrie nevyhnutný na vytvorenie scény NeRF, konečný výsledok sa skladá z pomerne „zamknutých“ hodnôt. Kým existuje nejaký pokrok Vzhľadom na zmenu hodnôt textúr v NeRF, skutočné objekty v NeRF scéne nie sú parametrické siete, ktoré možno upravovať a hrať sa s nimi, ale skôr ako krehké a zamrznuté mračná bodov.

V tomto scenári je vykreslená osoba v NeRF v podstate socha (alebo séria sôch vo video NeRF); tiene, ktoré vrhajú na seba a iné objekty, sú skôr textúry než flexibilné výpočty založené na svetelných zdrojoch; a upraviteľnosť obsahu NeRF je obmedzená na výber fotografa, ktorý zhotovuje riedke zdrojové fotografie, z ktorých je generovaný NeRF. Parametre, ako sú tiene a póza, zostávajú v akomkoľvek kreatívnom zmysle neupraviteľné.

NeRF-Editing

Nová akademická výskumná spolupráca medzi Čínou a Spojeným kráľovstvom rieši túto výzvu NeRF-Editing, kde sú siete v štýle proxy CGI extrahované z NeRF, deformované podľa vôle používateľa a deformácie prenesené späť do nervových výpočtov NeRF:

Bábkové divadlo NeRF s úpravou NeRF, pretože deformácie vypočítané zo záznamu sa aplikujú na ekvivalentné body v reprezentácii NeRF. Zdroj: http://geometrylearning.com/NeRFEditing/

Metóda sa prispôsobuje NeuS 2021 USA/Čína rekonštrukčná technika, ktorá extrahuje a Funkcia podpísanej vzdialenosti (SDF, oveľa staršia metóda objemovej rekonštrukcie), ktorá je schopná naučiť sa geometriu reprezentovanú vo vnútri NeRF.

Tento objekt SDF sa stáva užívateľskou sochárskou základňou s možnosťami deformovania a tvarovania, ktoré poskytuje úctyhodný As-Rigid-As-Possible (ARABSKÝ) technika.

ARAP umožňuje používateľom deformovať extrahovanú sieť SDF, hoci iné metódy, ako napríklad prístupy založené na kostre a klietkach (tj NURB), by tiež fungovali dobre. Zdroj: https://arxiv.org/pdf/2205.04978.pdf

S aplikovanými deformáciami je potrebné previesť tieto informácie z vektora na úroveň RGB/pixelov natívnu pre NeRF, čo je o niečo dlhšia cesta.

Trojuholníkové vrcholy sieťoviny, ktoré používateľ zdeformoval, sa najskôr prevedú do štvorstennej sieťky, ktorá vytvorí obal okolo sieťky používateľa. Z tejto dodatočnej siete sa extrahuje priestorové diskrétne deformačné pole a nakoniec sa získa kontinuálne deformačné pole priateľské k NeRF, ktoré možno preniesť späť do prostredia neurálneho žiarenia, odrážajúc zmeny a úpravy používateľa a priamo ovplyvňujúce interpretované lúče v cieli. NeRF.

Objekty deformované a animované novou metódou.

Príspevok uvádza:

„Po prenesení povrchovej deformácie na štvorstennú sieť môžeme získať diskrétne deformačné pole „efektívneho priestoru“. Teraz používame tieto diskrétne transformácie na ohýbanie odlievacích lúčov. Aby sme vytvorili obraz deformovaného žiarivého poľa, vrháme lúče do priestoru obsahujúceho deformovanú štvorstennú sieť.“

papier je s názvom NeRF-Editing: Geometry Editing of Neural Radiance Fieldsa pochádza od výskumníkov z troch čínskych univerzít a inštitúcií, spolu s výskumníkom zo Školy počítačovej vedy a informatiky na Cardiffskej univerzite a ďalšími dvoma výskumníkmi zo skupiny Alibaba Group.

Obmedzenia

Ako už bolo spomenuté, transformovaná geometria nebude „aktualizovať“ žiadne súvisiace aspekty v NeRF, ktoré neboli upravené, ani nebude odrážať sekundárne dôsledky deformovaného prvku, ako sú tiene. Výskumníci poskytujú príklad, kde spodné tiene na ľudskej postave v NeRF zostávajú nezmenené, aj keď deformácia by mala zmeniť osvetlenie:

Z papiera: vidíme, že vodorovný tieň na ramene postavy zostáva na mieste, aj keď sa rameno pohybuje nahor.

pokusy

Autori pozorujú, že v súčasnosti neexistujú žiadne porovnateľné metódy priameho zásahu do geometrie NeRF. Experimenty uskutočnené na účely výskumu boli preto skôr prieskumné ako porovnávacie.

Výskumníci demonštrovali NeRF-Editing na množstve verejných dátových súborov, vrátane postáv z Mixama a teraz ikonického Lego buldozéra a stoličky z pôvodného NeRF. uskutočnenie. Experimentovali aj na skutočnej zachytenej soche koňa z r Súbor údajov FVS, ako aj ich vlastné originálne zábery.

Hlava koňa sa naklonila.

Pre budúcu prácu majú autori v úmysle vyvinúť svoj systém v just-in-time (JIT) kompilovanom rámci strojového učenia Jittor.

Prvýkrát uverejnené 16. mája 2022.