NeRF: Provocarea editării conținutului câmpurilor de radiație neuronale

La începutul acestui an, NVIDIA a avansat Neural Radiance Fields (NeRF) cercetare în special cu InstantNeRF, aparent capabil să genereze scene neuronale explorabile în doar câteva secunde – dintr-o tehnică care, atunci când aceasta a apărut în 2020, a fost adesea nevoie de ore sau chiar zile pentru a se antrena.

InstantNeRF de la NVIDIA oferă rezultate impresionante și rapide. Sursa: https://www.youtube.com/watch?v=DJ2hcC1orc4

Deși acest tip de interpolare produce o scenă statică, NeRF este, de asemenea, capabil înfățișând mișcarea, și de editare de bază „copiere și lipire”, în care NeRF-urile individuale pot fi fie adunate în scene compozite or inserat în scenele existente.

NeRF-uri imbricate, prezentate în cercetările din 2021 de la Shanghai Tech University și DGene Digital Technology. Sursa: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Cu toate acestea, dacă doriți să interveniți într-un NeRF calculat și să schimbați de fapt ceva ce se întâmplă în interiorul acestuia (în același mod în care puteți schimba elemente într-o scenă CGI tradițională), ritmul rapid al interesului sectorial a venit cu foarte puțini Soluţii până în prezent și niciunul care nici măcar nu începe să se potrivească cu capacitățile fluxurilor de lucru CGI.

Deși estimarea geometriei este esențială pentru crearea unei scene NeRF, rezultatul final este compus din valori destul de „blocate”. În timp ce există unele progrese fiind făcute spre schimbarea valorilor texturii în NeRF, obiectele reale dintr-o scenă NeRF nu sunt ochiuri parametrice care pot fi editate și jucate, ci mai asemănătoare cu nori de puncte fragili și înghețați.

În acest scenariu, o persoană redată într-un NeRF este în esență o statuie (sau o serie de statui, în NeRF-uri video); umbrele pe care le aruncă asupra lor și asupra altor obiecte sunt texturi, mai degrabă decât calcule flexibile bazate pe surse de lumină; iar editabilitatea conținutului NeRF este limitată la alegerile făcute de fotograful care realizează fotografiile surse rare din care este generat NeRF. Parametri precum umbrele și poziția rămân needitabili, în orice sens creativ.

NeRF-Editarea

O nouă colaborare de cercetare academică între China și Marea Britanie abordează această provocare cu NeRF-Editarea, unde rețelele proxy în stil CGI sunt extrase dintr-un NeRF, deformate după bunul plac de către utilizator, iar deformațiile trecute înapoi la calculele neuronale ale NeRF:

Păpuși NeRF cu editare NeRF, deoarece deformațiile calculate din filmare sunt aplicate punctelor echivalente în interiorul unei reprezentări NeRF. Sursa: http://geometrylearning.com/NeRFEditing/

Metoda adaptează NeuS 2021 Tehnica reconstructivă SUA/China, care extrage a Funcția de distanță semnată (SDF, o metodă mult mai veche de reconstrucție volumetrică) care este capabilă să învețe geometria reprezentată în interiorul NeRF.

Acest obiect SDF devine baza de sculptură a utilizatorului, cu capabilități de deformare și turnare oferite de venerabilul As-Rigid-As-Possible (ARABIC) tehnica.

ARAP permite utilizatorilor să deformeze rețeaua SDF extrasă, deși alte metode, cum ar fi abordările bazate pe schelet și cuști (adică NURBs), ar funcționa bine. Sursă: https://arxiv.org/pdf/2205.04978.pdf

Cu deformațiile aplicate, este necesar să transpuneți aceste informații de la vector la nivelul RGB/pixel nativ la NeRF, ceea ce este o călătorie puțin mai lungă.

Vârfurile triunghiulare ale rețelei pe care utilizatorul le-a deformat sunt mai întâi traduse într-o plasă tetraedrică, care formează o piele în jurul rețelei utilizatorului. Din această rețea suplimentară este extras un câmp de deformare discretă și, în cele din urmă, se obține un câmp de deformare continuă prietenos cu NeRF, care poate fi transmis înapoi în mediul de radiație neuronală, reflectând modificările și editările utilizatorului și afectând direct razele interpretate în țintă. NeRF.

Obiecte deformate și animate prin noua metodă.

Lucrarea afirmă:

„După transferul deformației suprafeței pe ochiurile tetraedrice, putem obține câmpul de deformare discret al „spațiului efectiv”. Acum folosim aceste transformări discrete pentru a îndoi razele de turnare. Pentru a genera o imagine a câmpului radiant deformat, aruncăm raze în spațiul care conține ochiurile tetraedrice deformate.

hârtie se intitulează NeRF-Editing: Editarea geometriei câmpurilor de radiație neuronală, și provine de la cercetători din trei universități și instituții chineze, împreună cu un cercetător de la Școala de Informatică și Informatică de la Universitatea Cardiff și alți doi cercetători de la Alibaba Group.

Limitări

După cum sa menționat mai devreme, geometria transformată nu va „actualiza” niciun aspect înrudit din NeRF care nu a fost editat și nici nu reflectă consecințele secundare ale elementului deformat, cum ar fi umbrele. Cercetătorii oferă un exemplu în care umbrele de pe o figură umană într-un NeRF rămân nealterate, chiar dacă deformarea ar trebui să modifice iluminarea:

Din hârtie: vedem că umbra orizontală de pe brațul figurii rămâne pe loc chiar și atunci când brațul este mișcat în sus.

Experimente

Autorii observă că în prezent nu există metode comparabile de intervenție directă în geometria NeRF. Prin urmare, experimentele efectuate pentru cercetare au fost mai mult exploratorii decât comparative.

Cercetătorii au demonstrat editarea NeRF pe o serie de seturi de date publice, inclusiv personaje din Mixamo și acum iconicul buldozer și scaun Lego din NeRF original. implementarea. De asemenea, au experimentat pe o statuie de cal real capturată din Setul de date FVS, precum și propriile capturi originale.

Capul unui cal înclinat.

Pentru lucrările viitoare, autorii intenționează să-și dezvolte sistemul în cadrul Jittor de învățare automată compilat just-in-time (JIT).

Publicat prima dată pe 16 mai 2022.