NeRF: Provocarea editării conținutului câmpurilor de radianță neurale

La începutul acestui an, NVIDIA a făcut progrese semnificative în cercetarea câmpurilor de radianță neurale (NeRF) cu InstantNeRF, care pare capabil să genereze scene neurale explorabile în doar câteva secunde – de la o tehnică care, atunci când a apărut în 2020, a necesitat adesea ore sau chiar zile pentru a fi antrenată.

NVIDIA’s InstantNeRF oferă rezultate impresionante și rapide. Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

Deși acest tip de interpolare produce o scenă statică, NeRF este capabil și să reprezinte mișcarea, precum și editarea de bază “copie și lipire”, unde NeRF-uri individuale pot fi combinate în scene compozite sau inserate în scene existente.

NeRF-uri încorporate, prezentate în cercetarea din 2021 de la Universitatea Tehnică Shanghai și DGene Digital Technology. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Cu toate acestea, dacă doriți să interveniți într-un NeRF calculat și să schimbați ceva din interiorul său (în același mod în care puteți schimba elemente într-o scenă CGI tradițională), ritmul rapid al interesului din sector a condus la foarte puține soluții până în prezent, și niciuna care să se apropie de capacitățile fluxurilor de lucru CGI.

Deși estimarea geometrică este esențială pentru crearea unei scene NeRF, rezultatul final este compus din valori destul de “încuiate”. Deși există oarecare progres în schimbarea valorilor texturii în NeRF, obiectele reale dintr-o scenă NeRF nu sunt rețele parametrice care pot fi editate și manipulate, ci mai degrabă asemănătoare cu nori de puncte fragile și înghețate.

În acest scenariu, o persoană reprezentată în NeRF este esențialmente o statuie (sau o serie de statui, în NeRF-uri video); umbrele pe care le aruncă asupra lor înșiși și asupra altor obiecte sunt texturi, și nu calcule flexibile bazate pe surse de lumină; iar editabilitatea conținutului NeRF este limitată la alegerile făcute de fotograful care face pozele sursă rare de la care se generează NeRF-ul. Parametri precum umbrele și poza rămân needitabili, în orice sens creativ.

NeRF-Editing

O nouă colaborare de cercetare academică între China și Regatul Unit abordează această provocare cu NeRF-Editing, unde se extrag rețele proxy de tip CGI dintr-un NeRF, se deformează la dorința utilizatorului și se transferă deformările înapoi în calculele neurale ale NeRF-ului;

Păpușărie NeRF cu NeRF-editing, pe măsură ce deformările calculate din filmări sunt aplicate punctelor corespunzătoare dintr-o reprezentare NeRF. Source: http://geometrylearning.com/NeRFEditing/

Metoda adaptează tehnica reconstructivă NeuS din 2021, care extrage o funcție de distanță semnată (SDF, o metodă mai veche de reconstrucție volumetrică) care poate învăța geometria reprezentată în interiorul NeRF-ului.

Acest obiect SDF devine baza de sculptură a utilizatorului, cu capacități de răsucire și modelare oferite de tehnica As-Rigid-As-Possible (ARAP) venerabilă.

ARAP permite utilizatorilor să deformeze rețeaua SDF extrasă, deși și alte metode, cum ar fi abordările bazate pe schelet și pe cușcă (de exemplu, NURBs), ar funcționa bine. Source: https://arxiv.org/pdf/2205.04978.pdf

Cu deformările aplicate, este necesar să se traducă această informație de la nivelul vector la nivelul RGB/pixel nativ pentru NeRF, ceea ce este o călătorie puțin mai lungă.

Vârfurile triunghiulare ale rețelei pe care utilizatorul a deformat-o se traduc mai întâi într-o rețea tetraedrală, care formează o “piele” în jurul rețelei utilizatorului. Un câmp de deformare discret spațial se extrage din această rețea suplimentară, și în final se obține un câmp de deformare continuu compatibil cu NeRF, care poate fi transferat înapoi în mediu neural de radianță, reflectând modificările și editările utilizatorului, și afectând direct razele interpretate în NeRF-țintă.

Obiecte deformate și animate de noua metodă.

Articolul afirmă:

‘După transferul deformării suprafeței la rețeaua tetraedrală, putem obține câmpul de deformare discret al “spațiului eficient”. Acum utilizăm aceste transformări discrete pentru a îndoi razele de proiecție. Pentru a genera o imagine a câmpului de radianță deformat, proiectăm raze în spațiul care conține rețeaua tetraedrală deformată.’

Articolul, intitulat NeRF-Editing: Editare geometrică a câmpurilor de radianță neurale, provine de la cercetători de la trei universități chineze și instituții, împreună cu un cercetător de la Școala de Informatică și Științe a Calculatoarelor de la Universitatea Cardiff, și alți doi cercetători de la Alibaba Group.

Limitări

Așa cum s-a menționat anterior, geometria transformată nu va “actualiza” niciun aspect legat de NeRF care nu a fost editat, nici nu va reflecta consecințele secundare ale elementului deformat, cum ar fi umbrele. Cercetătorii oferă un exemplu, în care umbrele sub un personaj uman dintr-un NeRF rămân neschimbate, chiar dacă deformarea ar trebui să schimbe iluminarea:

Din articol: vedem că umbra orizontală de pe brațul personajului rămâne pe loc, chiar și atunci când brațul este mutat în sus.

Experimente

Autorii observă că, în prezent, nu există metode comparabile pentru intervenția directă în geometria NeRF. Prin urmare, experimentele efectuate pentru cercetare au fost mai exploratorii decât comparative.

Cercetătorii au demonstrat NeRF-Editing pe o serie de seturi de date publice, incluzând personaje de la Mixamo, și celebrul buldozer și scaun Lego din implementarea originală NeRF. Ei au experimentat și pe o statuie de cal capturată din datasetul FVS, precum și pe capturile lor originale.

Capul unui cal înclinat.

Pentru munca viitoare, autorii intenționează să dezvolte sistemul lor în cadrul framework-ului de învățare automată compilat just-in-time (JIT) Jittor.

Publicat pentru prima dată pe 16 mai 2022.