NeRF: Provocarea editării conținutului câmpurilor de radianță neurale

La începutul acestui an, NVIDIA a făcut progrese semnificative în cercetarea câmpurilor de radianță neurale (NeRF) cu InstantNeRF, aparent capabil să genereze scene neurale explorabile în doar câteva secunde – de la o tehnică care, când a apărut în 2020, a necesitat adesea ore sau chiar zile pentru a fi antrenată.

NVIDIA’s InstantNeRF oferă rezultate impresionante și rapide. Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

Deși acest tip de interpolare produce o scenă statică, NeRF este, de asemenea, capabil să descrie mișcarea și să efectueze editarea de bază “copiază și lipește”, unde NeRF-uri individuale pot fi combinate în scene compozite sau inserate în scene existente.

NeRF-uri încorporate, prezentate în cercetarea din 2021 de la Shanghai Tech University și DGene Digital Technology. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Cu toate acestea, dacă doriți să interveniți într-un NeRF calculat și să schimbați ceva din ceea ce se întâmplă în interiorul său (în același mod în care puteți schimba elemente într-o scenă CGI tradițională), ritmul rapid al interesului din sector a venit cu foarte puține soluții până în prezent, și niciuna care să se apropie de capacitățile fluxurilor de lucru CGI.

Deși estimarea geometrică este esențială pentru crearea unei scene NeRF, rezultatul final este compus din valori “încuiate” destul de ferm. Deși există o anumită progres în schimbarea valorilor texturii în NeRF, obiectele reale dintr-o scenă NeRF nu sunt rețele parametrice care pot fi editate și manipulate, ci mai degrabă asemănătoare cu nori de puncte rigide și “înghețate”.

În acest scenariu, o persoană redată într-un NeRF este esențialmente o statuie (sau o serie de statui, în NeRF-uri video); umbrele pe care le aruncă asupra sa și asupra altor obiecte sunt texturi, mai degrabă decât calcule flexibile bazate pe surse de lumină; și editabilitatea conținutului NeRF este limitată la alegerile făcute de fotograful care face pozele sursă rare de la care se generează NeRF-ul. Parametri precum umbrele și poza rămân needitabili, în orice sens creativ.

NeRF-Editing

O nouă colaborare de cercetare academică între China și Regatul Unit abordează această provocare cu NeRF-Editing, unde se extrag rețele proxy de tip CGI dintr-un NeRF, care pot fi deformate la discreția utilizatorului, iar deformările sunt transmise înapoi prin calculele neurale ale NeRF-ului:

Păpușerie NeRF cu NeRF-editing, pe măsură ce deformările calculate din filmări sunt aplicate punctelor echivalente dintr-o reprezentare NeRF. Source: http://geometrylearning.com/NeRFEditing/

Metoda adaptează tehnica reconstructivă NeuS din 2021, care extrage o funcție de distanță semnată (SDF, o metodă mai veche de reconstrucție volumetrică) care poate învăța geometria reprezentată în interiorul NeRF-ului.

Acest obiect SDF devine baza de sculptură a utilizatorului, cu posibilități de răsucire și modelare oferite de tehnica venerabilă As-Rigid-As-Possible (ARAP).

ARAP permite utilizatorilor să deformeze rețeaua SDF extrasă, deși și alte metode, cum ar fi abordările bazate pe schelet și pe colivie (de exemplu, NURBs), ar funcționa bine. Source: https://arxiv.org/pdf/2205.04978.pdf

Cu deformările aplicate, este necesar să se traducă aceste informații de la vector la nivelul de pixel RGB nativ pentru NeRF, ceea ce este o călătorie puțin mai lungă.

Vârfurile triunghiulare ale rețelei pe care utilizatorul a deformate-o sunt traduse mai întâi într-o rețea tetraedrică, care formează o “piele” în jurul rețelei utilizatorului. Un câmp de deformare discret spațial este extras din această rețea suplimentară, și, în final, se obține un câmp de deformare continuu prietenos cu NeRF, care poate fi transmis înapoi în mediu neural de radianță, reflectând schimbările și editările utilizatorului, și afectând direct razele interpretate în NeRF-ul țintă.

Obiecte deformate și animate de noua metodă.

Articolul afirmă:

‘După transferul deformării suprafeței la rețeaua tetraedrică, putem obține câmpul de deformare discret al “spațiului eficient”. Acum, utilizăm aceste transformări discrete pentru a îndoi razele de proiectare. Pentru a genera o imagine a câmpului de radianță deformat, aruncăm raze în spațiul care conține rețeaua tetraedrică deformată.’

Articolul se numește NeRF-Editing: Editarea geometrică a câmpurilor de radianță neurale și provine de la cercetători de la trei universități chineze și instituții, împreună cu un cercetător de la Școala de Informatică și Științe Computaționale de la Universitatea Cardiff, și alți doi cercetători de la Alibaba Group.

Limitări

Așa cum s-a menționat mai devreme, geometria transformată nu va “actualiza” niciun aspect legat de NeRF care nu a fost editat, nici nu va reflecta consecințele secundare ale elementului deformat, cum ar fi umbrele. Cercetătorii oferă un exemplu, în care umbrele de sub o figură umană dintr-un NeRF rămân neschimbate, chiar dacă deformarea ar trebui să schimbe iluminarea:

Din articol: vedem că umbra orizontală de pe brațul figurii rămâne pe loc, chiar și atunci când brațul este ridicat în sus.

Experimente

Autorii observă că, în prezent, nu există metode comparabile pentru intervenția directă în geometria NeRF. Prin urmare, experimentele efectuate pentru cercetare au fost mai mult exploratorii decât comparative.

Cercetătorii au demonstrat NeRF-Editing pe o serie de seturi de date publice, inclusiv personaje de la Mixamo, și celebrul buldozer și scaun Lego din implementarea originală NeRF. Ei au experimentat, de asemenea, pe o statuie de cal capturată din setul de date FVS, precum și pe propriile capturi originale.

Capul unui cal înclinat.

Pentru lucrări viitoare, autorii intenționează să dezvolte sistemul în cadrul framework-ului de învățare automată compilat just-in-time Jittor.

Publicat pentru prima dată pe 16 mai 2022.