Renderizarea Neuronală: NeRF Iese la Plimbare în Aerul Proaspăt

O colaborare între Google Research și Harvard University a dezvoltat o nouă metodă pentru a crea videouri neurale 360 de grade ale unor scene complete, utilizând Câmpuri de Radiance Neuronale (NeRF). Abordarea inovatoare aduce NeRF mai aproape de utilizarea abstractă casuală în orice mediu, fără a fi limitat la modele de masă sau scenarii interioare închise.

Vedeți sfârșitul articolului pentru videoul complet. Sursă: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 poate gestiona fundaluri extinse și obiecte “infinite” precum cerul, deoarece, spre deosebire de majoritatea iterațiilor anterioare, stabilește limite pentru modul în care sunt interpretate razele de lumină și creează limite de atenție care raționalizează timpii de antrenare prelungiți. Vedeți noul videoclip însoțitor încorporat la sfârșitul acestui articol pentru mai multe exemple și o perspectivă extinsă asupra procesului.

Noul articol se intitulează Mip-NeRF 360: Câmpuri de Radiance Neuronale Anti-Aliate Nelimitate și este condus de Senior Staff Research Scientist la Google Research Jon Barron.

Pentru a înțelege progresul, este necesar să aveți o înțelegere de bază a modului în care funcționează sinteza de imagini bazată pe câmpuri de radiance neuronale.

Ce este NeRF?

Este problematic să descrieți o rețea NeRF în termeni de “videoclip”, deoarece este mai aproape de un mediu virtual complet 3D-realizat, dar bazat pe IA, unde multiple puncte de vedere din fotografii unice (inclusiv cadre de videoclip) sunt utilizate pentru a coase o scenă care, din punct de vedere tehnic, există doar în spațiul latent al unui algoritm de învățare automată – dar din care pot fi extrase o cantitate extraordinară de puncte de vedere și videoclipuri la dorință.

O reprezentare a punctelor multiple de captură a camerei care oferă datele pe care NeRF le asamblează într-o scenă neuronală (ilustrată în partea dreaptă).

Informațiile derivate din fotografiile contributive sunt antrenate într-o matrice care este similară cu o grilă de voxel din fluxurile de lucru CGI, în sensul că fiecare punct din spațiul 3D ajunge să aibă o valoare, făcând scena navigabilă.

O matrice de voxel tradițională plasează informații de pixel (care, de obicei, există într-un context 2D, cum ar fi grila de pixel a unui fișier JPEG) într-un spațiu tridimensional. Sursă: ResearchGate

După calcularea spațiului interstițial dintre fotografii (dacă este necesar), traseul fiecărui pixel posibil din fiecare fotografie contributivă este, în esență, “urmărit” și i se atribuie o valoare de culoare, inclusiv o valoare de transparență (fără de care matricea neuronală ar fi complet opacă sau complet goală).

La fel ca și grilele de voxel, și în contrast cu spațiul de coordonate 3D bazat pe CGI, “interiorul” unui obiect “închis” nu are existență într-o matrice NeRF. Puteți deschide un kit de tobe CGI și puteți privi în interior, dacă doriți; dar din punctul de vedere al NeRF, existența kitului de tobe se termină atunci când valoarea de opacitate a suprafeței sale este egală cu “1”.

O Perspectivă Mai Largă a Unui Pixel

Mip-NeRF 360 este o extensie a cercetării din martie 2021, care a introdus, în esență, anti-aliasing eficient pentru NeRF fără eșantionare exhaustivă.

NeRF calculează, de obicei, doar un singur traseu de pixel, care este înclinat să producă tipul de ‘jaggies’ care caracterizează formatele de imagine de internet timpuriu, precum și sistemele de jocuri mai vechi. Aceste muchii zimțate au fost rezolvate prin diverse metode, de obicei prin eșantionarea pixelilor adiacenți și găsirea unei reprezentări medii.

Deoarece NeRF tradițională eșantionează doar un singur traseu de pixel, Mip-NeRF a introdus o “zonă de captură conică”, similară cu un fascicul larg de lumină, care oferă suficiente informații despre pixelii adiacenți pentru a produce anti-aliasing economic cu detalii îmbunătățite.

Zona de captură conică pe care Mip-NeRF o utilizează este tăiată în conuri trunchiate (imaginea de mai jos), care este ulterior ‘estompată’ pentru a crea spații gaussiene vagi care pot fi utilizate pentru a calcula acuratețea și aliasingul unui pixel. Sursă: https://www.youtube.com/watch?v=EpH175PY1A0

Îmbunătățirea față de o implementare standard NeRF a fost notabilă:

Mip-NeRF (dreapta), lansat în martie 2021, oferă detalii îmbunătățite prin intermediul unui canal de aliasing mai cuprinzător, dar economic, și nu doar ‘estomparea’ pixelilor pentru a evita muchiile zimțate. Sursă: https://jonbarron.info/mipnerf/

NeRF Nelimitat

Articolul din martie a lăsat trei probleme nerezolvate cu privire la utilizarea Mip-NeRF în medii nelimitate care ar putea include obiecte foarte îndepărtate, inclusiv cerul. Noul articol rezolvă această problemă prin aplicarea unei deformări Kalman asupra gaussianelor Mip-NeRF.

În al doilea rând, scenele mai mari necesită o putere de procesare mai mare și timpi de antrenare prelungiți, ceea ce Mip-NeRF 360 rezolvă prin “distilarea” geometriei scenei cu un mic perceptron multi-strat (MLP), care pre-încadrează geometria prezisă de un NeRF MLP standard. Acest lucru accelerează antrenamentul cu un factor de trei.

În cele din urmă, scenele mai mari tind să facă discretizarea geometriei interpretate ambiguă, ceea ce duce la tipul de artefacte cu care jucătorii ar putea fi familiarizați atunci când ieșirile jocului “se rupe”. Noul articol abordează acest lucru prin crearea unui nou regulator pentru intervalele de raze Mip-NeRF.

În partea dreaptă, vedem artefacte nedorite în Mip-NeRF din cauza dificultății de a încadra o scenă atât de mare. În partea stângă, vedem că noul regulator a optimizat scena suficient de bine pentru a înlătura aceste tulburări.

Pentru a afla mai multe despre noul articol, consultați videoclipul de mai jos și, de asemenea, prezentarea din martie 2021 introductivă pentru Mip-NeRF. Puteți, de asemenea, să aflați mai multe despre cercetarea NeRF prin consultarea acoperirii noastre până în prezent.

Publicat inițial pe 25 noiembrie 2021
21 decembrie 2021, 12:25 – Înlocuit videoclipul mort. – MA