Renderizare Neuronală: NeRF Iese la Plimbare în Aerul Proaspăt

O colaborare între Google Research și Universitatea Harvard a dezvoltat o nouă metodă pentru a crea videouri neurale 360 de grade ale unor scene complete, utilizând Câmpuri de Radiativitate Neuronală (NeRF). Abordarea inovatoare aduce NeRF mai aproape de utilizarea abstractă casual în orice mediu, fără a fi limitat la modele de masă sau scenarii interioare închise.

Vedeți sfârșitul articolului pentru videoul complet. Sursă: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 poate gestiona fundaluri extinse și obiecte “infinite” cum ar fi cerul, deoarece, în contrast cu majoritatea iterațiilor anterioare, stabilește limite pentru modul în care sunt interpretate razele de lumină și creează limite de atenție care raționalizează timpii de antrenare lungi. Vedeți noul videoclip însoțitor încorporat la sfârșitul acestui articol pentru mai multe exemple și o perspectivă extinsă asupra procesului.

Articolul nou se intitulează Mip-NeRF 360: Câmpuri de Radiativitate Neuronală Anti-Aliate Nelimitate și este condus de Senior Staff Research Scientist la Google Research Jon Barron.

Pentru a înțelege progresul, este necesar să aveți o înțelegere de bază a modului în care funcționează sinteza de imagini bazată pe câmpuri de radiativitate neuronală.

Ce este NeRF?

Este problematic să descrieți o rețea NeRF în termeni de “videoclip”, deoarece este mai aproape de un mediu virtual complet 3D-realizat, dar bazat pe IA, în care multiple puncte de vedere din fotografii simple (inclusiv cadre de videoclip) sunt utilizate pentru a coase o scenă care, din punct de vedere tehnic, există doar în spațiul latent al unui algoritm de învățare automată – dar din care pot fi extrase o cantitate extraordinară de puncte de vedere și videoclipuri la dorință.

O reprezentare a punctelor multiple de captură a camerei care furnizează datele pe care NeRF le asamblează într-o scenă neuronală (ilustrată în partea dreaptă).

Informațiile derivate din fotografiile contributive sunt antrenate într-o matrice similară cu o grilă de voxel din fluxurile de lucru CGI, în care fiecare punct din spațiul 3D se termină cu o valoare, făcând scena navigabilă.

O matrice tradițională de voxel plasează informația pixelului (care, de obicei, există într-un context 2D, cum ar fi grila de pixeli a unui fișier JPEG) într-un spațiu tridimensional. Sursă: ResearchGate

După calcularea spațiului interstițial dintre fotografii (dacă este necesar), calea fiecărui pixel posibil din fiecare fotografie contributivă este efectiv “urmată” și i se atribuie o valoare de culoare, inclusiv o valoare de transparență (fără de care matricea neuronală ar fi complet opacă sau complet goală).

La fel ca și grilele de voxel, și în contrast cu spațiul 3D bazat pe CGI, “interiorul” unui obiect “închis” nu are existență într-o matrice NeRF. Puteți deschide o trusă de tobe CGI și puteți privi în interior, dacă doriți; dar din punctul de vedere al NeRF, existența trusei de tobe se termină atunci când valoarea de opacitate a suprafeței sale este “1”.

O Perspectivă Mai Largă a Unui Pixel

Mip-NeRF 360 este o extensie a cercetărilor din martie 2021, care a introdus eficient anti-aliasing pentru NeRF fără supersampling exhaustiv.

NeRF calculează, de obicei, doar o cale de pixel, care este înclinată să producă tipul de ‘jaggies’ care au caracterizat formatele de imagine de internet timpuriu, precum și sistemele de jocuri mai vechi. Aceste muchii zimțate au fost rezolvate prin diverse metode, de obicei prin eșantionarea pixelilor adiacenți și găsirea unei reprezentări medii.

Deoarece NeRF tradițională eșantionează doar o cale de pixel, Mip-NeRF a introdus o “zonă de captare conică”, similară cu un fascicul de lumină larg, care oferă suficiente informații despre pixelii adiacenți pentru a produce anti-aliasing economic cu detalii îmbunătățite.

Zona de captare conică pe care Mip-NeRF o utilizează este tăiată în conuri trunchiate (imaginea de mai jos), care sunt ulterior “estompate” pentru a crea spații Gaussiane vagi care pot fi utilizate pentru a calcula acuratețea și aliasingul unui pixel. Sursă: https://www.youtube.com/watch?v=EpH175PY1A0

Îmbunătățirea față de o implementare standard NeRF a fost notabilă:

Mip-NeRF (dreapta), lansat în martie 2021, oferă detalii îmbunătățite prin intermediul unui canal de aliasing mai cuprinzător, dar economic, și nu doar “estomparea” pixelilor pentru a evita muchiile zimțate. Sursă: https://jonbarron.info/mipnerf/

NeRF Nelimitat

Articolul din martie a lăsat trei probleme nerezolvate în ceea ce privește utilizarea Mip-NeRF în medii nelimitate care ar putea include obiecte foarte îndepărtate, inclusiv cerul. Noul articol rezolvă această problemă prin aplicarea unei deformări Kalman asupra Gaussienilor Mip-NeRF.

În al doilea rând, scenele mai mari necesită o putere de procesare mai mare și timpi de antrenare prelungiți, ceea ce Mip-NeRF 360 rezolvă prin “distilarea” geometriei scenei cu un mic perceptron multistrat (MLP), care pre-încadrează geometria prezisă de un MLP NeRF standard mare. Acest lucru accelerează antrenamentul de trei ori.

În cele din urmă, scenele mai mari tind să facă discretizarea geometriei interpretate ambiguă, rezultând în felul de artefacte cu care jucătorii ar putea fi familiarizați atunci când ieșirile jocului “se sfâșie”. Noul articol abordează acest lucru prin crearea unui nou regulator pentru intervalele de raze Mip-NeRF.

În partea dreaptă, vedem artefacte nedorite în Mip-NeRF din cauza dificultății de a încadra o scenă atât de mare. În partea stângă, vedem că noul regulator a optimizat scena suficient de bine pentru a elimina aceste tulburări.

Pentru a afla mai multe despre noul articol, verificați videoclipul de mai jos și, de asemenea, videoclipul de introducere din martie 2021 la Mip-NeRF. De asemenea, puteți afla mai multe despre cercetarea NeRF prin verificarea acoperirii noastre până acum.

Publicat inițial pe 25 noiembrie 2021
21 decembrie 2021, 12:25 – Înlocuit videoclipul mort. – MA