Adobe: Reiluminarea lumii reale cu redarea neuronală

Cercetătorii de la Adobe au creat un sistem de randare neuronală pentru scenele de interior din lumea reală, care este capabil de reiluminare sofisticată, oferă o interfață în timp real și gestionează suprafețele lucioase și reflexiile - o provocare notabilă pentru metodele concurente de sinteză a imaginilor, cum ar fi Neural Radiance Fields (NeRF) .

Aici, scena lumii reale a fost reconstruită dintr-un număr de imagini statice, făcând scena navigabilă. Iluminarea poate fi adăugată și modificată în culoare și calitate, în timp ce reflexiile rămân exacte, iar suprafețele lucioase exprimă corect schimbarea utilizatorului în sursele de lumină și/sau stilurile. Sursa: https://www.youtube.com/watch?v=d3ma4opFpgM

Noul sistem permite controlul în stil Photoshop, bazat pe GUI asupra aspectelor de iluminare ale unei scene 3D reale, care a fost capturată într-un spațiu neuronal, inclusiv umbre și reflexii.

Interfața grafică permite utilizatorului să adauge (și să ajusteze) o sursă de lumină la o scenă din lumea reală care a fost reconstruită dintr-un număr rar de fotografii și să navigheze liber prin ea ca și cum ar fi un scenariu bazat pe rețea în stil CGI.

hârtie, transmis la ACM Transactions on Graphics și îndreptățit Reiluminare neuronală interioară cu punct de vedere liber de la stereo multi-view, este o colaborare între Adobe Research și cercetători de la Universitatea Côte d'Azur.

Sursa: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (dați clic pentru a vedea versiunea cu rezoluție completă)

Ca și în cazul câmpurilor de radiație neurale (NeRF), sistemul folosește fotogrammetria (sus stânga), în care înțelegerea unei scene este dedusă dintr-un număr limitat de fotografii, iar punctele de vedere „lipsă” sunt antrenate prin învățarea automată până când un model complet și complet abstract al scenei este disponibil pentru anunțuri. reinterpretare hoc.

Sistemul a fost antrenat în întregime pe date sintetice (CGI), dar modelele 3D utilizate au fost tratate exact așa cum s-ar întâmpla dacă o persoană ar face câteva fotografii limitate ale unei scene reale pentru interpretare neuronală. Imaginea de mai sus arată o scenă sintetică reluată, dar imaginea „dormitor” din imaginea cea mai de sus (animată) de mai sus este derivată din fotografii reale făcute într-o cameră reală.

Reprezentarea implicită a scenei este obținută din materialul sursă prin intermediul unei rețele neuronale convoluționale (CNN) și împărțită în mai multe straturi, inclusiv reflectanța, iradierea sursei (radiozitate/iluminare globală) și albedo.

Arhitectura sistemului de reiluminare Adobe. Setul de date cu vizualizări multiple este preprocesat, iar geometria rețelei 3D este generată din datele de intrare. Când trebuie adăugată o nouă lumină, iradierea este calculată în timp real, iar vederea reluată este sintetizată. (click pentru a vedea versiunea full-res)

Algoritmul combină fațete ale trasării tradiționale de raze (Monte Carlo) și redării bazate pe imagini (IBR, redare neuronală).

Deși o cantitate notabilă de cercetări recente în câmpurile de radiație neurale s-a preocupat de extragerea geometriei 3D din imagini plate, dar oferta Adobe este pentru prima dată când reaprinderea extrem de sofisticată a fost demonstrată prin această metodă.

Algoritmul abordează, de asemenea, o altă limitare tradițională a NeRF și a abordărilor similare, prin calcularea unei hărți de reflexie completă, în care fiecărei părți a imaginii i se atribuie un material reflectorizant 100%.

Texturile în oglindă trasează căile de iluminare. (click pentru a vedea versiunea full-res)

Cu această hartă a reflectivității integrale, este posibil să „reduceți” reflectivitatea pentru a se adapta la diferite niveluri de reflexie în diferite tipuri de materiale, cum ar fi lemnul, metalul și piatra. Harta reflectivității (mai sus) oferă, de asemenea, un șablon complet pentru maparea razelor, care poate fi reutilizat în scopul ajustării luminii difuze.

Alte straturi din sistemul de randare neuronal Adobe. (click pentru a vedea versiunea full-res)

Captura inițială a scenei folosește 250-350 de fotografii RAW din care o rețea este calculată prin Multi-View Stereo. Datele sunt rezumate în hărți de caracteristici de intrare 2D care sunt apoi reproiectate în noua vizualizare. Modificările luminii sunt calculate prin medierea straturilor difuze și lucioase ale scenei capturate.

Stratul de imagine în oglindă este generat printr-un calcul rapid de oglindă cu o singură rază (o sărire), care estimează valorile sursei originale și apoi valorile țintă. Hărțile care conțin informații despre iluminarea inițială a scenei sunt stocate în datele neuronale, similar modului în care hărțile de radiozitate sunt adesea stocate cu datele tradiționale ale scenei CGI.

Rezolvarea reflecțiilor de redare neuronală

Poate că principala realizare a lucrării este decuplarea informațiilor de reflectanță de la straturile difuze și alte din date. Timpul de calcul este redus prin asigurarea faptului că vizualizările live activate cu „reflectanță”, cum ar fi oglinzile, sunt calculate numai pentru vizualizarea utilizatorului activ, mai degrabă decât pentru întreaga scenă.

Cercetătorii susțin că această lucrare reprezintă prima dată când capacitățile de reiluminare au fost corelate cu capabilitățile de navigare cu vizualizare liberă într-un singur cadru pentru scene care trebuie să reproducă suprafețele reflectorizante în mod realist.

Au fost făcute unele sacrificii pentru a obține această funcționalitate, iar cercetătorii admit că metodele anterioare care folosesc rețele mai complexe per-view demonstrează o geometrie îmbunătățită pentru obiectele mici. Direcțiile viitoare pentru abordarea Adobe vor include utilizarea geometriei per-view pentru a îmbunătăți acest aspect.