Adobe: Reluminarea lumii reale cu rendering neural

Cercetătorii de la Adobe au creat un sistem de rendering neural pentru scene indoor din lumea reală, care este capabil de reluminare sofisticată, oferă o interfață în timp real și gestionează suprafețe glossy și reflexii – o provocare notabilă pentru metodele de sinteză a imaginilor competitive, cum ar fi Neural Radiance Fields (NeRF).

Aici, o scenă din lumea reală a fost reconstruită dintr-un număr de imagini statice, făcând scena navigabilă. Iluminarea poate fi adăugată și modificată în culoare și calitate, în timp ce reflexiile rămân precise, iar suprafețele glossy exprimă corect schimbarea surselor de iluminare și/sau a stilurilor utilizatorului. Sursă: https://www.youtube.com/watch?v=d3ma4opFpgM

Noul sistem permite controlul asupra aspectelor de iluminare ale unei scene 3D reale capturate într-un spațiu neural, inclusiv umbre și reflexii, în stilul Photoshop, prin intermediul unei interfețe grafice cu utilizator.

Interfața grafică cu utilizator permite adăugarea (și ajustarea) unei surse de iluminare la o scenă din lumea reală reconstruită dintr-un număr redus de fotografii, și navigarea liberă prin aceasta, ca și cum ar fi o scenă CGI bazată pe mesh.

Articolul, trimis la ACM Transactions on Graphics și intitulat Reluminare neurală indoor cu vedere liberă din stereo multi-vizual, este o colaborare între Adobe Research și cercetători de la Université Côte d’Azur.

Sursă: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (faceți clic pentru a vedea versiunea completă)

La fel ca și în cazul Neural Radiance Fields (NeRF), sistemul utilizează fotogrammetrie (sus, stânga), prin care înțelegerea unei scene este dedusă dintr-un număr limitat de fotografii, iar punctele de vedere “lipse” sunt antrenate prin învățare automată până când este disponibil un model complet și abstract al scenei pentru reinterpretare ad hoc.

Sistemul a fost antrenat în întregime pe date sintetice (CGI), dar modelele 3D utilizate au fost tratate exact ca și cum ar fi fost fotografii reale luate dintr-o scenă reală pentru interpretare neurală. Imaginea de mai sus arată o scenă sintetică reluminată, dar “vederea dormitorului” din imaginea animată de mai sus este derivată din fotografii reale luate într-o cameră reală.

Reprezentarea implicită a scenei este obținută din materialul sursă prin intermediul unei rețele neuronale convoluționale (CNN) și este împărțită în mai multe straturi, inclusiv reflectanță, iradianță sursă (radiativitate/iluminare globală) și albedo.

Arhitectura sistemului de reluminare neural Adobe. Setul de date multi-vizual este prelucrat, iar geometria mesh-ului 3D este generată din datele de intrare. Atunci când trebuie adăugată o nouă sursă de iluminare, iradianța este calculată în timp real, iar vedere reluminată este sintetizată. (faceți clic pentru a vedea versiunea completă)

Algoritmul combină aspecte ale urmăririi tradiționale a razelor (Monte Carlo) și ale renderizării bazate pe imagini (IBR, rendering neural).

Deși o cantitate semnificativă de cercetare recentă privind Neural Radiance Fields a fost preocupată de extragerea geometriei 3D din imagini plate, oferta Adobe este prima dată când s-a demonstrat reluminare sofisticată prin această metodă.

Algoritmul abordează, de asemenea, o altă limitare tradițională a NeRF și a abordărilor similare, prin calcularea unei hărți de reflexie complete, unde fiecare parte a imaginii este atribuită un material reflector 100%.

Texturile oglinzilor cartografiază traseele de iluminare. (faceți clic pentru a vedea versiunea completă)

Cu această hartă de reflectivitate integrală în loc, este posibil să “reglați” reflectivitatea pentru a se potrivi cu diferite niveluri de reflexie în diverse tipuri de materiale, cum ar fi lemn, metal și piatră. Harta de reflectivitate (de mai sus) oferă, de asemenea, un șablon complet pentru cartografierea razelor, care poate fi reutilizat pentru ajustarea iluminării difuze.

Alte straturi în sistemul de rendering neural Adobe. (faceți clic pentru a vedea versiunea completă)

Capturarea inițială a scenei utilizează 250-350 de fotografii RAW din care se calculează un mesh prin stereo multi-vizual. Datele sunt rezumate în hărți de caracteristici 2D de intrare, care sunt apoi reproiectate în vedere nouă. Schimbările în iluminare sunt calculate prin medierea straturilor difuze și glossy ale scenei capturate.

Stratul oglinzii este generat printr-un calcul rapid de rază unică (o singură ricoșare), care estimează valorile sursă originale și apoi valorile țintă. Harta care conține informații despre iluminarea originală a scenei este stocată în datele neuronale, similar cu modul în care hărțile de radiativitate sunt adesea stocate cu datele scenei CGI tradiționale.

Rezolvarea reflexiilor de rendering neural

Poate că realizarea principală a acestei lucrări este decuplarea informațiilor de reflectanță de la straturile difuze și alte straturi din date. Timpul de calcul este menținut la un nivel scăzut prin asigurarea faptului că vederile “reflectante” active, cum ar fi oglinzile, sunt calculate doar pentru vedere activă a utilizatorului, și nu pentru întreaga scenă.

Cercetătorii afirmă că această lucrare reprezintă prima dată când s-au demonstrat capacități de reluminare care se potrivesc cu capacitățile de navigare cu vedere liberă într-un singur cadru pentru scene care trebuie să reproducă suprafețe reflective în mod realist.

Unele sacrificii au fost făcute pentru a atinge această funcționalitate, și cercetătorii recunosc că metodele anterioare care utilizează mesh-uri per-vizualizare mai complexe demonstrează o geometrie îmbunătățită pentru obiecte mici. Direcțiile viitoare pentru abordarea Adobe vor include utilizarea geometriei per-vizualizare pentru a îmbunătăți acest aspect.