Adobe: Oświetlanie świata rzeczywistego za pomocą renderowania neuronowego

Naukowcy z Adobe stworzyli system renderowania neuronowego dla scen wewnętrznych świata rzeczywistego, który umożliwia zaawansowane oświetlanie, oferuje interfejs w czasie rzeczywistym i obsługuje powierzchnie błyszczące i odbicia – znaczące wyzwanie dla konkurencyjnych metod syntezy obrazu, takich jak Neural Radiance Fields (NeRF).

Tutaj scena świata rzeczywistego została odtworzona z liczby zdjęć, co pozwala na nawigację po scenie. Oświetlenie można dodać i zmienić w kolorze i jakości, a odbicia pozostają dokładne, a powierzchnie błyszczące prawidłowo wyrażają zmiany źródeł oświetlenia i/lub stylów. Źródło: https://www.youtube.com/watch?v=d3ma4opFpgM

Nowy system pozwala na kontrolę nad aspektami oświetlenia sceny 3D w stylu Photoshop, za pomocą interfejsu GUI, w tym cieni i odbić.

Interfejs GUI pozwala użytkownikowi dodać (i dostosować) źródło oświetlenia do sceny świata rzeczywistego, która została odtworzona z niewielkiej liczby zdjęć, i nawigować swobodnie po niej, jakby była to scena CGI zbudowana z siatki.

Artykuł artykuł, złożony do ACM Transactions on Graphics i zatytułowany Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, jest współpracą między Adobe Research a naukowcami z Université Côte d’Azur.

Źródło: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (kliknij, aby zobaczyć pełnowymiarową wersję)

Podobnie jak w przypadku Neural Radiance Fields (NeRF), system wykorzystuje fotogrametrię (powyżej po lewej), w której zrozumienie sceny jest wywnioskowane z ograniczonej liczby zdjęć, a “brakujące” punkty widzenia są szkolone za pomocą uczenia maszynowego, aż do momentu, gdy dostępny jest kompletny i całkowicie abstrakcyjny model sceny do ad hoc reinterpretacji.

System został wytrenowany całkowicie na danych syntetycznych (CGI), ale modele 3D zostały potraktowane dokładnie tak, jakby osoba robiła kilka ograniczonych zdjęć sceny rzeczywistej do interpretacji neuronowej. Powyższy obraz pokazuje syntetyczną scenę, która jest oświetlona, ale “widok sypialni” w najwyższym (animowanym) obrazie powyżej jest pochodną rzeczywistych zdjęć zrobionych w prawdziwym pokoju.

Implikowana reprezentacja sceny jest uzyskana z materiału źródłowego za pomocą sieci neuronowej typu Convolutional Neural Network (CNN), i podzielona na kilka warstw, w tym odbicia, źródłowe nasłonecznienie (radiosity/globalne oświetlenie) i albedo.

Architektura systemu oświetlenia Adobe. Zestaw danych wielowidokowych jest przetwarzany, a geometria siatki 3D jest generowana z danych wejściowych. Gdy nowe źródło oświetlenia musi być dodane, nasłonecznienie jest obliczane w czasie rzeczywistym, a widok oświetlony jest syntetyzowany. (kliknij, aby zobaczyć pełnowymiarową wersję)

Algorytm łączy elementy tradycyjnego śledzenia promieni (Monte Carlo) i renderowania opartego na obrazie (IBR, renderowanie neuronowe).

Chociaż znaczna część ostatnich badań nad Neural Radiance Fields dotyczyła ekstrakcji geometrii 3D z płaskich obrazów, oferta Adobe jest pierwszym przypadkiem, w którym zaawansowane oświetlenie zostało zademonstrowane za pomocą tej metody.

Algorytm rozwiązuje również inne tradycyjne ograniczenia NeRF i podobnych podejść, obliczając kompletną mapę odbić, gdzie każda część obrazu jest przypisana do materiału o 100% odbiciu.

Tekstury lustrzane mapują ścieżki oświetlenia. (kliknij, aby zobaczyć pełnowymiarową wersję)

Z tą integralną mapą odbić w miejscu, możliwe jest “przygaszenie” odbicia, aby dostosować różne poziomy odbicia w różnych rodzajach materiałów, takich jak drewno, metal i kamień. Mapa odbić (powyżej) zapewnia również kompletny szablon do mapowania promieni, który może być ponownie wykorzystany do celów dostosowania oświetlenia dyfuzyjnego.

Inne warstwy w systemie renderowania neuronowego Adobe. (kliknij, aby zobaczyć pełnowymiarową wersję)

Początkowa rejestracja sceny używa 250-350 zdjęć RAW, z których jest obliczana siatka za pomocą Multi-View Stereo. Dane są podsumowane w 2D mapach wejściowych, które są następnie ponownie projekowane do nowego widoku. Zmiany oświetlenia są obliczane przez uśrednienie warstw dyfuzyjnych i błyszczących sceny.

Warstwa lustrzana jest generowana za pomocą szybkiego obliczenia lustrzanego (jednego odbicia), które szacuje wartości źródłowe i następnie wartości docelowe. Mapy, które zawierają informacje o oświetleniu sceny, są przechowywane w danych neuronowych, podobnie jak w przypadku tradycyjnych danych CGI.

Rozwiązywanie odbić renderowania neuronowego

Być może największym osiągnięciem pracy jest oddzielenie informacji o odbiciu od warstw dyfuzyjnych i innych w danych. Czas obliczeń jest utrzymywany na niskim poziomie, zapewniając, że widoki z włączonym odbiciem, takie jak lustra, są obliczane tylko dla aktywnego widoku użytkownika, a nie dla całej sceny.

Naukowcy twierdzą, że ta praca reprezentuje pierwszy raz, kiedy możliwości oświetlenia zostały połączone z możliwościami nawigacji swobodnej w jednej ramie dla scen, które muszą odtwarzać powierzchnie odbijające w sposób realistyczny.

Zostały poczynione pewne ustępstwa, aby osiągnąć tę funkcjonalność, a naukowcy przyznają, że poprzednie metody, które wykorzystują bardziej złożone siatki widokowe, demonstrują lepszą geometrię dla małych obiektów. Przyszłe kierunki podejścia Adobe będą obejmować wykorzystanie geometrii widokowej, aby poprawić ten aspekt.