Sztuczna inteligencja
Relighting Neural Radiance Fields With Any Environment Map
Nowy artykuł z Max Planck Institute i MIT zaproponował technikę uzyskania prawdziwego rozłączenia zawartości Neural Radiance Fields (NeRF) od oświetlenia, które było obecne podczas zbierania danych, co pozwala na całkowite zastąpienie oświetlenia w scenie NeRF za pomocą dowolnej mapy środowiskowej:
Nowa technika zastosowana do danych rzeczywistych. Warto zauważyć, że metoda działa nawet na archiwalnych danych tego typu, które nie brały pod uwagę nowego potoku podczas zbierania danych. Mimo to uzyskuje się realistyczną i określoną przez użytkownika kontrolę oświetlenia. Źródło: https://arxiv.org/pdf/2207.13607.pdf
Nowy podejście wykorzystuje popularny program do tworzenia animacji 3D Blender do stworzenia “wirtualnego studia światła”, gdzie renderowane są liczne iteracje możliwych scenariuszy oświetlenia, a następnie trenowane w specjalnej warstwie modelu NeRF, która może pomieścić dowolną mapę środowiskową, którą użytkownik chce wykorzystać do oświetlenia sceny.
Przedstawienie części potoku, który wykorzystuje Blender do tworzenia wirtualnych widoków studia światła geometrycznego. Poprzednie metody podążały podobnymi liniami, ale wykorzystywały rzeczywiste studia światła, co jest uciążliwym wymogiem dla dyskretnych obiektów i niemożliwym dla widoków środowiskowych. W lewym górnym rogu dwóch prawych obrazów widać mapy środowiskowe, które określają oświetlenie sceny. Mogą one być dowolnie tworzone przez użytkownika, co przybliża NeRF do elastyczności nowoczesnego podejścia CGI.
Podejście to zostało przetestowane w stosunku do Mitsuba2 odwrotnego renderowania, a także w stosunku do poprzednich prac PhySG, RNR, Neural-PIL i NeRFactor, wykorzystując tylko model oświetlenia bezpośredniego, i uzyskało najlepsze wyniki:
Wyniki nowej techniki, porównane z podobnymi podejściami pod różnymi funkcjami straty. Naukowcy twierdzą, że ich podejście daje najwyższej jakości wyniki, z wynikami ocenianymi za pomocą Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) i efektywnego, choć ekscentrycznego Learned Perceptual Image Patch Similarity (LPIPS).
