Prześwietlanie Neural Radiance Fields za pomocą dowolnej mapy środowiskowej

Nowy artykuł z Max Planck Institute i MIT zaproponował technikę uzyskania prawdziwej rozłączności zawartości Neural Radiance Fields (NeRF) od oświetlenia, które było obecne podczas zbierania danych, co pozwala na całkowitą rozłączność oświetlenia w scenie NeRF:

Nowa technika zastosowana do danych rzeczywistych. Warto zauważyć, że metoda działa nawet na archiwalnych danych tego typu, które nie brały pod uwagę nowego potoku podczas zbierania danych. Mimo to uzyskuje się realistyczna i określona przez użytkownika kontrola oświetlenia Source: https://arxiv.org/pdf/2207.13607.pdf

Nowy podejście wykorzystuje popularny program do animacji 3D Blender do stworzenia “wirtualnej sceny oświetleniowej”, gdzie renderowane są liczne iteracje możliwych scenariuszy oświetleniowych, a następnie szkolone w specjalnej warstwie modelu NeRF, która może pomieścić dowolną mapę środowiskową, którą użytkownik chce wykorzystać do oświetlenia sceny.

Przedstawienie części potoku, który wykorzystuje Blender do stworzenia wirtualnych widoków sceny oświetleniowej. Poprzednie metody wykorzystywały rzeczywiste sceny oświetleniowe, co było uciążliwym wymogiem dla obiektów dyskretnych i niemożliwym dla widoków zewnętrznych. Na górze po lewej stronie dwóch prawych obrazów widać mapy środowiskowe, które określają oświetlenie sceny. Mogą one być dowolnie tworzone przez użytkownika, co przybliża NeRF do elastyczności nowoczesnego podejścia CGI.

Podejście to zostało przetestowane w stosunku do Mitsuba2 odwrotnego renderowania, a także w stosunku do poprzednich prac PhySG, RNR, Neural-PIL i NeRFactor, wykorzystując tylko bezpośredni model oświetlenia, i uzyskało najlepsze wyniki:

Wyniki nowej techniki, porównane z innymi podejściami pod różnymi funkcjami straty. Badacze twierdzą, że ich podejście daje najlepsze wyniki, z wynikami ocenianymi za pomocą Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) i Learned Perceptual Image Patch Similarity (LPIPS).

W artykule napisano:

‘Nasze wyniki jakościowe i ilościowe pokazują wyraźny krok naprzód w odzyskiwaniu parametrów sceny oraz jakości syntezowanego podejścia w nowych widokach i warunkach oświetleniowych w porównaniu z poprzednim stanem sztuki.’

Badacze stwierdzili, że w końcu opublikują kod projektu.

Potrzeba edytowalności NeRF

Tego rodzaju rozłączność okazała się znaczącym wyzwaniem dla badaczy Neural Radiance Fields, ponieważ NeRF jest podstawowo techniką fotogrametryczną, która oblicza wartość piksela tysięcy możliwych ścieżek z punktu widzenia, przypisując wartości RGBD, i tworząc macierz tych wartości w reprezentacji objętościowej. NeRF jest zdefiniowany przez oświetlenie.

W rzeczywistości, pomimo imponujących wizualizacji i szerokiego zastosowania przez NVIDIA (NVDA ), NeRF jest dość “sztywny” – w terminologii CGI, “upieczony”. Dlatego społeczność badawcza skupiła się na poprawie jego użyteczności i elastyczności w tym zakresie w ciągu ostatnich 12-18 miesięcy.

Jeśli chodzi o znaczenie, stawka za ten rodzaj kamienia milowego jest wysoka i obejmuje możliwość przekształcenia branży efektów wizualnych z modelu kreatywnego i współpracy opartego na generowaniu siatki, dynamice ruchu i teksturze, do modelu opartego na odwrotnym renderowaniu, gdzie potok efektów wizualnych jest zasilany przez zdjęcia rzeczywistych rzeczy (lub nawet, można sobie wyobrazić, modeli rzeczywistych i syntetycznych), zamiast oszacowań, rękodzielnych przybliżeń.

Na razie nie ma powodu do obaw wśród społeczności efektów wizualnych, przynajmniej jeśli chodzi o Neural Radiance Fields. NeRF ma tylko zalążkowe zdolności w zakresie riggingu, nestingu, kontroli głębi, artykulacji… i na pewno także w odniesieniu do oświetlenia. Towarzyszący film do innego nowego artykułu, który oferuje podstawowe deformacje dla geometrii NeRF, ilustruje ogromną przepaść między obecnym stanem sztuki w CGI a pionierskimi wysiłkami technik renderowania neuronowego.

Przesiewanie elementów

Niemniej, ponieważ trzeba zacząć gdzieś, badacze nowego artykułu przyjęli CGI jako pośredni mechanizm kontrolny i produkcyjny, co jest obecnie powszechnym podejściem w stosunku do sztywnych przestrzeni latentnych GANów i niemal nieprzenikalnych i liniowych sieci NeRF.

Skutecznie, głównym wyzwaniem jest obliczenie globalnego oświetlenia (GI, które nie ma bezpośredniej zastosowalności w renderowaniu neuronowym) w równoważnej prekomputowanej transmisji promieniowania (PRT, która może być adaptowana do renderowania neuronowego) obliczeniach.

GI to już uznana technika renderowania CGI, która modeluje sposób, w jaki światło odbija się od powierzchni i na inne powierzchnie, i uwzględnia te obszary odbitego światła w renderze, dla dodatkowej realizmu.

PRT jest używany jako pośrednia funkcja oświetleniowa w nowym podejściu, a fakt, że jest to dyskretny i edytowalny składnik, jest tym, co osiąga rozłączność. Nowa metoda modeluje materiał obiektu NeRF z nauczonym PRT.

Rzeczywiste oświetlenie sceny oryginalnych danych jest odzyskiwane jako mapa środowiskowa w procesie, a sama geometria sceny jest wyodrębniana jako Signed Distance Field (SDF), który ostatecznie dostarczy tradycyjną siatkę dla Blendera do pracy w wirtualnej scenie oświetleniowej.

Przegląd potoku dla nowej techniki.

Pierwszym etapem w procesie jest wyodrębnienie geometrii sceny z dostępnych wielowidokowych obrazów za pomocą niejawnej rekonstrukcji powierzchni, za pomocą technik wykorzystywanych w badaniach NeuS z 2021 roku.

Aby rozwinąć neuralne pole transferu promieniowania (NRTF, które pomieści dane oświetleniowe), badacze wykorzystali różniczkowy ślad Mitsuba 2.

To ułatwia wspólną optymalizację dwukierunkowej funkcji rozpraszania (BSDF), a także generowanie początkowej mapy środowiskowej. Gdy BSDF jest utworzony, ślad może być wykorzystany w Blenderze (patrz osadzony film powyżej) do tworzenia wirtualnych renderów sceny jeden światło na raz (OLAT).

NRTF jest następnie szkolony z połączoną stratą między fotorealistycznymi efektami materiałowymi i syntetycznymi danymi, które nie są splecione ze sobą.

Porównanie z poprzednim NeRFactorem, na wyzwaniach syntezowania nowych widoków i oświetlenia.

Droga do oświetlenia

Wymagania szkoleniowe dla tej techniki, chociaż zauważalnie mniejsze niż oryginalne czasy szkolenia NeRF, nie są nieznaczne. Na NVIDIA Quadro RTX 8000 z 48 GB pamięci VRAM, wstępne szkolenie dla początkowej estymacji światła i tekstury trwa 30 minut; szkolenie OLAT (tj. szkolenie wirtualnych ujęć sceny oświetleniowej) trwa 8 godzin; a ostateczna wspólna optymalizacja między rozłączonymi syntetycznymi i rzeczywistymi danymi trwa dodatkowe 16 godzin, aby osiągnąć optymalną jakość.

Dalej, wynikowa reprezentacja neuronowa nie może działać w czasie rzeczywistym, zajmując, według badaczy, “kilka sekund na klatkę”.

Badacze stwierdzili:

‘Nasze wyniki pokazują wyraźną poprawę nad obecnym stanem sztuki, a przyszła praca mogłaby obejmować dalsze poprawienie czasu wykonywania i wspólne rozumowanie geometrii, materiału i oświetlenia sceny.’

Pierwotnie opublikowane 28 lipca 2022.