Kunstig intelligens
Gjenlysering av Neurale Radiance Fields med enhver miljøkort
En ny artikkel fra Max Planck-instituttet og MIT har foreslått en teknikk for å oppnå ekte disentanglement av Neural Radiance Fields (NeRF) innhold fra lysningen som var til stede da dataene ble samlet inn, og som tillater ad hoc miljøkort å fullstendig bytte ut belysningen i en NeRF-scene:
Den nye teknikken brukt på ekte data. Det er verdt å merke seg at metoden fungerer selv på arkiverte data av denne typen, som ikke tok den nye pipeline i betraktning da dataene ble innhentet. Likevel blir realistisk og brukerdefinert lyskontroll oppnådd. Kilde: https://arxiv.org/pdf/2207.13607.pdf
Den nye tilnærmingen bruker den populære åpne kildekodes 3D-animasjonsprogrammet Blender til å lage en ‘virtuell lys scene’, hvor mange iterasjoner av mulige lys-scenarier renderes ut og til slutt trenes inn i et spesiallaget lag i NeRF-modellen som kan akseptere enhver miljøkort som brukeren ønsker å bruke til å lyse scenen.
En fremstilling av den delen av pipeline som utnytter Blender til å lage virtuelle lys scenarier av den ekstraherte geometrien. Tidligere metoder som følger lignende linjer har brukt faktiske lys scener til å gi denne dataen, som er et tungt krav for diskrete objekter, og en umulig en for ytre miljøvisninger. Øverst til venstre i de to høyre bildene kan vi se miljøkartene som dikterer lysningen av scenen. Disse kan være arbitrært skapt av sluttbrukeren, og bringer NeRF et steg nærmere fleksibiliteten til en moderne CGI-tilnærming.
Tilnærmingen ble testet mot Mitsuba2 inverse rendering-rammeverk, og også mot tidligere arbeid PhySG, RNR, Neural-PIL og NeRFactor, og fikk de beste resultatene:
Resultater av den nye teknikken, sammenlignet med sammenlignbare tilnærminger under en rekke tap-funksjoner. Forskerne hevder at deres tilnærming gir de høyeste kvalitetsmetodene, med resultater evaluert gjennom Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM), og den effektive, men eksentriske Learned Perceptual Image Patch Similarity (LPIPS).
