Adobe: Återbelyser den verkliga världen med neural rendering

Forskare från Adobe har skapat ett neuralt renderingsystem för verkliga inomhusmiljöer som kan hantera avancerad om-belysning, erbjuder en realtidsgränssnitt och hanterar blanka ytor och reflektioner – en betydande utmaning för konkurrerande bildsyntesmetoder som Neural Radiance Fields (NeRF).

Här har en verklig scen återuppbyggts från ett antal stillbilder, vilket gör scenen navigerbar. Belysning kan läggas till och ändras i färg och kvalitet, medan reflektioner förblir exakta och blanka ytor uttrycker korrekt användarens ändring av belysningskällor och/eller stilar. Källa: https://www.youtube.com/watch?v=d3ma4opFpgM

Det nya systemet möjliggör Photoshop-liknande, GUI-styrd kontroll över belysningsaspekter av en verklig 3D-scen som har infångats i ett neuralt utrymme, inklusive skuggor och reflektioner.

Gränssnittet tillåter en användare att lägga till (och justera) en belysningskälla till en verklig scen som har återuppbyggts från ett fåtal foton, och att navigera fritt genom den som om den vore en CGI-liknande mesh-baserad scenario.

Den artikeln, som har skickats in till ACM Transactions on Graphics och har titeln Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, är ett samarbete mellan Adobe Research och forskare från Université Côte d’Azur.

Källa: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (klicka för att se fullständig version)

Som med Neural Radiance Fields (NeRF) använder systemet fotogrammetri (ovan till vänster), där förståelsen av en scen infereras från ett begränsat antal foton, och de “saknade” vyerna tränas via maskinlärning tills en fullständig och helt abstraherad modell av scenen är tillgänglig för ad hoc-tolkning.

Systemet har tränats helt på syntetisk (CGI) data, men de 3D-modeller som har använts har behandlats exakt som om en person hade tagit flera begränsade foton av en verklig scen för neural tolkning. Bilden ovan visar en syntetisk scen som återbelyses, men “sovrums”-vyn i den översta (animerade) bilden ovan är härledd från faktiska foton tagna i ett riktigt rum.

Den implicita representationen av scenen erhålls från källmaterialet via ett Convolutional Neural Network (CNN), och delas upp i flera lager, inklusive reflektans, källstrålning (radiositet/global belysning) och albedo.

Arkitekturen för Adobes om-belysningssystem. Det multi-vy-dataset förbehandlas, och 3D-mesh-geometri genereras från indata. När en ny ljuskälla måste läggas till, beräknas strålningen i realtid, och den om-belysta vyn syntetiseras. (klicka för att se fullständig version)

Algoritmen kombinerar aspekter av traditionell ray tracing (Monte Carlo) och Image-Based Rendering (IBR, neural rendering).

Även om en betydande mängd av den senaste forskningen om Neural Radiance Fields har varit inriktad på att extrahera 3D-geometri från platta bilder, är Adobes erbjudande den första gången som högt avancerad om-belysning har demonstrerats via denna metod.

Algoritmen adresserar också en traditionell begränsning av NeRF och liknande tillvägagångssätt, genom att beräkna en fullständig reflektionskarta, där varje del av bilden tilldelas ett 100% reflekterande material.

Speglade texturer kartlägger belysningsvägar. (klicka för att se fullständig version)

Med denna integrala reflektivitetskarta på plats, är det möjligt att “dämpa” reflektiviteten för att anpassa sig till olika nivåer av reflektion i olika typer av material, såsom trä, metall och sten. Reflektivitetskartan (ovan) tillhandahåller också en fullständig mall för strålkartläggning, som kan återanvändas för ändamål som diffus belysningsjustering.

Andra lager i Adobes neuralt renderingsystem. (klicka för att se fullständig version)

Initial infångning av scenen använder 250-350 RAW-foton från vilka en mesh beräknas via Multi-View Stereo. Data sammanfattas i 2D-inmatningsfunktioner som sedan projiceras om till den nya vyn. Ändringar i belysning beräknas genom att medelvärdera diffusa och blanka lager av den infångade scenen.

Spegelbilden genereras genom en snabb enkelstråle-spegelberäkning (en studs), som uppskattar ursprungliga källvärden och sedan målvärdena. Kartor som innehåller information om scenens ursprungliga belysning lagras i den neurala data, liknande sättet som radiositetskartor ofta lagras med traditionell CGI-scendata.

Lösning av neuralt renderingsreflektioner

Kanske den primära prestationen i arbetet är avkopplingen av reflektansinformation från diffusa och andra lager i data. Beräkningstiden hålls nere genom att säkerställa att levande “reflektans”-aktiverade vyer, såsom speglar, beräknas endast för den aktiva användarvyn, snarare än för hela scenen.

Forskarna hävdar att detta arbete representerar den första gången som om-belysningsförmågor har matchats med fri-vy-navigeringsförmågor i en enda ram för scener som måste återge reflekterande ytor realistiskt.

Vissa uppoffringar har gjorts för att uppnå denna funktionalitet, och forskarna medger att tidigare metoder som använder mer komplexa per-vy-mesh visar förbättrad geometri för små föremål. Framtida riktningar för Adobes tillvägagångssätt kommer att inkludera användningen av per-vy-geometri för att förbättra denna aspekt.