NeRF rykker et skridt nærmere at erstatte CGI

Forskere ved MIT og Google har taget et stort skridt i løsningen af en af de mest fundamentale hindringer for en fremvoksende AI-dreven teknologi, der måske en dag kan erstatte CGI – adskille neural radiance field (NeRF) billeder i deres bestanddele, så billederne kan gen teksturiseres og gen belyses.

Den nye tilgang, kaldet NeRFactor, splitter effektivt fanget billedmateriale op i per-objektnormale (hvor teksturer kan tildeles), lys synlighed, albedo (proportionen af tilfældigt lys, der reflekteres væk fra en overflade) og Bidirectional Reflectance Distribution Functions (BRDF’er).

Med disse aspekter isolerede, er det muligt ikke kun at skifte teksturer for enkeltobjekter eller objektsamlinger, men også at tilføje nye og unikke lyskilder og skyggeimplementeringer, uden at tage hensyn til de lyskilder, der blev fanget af de multi-kameraarrays, der genererer input til NeRF-billeder.

Normals, synlighed, albedo og BRDF adskilt under NeRFactor. Kilde: https://www.youtube.com/watch?v=UUVSPJlwhPg

Modellen understøtter bløde eller hårde skygger fra vilkårlige, brugerdefinerede lyskilder og adskiller de fire aspekter af fanget video programmeringsmæssigt, ved hjælp af en rekonstruktionsfejl, data fra tidligere beregninger af BRDF og grundlæggende simpel glatningsregulering.

NeRFactors arbejdsgang, der udtrækker separat handlelige aspekter af billedmateriale, der er afledt af multi-kameraarrays. Kilde: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor bruger en HDR-lyssonde, en velkendt tilgang, der har været fremherskende i den visuelle industri og kunstscene siden dens introduktion i 1998, til at evaluere mulige ruter for lysstråler, hvilket muliggør vilkårlig belysning. Da dette genererer et uhåndterligt antal mulige parametre, filtreres lyssonden gennem en multi-lag perceptron (MLP), der kortlægger den opfattede geometri til lyssonden uden at forsøge at beregne en komplet lysvolumenkort for modellrummet.

To neurale radiance field-modeller bruges til at demonstrere fem lysmodeller, der er mulige under NeRFactor. Klik på billedet for højere opløsning.

Årsag til refleksion

Den nye forskning er måske mest betydningfuld i at adskille lagene af fanget billedmateriale, der kontrollerer refleksion. Dette er en af de største udfordringer for neurale radiance field-billeder, da et virkelig nyt og fleksibelt NeRF-system ikke kun skal kunne erstatte teksturer, men også skal have en måde at reflektere bevægelige objekter (uden foruden den faste omgivelse) på, som normalt ville være medtaget i en CGI-arbejdsgang.

Dette problem blev nylig nævnt i forbindelse med Intels imponerende nye forskning i at omdanne videogame-optagelser til fotorealistiske videoer via convolutionelle neurale netværk. I sådanne arbejdsgange ville mange “bagte” aspekter af kildematerialet skulle blive diskrete og udskiftelige, og dette er måske lettere at løse for genbelysning (som er en funktion af den geometri, der renderes i NeRF) end for refleksioner (som udnytter “udenfor-skærm” geometri, der er helt uden for modellens rækkevidde).

Derfor bringer adskillelsen af lagene i NeRF-video, der faciliterer refleksion, NeRF et skridt nærmere at løse sin “refleksionsudfordring”.

Brugen af en HDR-miljø løser allerede problemet med at generere verdensmiljørefleksioner (dvs. himmel, landskab og andre “faste” omgivelsesfaktorer), men nye tilgange vil være nødvendige for at introducere bevægelige og dynamiske refleksioner.

Fotogrammetri med NeRF

Neurale radiance field-billeder bruger maskinlæringsanalyse til at udvikle et fuldstændigt volumetrisk rum fra en scene eller et objekt, der er fanget fra flere vinkler.

Flere NeRF-baserede skemaer, der er opstået i det sidste år, har brugt en diversificeret række bidragende kameraenheder; nogle bruger 16 eller flere kameraer, andre kun ét eller to. I alle tilfælde bliver de mellemværende synspunkter “indfyldt” (dvs. fortolket), så scenen eller objektet kan navigeres flydende.

Det resulterende objekt er et fuldstændigt volumetrisk rum med en indre 3D-forståelse, der kan udnyttes på mange måder, herunder muligheden for at generere traditionelle CG-net til 3D-parsed summen af inputbillederne.

NeRF i sammenhæng med en “ny CGI”

Neurale radiance field-billeder er trukket direkte fra billeder af den virkelige verden, herunder bevægelige billeder af mennesker, objekter og scener. I modsætning hertil “studere” og fortolke CGI-verden, hvilket kræver dygtige arbejdere til at bygge net, rigge og teksturer, der udnytter virkelige billedoptagelser (dvs. ansigts- og miljøoptagelser). Det er en grundlæggende fortolkende og håndværksmæssig tilgang, der er dyrekøbt og tidskrævende.

Dertil har CGI haft løbende problemer med “uncanny valley”-effekten i sine bestræbelser på at genskabe menneskelignende billeder, hvilket ikke er en begrænsning for en NeRF-dreven tilgang, der blot optager videoer eller billeder af rigtige mennesker og manipulerer dem.

Yderligere kan NeRF generere traditionelle CGI-stil netgeometri direkte fra billeder, hvis nødvendigt, og kan i virkeligheden erstatte mange af de manuelle procedurer, der altid har været nødvendige i computer-genererede billeder.

Udfordringer for NeRF

Denne seneste forskning fra MIT og Google kommer i sammenhæng med en sand flod af NeRF-artikler i det sidste år, mange af hvilke har tilbudt løsninger på de forskellige udfordringer, der er rejst af den oprindelige 2020-artikel.

I april tilbød innovation fra et kinesisk forskningskonsortium en måde at adskille de enkelte tidslinjer for aspekter i en NeRF-scene, herunder mennesker.

Det kinesiske forskningskonsortium tillader slutbrugere at kopiere, indsætte og ændre størrelsen på fanget elementer, der adskiller dem fra den lineære tidslinje for den oprindelige kildevideo. Kilde: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Denne tilgang muliggør ikke kun at genforestille scenen fra enhver vinkel, der er fanget af kameraarrayet (og ikke kun den enkeltvinkel, der er repræsenteret i en typisk videooptagelse), men også at muliggøre fleksibel komposition – og endda muligheden for at repræsentere to aspekter fra samme footage, der kører i deres egne individuelle tidsrammer (eller endda kører baglæns, hvis nødvendigt).

Det kinesiske forskningskonsortium tillader slutbrugere at kopiere, indsætte og ændre størrelsen på fanget elementer, der adskiller dem fra den lineære tidslinje for den oprindelige kildevideo. Kilde: https://www.youtube.com/watch?v=Wp4HfOwFGP4

En af de største udfordringer for NeRF er at reducere de betydelige ressourcer, der er nødvendige for at træne en scene, og dette er blevet adresseret i en række nyere artikler. For eksempel introducerede Max Planck-instituttet for intelligente systemer nylig KiloNeRF, der ikke kun accelererer renderingtider med en faktor på 1000, men også muliggør, at NeRF kan køre interaktivt.

KiloNeRF kører en interaktiv miljø på 50fps på en GTX 1080ti. Kilde: https://github.com/creiser/kilonerf

Men den NeRF-hastighedsinnovation, der virkelig har fanget forskernes og offentlighedens opmærksomhed i 2021, har været PlenOctrees-samarbejdet, ledet af UC Berkeley, der tilbyder realtid-rendering af neurale radiance fielder:

Effekten af PlenOctrees’ interaktive muligheder er blevet reproduceret i en live, web-baseret grænseflade.

Live interaktiv bevægelse af et PlenOctrees-objekt i Firefox (bevægelsen er glattere og mere dynamisk end denne GIF repræsenterer). Kilde: http://alexyu.net/plenoctrees/demo/

Derudover tilbyder Recursive-NeRF (fra en artikel i maj 2021 af forskere ved Tsinghua University) højkvalitets rekursiv rendering påkrævet. I stedet for at tvinge brugeren til at rendere hele scener, herunder dele, der måske ikke kan ses, tilbyder Recursive-NeRF noget, der ligner JPEG’s tabte kompression, og kan generere diskrete under-NeRF’er til at håndtere ekstra billedmateriale påkrævet – og opnår en enorm besparelse i beregningsressourcer.

Bevarer detaljer, mens du dumpede unødvendige renderberegninger med Recursive-NeRF. Klik på billedet for højere opløsning. Kilde: https://arxiv.org/pdf/2105.09103.pdf

Andre tilgange omfatter FastNeRF, der påstår at opnå højfidel neural rendering i 200fps.

Det er blevet bemærket, at mange af optimeringsteknikkerne for NeRF involverer ‘bagning’ af scenen, ved at forpligte sig til aspekter, der ønskes at blive renderet, og kasserer andre aspekter, hvilket begrænser udforskningen, men accelererer interaktiviteten betydeligt.

Ulemperne ved dette er, at stressen flytter sig fra GPU’en til lagringen, fordi bagte scener optager en uhåndterlig mængde diskplads; til en vis udstrækning kan dette imødegås ved at nedsample det bagte data, selvom dette også indebærer en vis forpligtelse i forhold til at lukke af udforskning eller interaktivitet.

Med hensyn til motion capture og rigging tilbød en ny tilgang fra Zheijang og Cornell universiteter, afsløret i maj, en metode til at genskabe animable mennesker ved hjælp af blendvægtfelter og skeletstrukturer, der blev fortolket fra inputvideo:

Afledt skeletstruktur i Animatable NeRF. Kilde: https://www.youtube.com/watch?v=eWOSWbmfJo4

Når får NeRF sin ‘Jurassic Park’-øjeblik?

Trods den hurtige fremgang i billedsynthesis via neurale radiance fielder, er det kun i denne periode, at nogen form for “termodynamikkens love” vil blive etableret for, hvor deployable NeRF kan blive. I forhold til en tidsplan, der er analog til CGI’s historie, svæver NeRF i øjeblikket omkring 1973, lige før den første brug af CGI i Westworld.

Det betyder ikke, at NeRF nødvendigvis skal vente ni år for sin tilsvarende Wrath Of Khan-milepæl eller årtier for de tilsvarende gennembrud, som CGI opnåede under James Camerons entusiastiske patronage i 1989’s The Abyss eller 1991’s Terminator 2 – og derefter teknologiens virkelig revolutionerende gennembrudsøjeblik i 1993’s Jurassic Park.

Billedscenen har ændret sig betydeligt, siden den lange periode med stagnation for foto-kemiske visuelle effekter, der dominerede film- og tv-produktion fra fødslen af cinema til begyndelsen af 1990’erne. PC-revolutionen og accelerationen af Moore’s lov førte til CGI-revolutionen, der ellers kunne have fundet sted så tidligt som i 1960’erne.

Det er uvist, om der er nogen barrierer, der kan holde NeRF’s fremgang tilbage i så lang tid – og om efterfølgende innovationer i computer vision ikke måske vil overhale NeRF som den vigtigste konkurrent til CGI’s krone, hvilket karakteriserer neurale radiance fielder som den kortlivede “faxmaskine” for neuralt billedsyn.

Indtil videre er NeRF ikke blevet brugt i nogen kontekst uden for akademisk forskning; men det er bemærkelsesværdigt, at større spillere som Google Research og mange af de mest fremtrædende computer vision-forskningslaboratorier konkurrerer om den seneste NeRF-gennembrud.

Mange af NeRF’s største udfordringer er begyndt at blive direkte adresseret i år; hvis efterfølgende forskning tilbyder en løsning på “refleksionsproblemet”, og de mange NeRF-optimeringsforskningsstrømme samles i en afgørende løsning på teknologiens betydelige beregnings- og/eller lagringskrav, har NeRF virkelig en chance for at blive “den nye CGI” i de næste fem år.