NeRF Flyttar Sig Ett Steg Närmare Att Ersätta CGI

Forskare vid MIT och Google har tagit ett stort steg i att lösa en av de mest grundläggande hindren för en ny AI-driven teknik som kan ersätta CGI – att separera neurala strålningsfält (NeRF) i sina beståndsdelar, så att bilden kan omtextureras och omlysas.

Den nya metoden, som kallas NeRFactor, delar effektivt upp den inspelade bilden i per-objektnormaler (där texturer kan tilldelas), ljus synlighet, albedo (andelen av tillfälligt ljus som reflekteras bort från en yta) och Bidirectional Reflectance Distribution Functions (BRDFs).

Med dessa aspekter isolerade är det möjligt att inte bara byta texturer för enskilda objekt eller objektsgrupper, utan också att lägga till nya och unika ljuskällor och skuggimplementeringar, utan att ta hänsyn till de som inspelades av de multi-kameramattor som genererar indata för NeRF-bilder.

Normals, synlighet, albedo och BRDF separerade under NeRFactor. Källa: https://www.youtube.com/watch?v=UUVSPJlwhPg

Modellen stöder mjuka eller hårda skuggor från godtyckliga, användardefinierade ljuskällor, och separerar de fyra aspekterna av inspelad video programmässigt, med hjälp av en rekonstruktionsförlust, data från tidigare beräkningar av BRDF och enkel, enkel smidig reguljering.

NeRFactors arbetsflöde, som extraherar separat agerbara aspekter av bilden som härrör från multi-kameramattor. Källa: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor använder en HDR-ljussond, en etablerad metod som har genomsyrat den visuella industrin och konstscenen sedan dess introduktion 1998, för att utvärdera möjliga vägar för strålar, vilket möjliggör godtycklig belysning. Eftersom detta genererar ett ohanterligt antal parametrar, filtreras ljussonden genom en multi-lagperceptron (MLP), som kartar den uppfattade geometrin till sondden utan att försöka beräkna en fullständig ljusvolymkarta för modellutrymmet.

Två neurala strålningsfältmodeller används för att demonstrera fem ljusmodeller som är möjliga under NeRFactor. Klicka på bilden för högre upplösning.

Orsak Till Reflektion

Den nya forskningen är kanske mest betydelsefull i att separera lagren av inspelad bild som kontrollerar reflektion. Detta förblir en av de största utmaningarna för neurala strålningsfält, eftersom ett verkligen nytt och flexibelt NeRF-system inte bara måste kunna ersätta texturer, utan också måste ha något sätt att reflektera rörliga objekt (förutom bara den allmänna fasta miljön) som normalt skulle hanteras i en CGI-arbetsflöde.

Denna fråga noterades nyligen i samband med Intels imponerande nya forskning om att omvandla datorspelsbilder till fotorealistiska videor via konvolutionsneuronnät. I sådana arbetsflöden måste många “bakade” aspekter av källmaterialet bli diskreta och utbytbara, och detta är i och för sig lättare att lösa för omlysning (som är en funktion av den geometri som renderas i NeRF) än för reflektioner (som använder “off-screen”-geometri som ligger helt utanför modellens omfång).

Därför isolerar NeRF-video som underlättar reflektion NeRF ett steg närmare att lösa sin “reflektionsutmaning”.

Användningen av en HDR-miljö har redan löst problemet med att generera världsmiljöreflektioner (t.ex. himlar, landskap och andra “fasta” omgivningsfaktorer), men nya metoder behövs för att införa rörliga och dynamiska reflektioner.

Fotogrammetri Med NeRF

Neurala strålningsfältbilder använder maskinlärningsanalys för att utveckla ett helt volymetriskt utrymme från en scen eller ett objekt som har inspelats från flera vinklar.

Olika NeRF-baserade scheman som har dykt upp under det senaste året har använt ett varierat antal bidragande kameror; vissa använder 16 eller fler kameror, medan andra använder så få som en eller två. I alla fall “infylls” de mellanliggande vyerna (dvs. tolkas) så att scenen eller objektet kan navigeras flytande.

Det resulterande företaget är ett helt volymetriskt utrymme, med en inbyggd 3D-förståelse som kan utnyttjas på många sätt, inklusive förmågan att generera traditionella CG-nät från 3D-parsen av ingångsbilderna.

NeRF I Sammanhanget Av En ‘Ny CGI’

Neurala strålningsfältbilder är ritade direkt från bilder av den verkliga världen, inklusive rörliga bilder av människor, föremål och scener. I kontrast till detta kräver en CGI-metodik “studier” och tolkning av världen, vilket kräver skickliga arbetare för att bygga nät, riggar och texturer som använder sig av verkliga världsbilder (t.ex. ansikts- och miljöinspelningar). Det förblir en i grunden tolkande och hantverksmässig metod som är dyr och tidskrävande.

Dessutom har CGI haft pågående problem med “uncanny valley”-effekten i sina försök att återskapa mänskliga likheter, vilket inte utgör något hinder för en NeRF-driven metod, som enkelt inspelar video eller bilder av riktiga människor och manipulerar dem.

Ytterligare har NeRF möjlighet att generera traditionell CGI-liknande nätgeometri direkt från foton om så önskas, och kan i praktiken ersätta många av de manuella procedurer som alltid har varit nödvändiga i datorgenererad bildsynthetis.

Utmaningar För NeRF

Denna senaste forskning från MIT och Google kommer i samband med en verklig flod av NeRF-papper under det senaste året, många av vilka har erbjudit lösningar på de olika utmaningarna som den ursprungliga 2020-papperet gav upphov till.

I april introducerade en kinesisk forskningskonsortium en metod för att separat isolera de enskilda tidslinjerna för aspekter i en NeRF-scen, inklusive människor.

Kinesisk forskning som tillåter slutanvändare att kopiera, klistra in och ändra storlek på inspelade element, som gör det möjligt att separera dem från den linjära tidslinjen för den ursprungliga källvideon. Källa: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Denna metod möjliggör inte bara att omföreställa scenen från valfri vinkel som inspelats av kameramattan (och inte bara den enskilda vy som representeras i en typisk videokapning), utan också möjliggör flexibel komposition – och till och med möjligheten att representera två aspekter från samma inspelning som körs i sina egna individuella tidslinjer (eller till och med baklänges, om nödvändigt).

Kinesisk forskning som tillåter slutanvändare att kopiera, klistra in och ändra storlek på inspelade element, som gör det möjligt att separera dem från den linjära tidslinjen för den ursprungliga källvideon. Källa: https://www.youtube.com/watch?v=Wp4HfOwFGP4

En av de största utmaningarna för NeRF är att sänka de betydande resurser som behövs för att träna en scen, och detta har hanterats i ett antal nyliga papper. Till exempel introducerade Max Planck-institutet för intelligenta system nyligen KiloNeRF, som inte bara accelererar renderingstider med en faktor på 1000, utan också möjliggör att NeRF kan köras interaktivt.

KiloNeRF som körs i en interaktiv miljö med 50 fps på en GTX 1080ti. Källa: https://github.com/creiser/kilonerf

Men NeRF-hastighetsinnovationen som verkligen fångade forskarnas och allmänhetens fantasi 2021 var PlenOctrees-samarbetet, lett av UC Berkeley, som erbjuder realtidsrendering av neurala strålningsfält:

Effekten av PlenOctrees interaktiva funktioner har återskapats i en live, webbaserad gränssnitt.

Live interaktiv rörelse av ett PlenOctrees-objekt i Firefox (rörelsen är smidigare och mer dynamisk än denna GIF representerar). Källa: http://alexyu.net/plenoctrees/demo/

Dessutom erbjuder Recursive-NeRF (från ett papper i maj 2021 av forskare vid Tsinghua University) högkvalitativt rekursivt rendering på begäran. Istället för att tvinga användaren att rendera hela scener, inklusive delar som kanske inte syns, erbjuder Recursive-NeRF något som liknar JPEG:s förlustfria komprimering, och kan generera diskreta sub-NeRF för att hantera extra bilder på begäran – vilket uppnår en enorm besparing av beräkningsresurser.

Behåller detaljer medan onödiga renderberäkningar dumpas med Recursive-NeRF. Klicka på bilden för högre upplösning. Källa: https://arxiv.org/pdf/2105.09103.pdf

Andra metoder inkluderar FastNeRF, som påstår sig uppnå högkvalitativ neural rendering i 200 fps.

Det har noterats att många av optimeringsteknikerna för NeRF involverar ‘baking’ av scenen, genom att förbinda sig till aspekter som önskas renderas och kasta bort andra aspekter, vilket begränsar utforskning men accelererar interaktivitet.

Nackdelen med detta är att stressen flyttas från GPU till lagring, eftersom bakade scener tar upp en oerhörd mängd diskutrymme; till viss del kan detta lindras genom att nedprova den bakade datan, men detta innebär också en viss förbindelse, i termer av att stänga av vägar för utforskning eller interaktivitet.

Med avseende på rörelseinspelning och riggning introducerade ett nytt tillvägagångssätt från Zheijang och Cornell universitet, avslöjat i maj, en metod för att återskapa animerbara människor med hjälp av blandningsviktsfält och skelettstrukturer tolkade från ingångsvideo:

Härledd skelettstruktur i Animerbar NeRF. Källa: https://www.youtube.com/watch?v=eWOSWbmfJo4

När Kommer NeRF Att Ha Sitt ‘Jurassic Park’-Ögonblick?

Trots den snabba takten av framsteg med bildsyntes via neurala strålningsfält, är det först nu som någon form av “termodynamisk lag” kommer att etableras för hur deployerbart NeRF kan bli. I termer av en tidsaxel analog till CGI:s historia, svävar NeRF för närvarande runt 1973, strax före den första användningen av CGI i Westworld.

Det betyder inte att NeRF nödvändigtvis måste vänta nio år för sitt motsvarande Wrath Of Khan-milstolpe, eller decennier för de liknande genombrotten som CGI uppnådde under James Camerons entusiastiska beskydd i 1989 års The Abyss eller 1991 års Terminator 2 – och sedan, teknologins verkligt revolutionerande genombrottsögonblick i 1993 års Jurassic Park.

Bildscenen har förändrats avsevärt sedan den långa perioden av stagnation för foto-kemiska visuella effekter, som dominerade film- och TV-produktion från födelsen av biografen till början av 1990-talet. PC-revolutionen och accelerationen av Moore’s lag ledde till CGI-revolutionen, som annars kunde ha ägt rum så tidigt som 1960-talet.

Det återstår att se om det finns något hinder som är så oövervinnligt att det kan hålla tillbaka NeRF:s framsteg under så lång tid – och om efterföljande innovationer inom datavisualisering kanske inte kommer att överträffa NeRF som den viktigaste utmanaren om CGI:s krona, vilket karakteriserar neurala strålningsfält som den kortlivade “faxmaskinen” för neural bildsyntes.

Än så länge har NeRF inte använts i något sammanhang utanför akademisk forskning; men det är anmärkningsvärt att stora aktörer som Google Research och många av de mest framstående datavisualiseringslaboratorierna tävlar om den senaste NeRF-genombrottet.

Många av NeRF:s största hinder har börjat hanteras direkt i år; om efterföljande forskning erbjuder en lösning på “reflektionsproblemet” och de många stråken av NeRF-optimeringsforskning sammanfogar till en avgörande lösning på teknologins betydande bearbetnings- och/eller lagringskrav, har NeRF verkligen en chans att bli “den nya CGI” inom de närmaste fem åren.