NeRF Zet Nog Een Stap Dichter Bij Het Vervangen Van CGI

Onderzoekers van MIT en Google hebben een grote stap gezet in het oplossen van een van de meest fundamentele obstakels voor een opkomende AI-gedreven technologie die uiteindelijk CGI kan vervangen – het scheiden van neurale radiance field (NeRF) beelden in hun constituerende visuele componenten, zodat de beelden opnieuw kunnen worden getextureerd en belicht.

De nieuwe aanpak, genaamd NeRFactor, splitst effectief de vastgelegde beelden op in per-object normals (waarop texturen kunnen worden toegewezen), lichtzichtbaarheid, albedo (het percentage van incident licht dat wordt weerkaatst van een oppervlak) en Bidirectional Reflectance Distribution Functions (BRDF’s).

Met deze facetten geïsoleerd, is het niet alleen mogelijk om texturen te wisselen voor individuele objecten of objectgroepen, maar ook om nieuwe en unieke lichtbronnen en schaduwimplementaties toe te voegen, waarbij diegene die zijn vastgelegd door de multi-camera arrays die input genereren voor NeRF-beelden, worden genegeerd.

Normals, zichtbaarheid, albedo en BRDF gescheiden onder NeRFactor. Bron: https://www.youtube.com/watch?v=UUVSPJlwhPg

Het model ondersteunt zachte of harde schaduwen van willekeurige, door de gebruiker gedefinieerde lichtbronnen, en scheidt de vier aspecten van vastgelegde video programmatisch, met behulp van een reconstructieverlies, gegevens van eerder berekende BRDF’s en basis eenvoudige gladheidregulering.

NeRFactor’s workflow, waarbij afzonderlijke actiebare facetten van beelden worden geëxtraheerd, afgeleid van meerdere camera’s. Bron: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor gebruikt een HDR-lichtsonde, een goed gevestigde aanpak die sinds de introductie in 1998 de visuele industrie en kunstscene heeft doordrongen, om mogelijke routes voor stralen te evalueren, waardoor willekeurige belichting mogelijk wordt. Aangezien dit een onbeheersbaar aantal parameters genereert, wordt de lichtsonde gefilterd door een multi-laags perceptron (MLP), dat de waargenomen geometrie naar de sonde kaart zonder te proberen een complete lichtvolume kaart voor de modelleruimte te berekenen.

Twee neurale radiance field-modellen worden gebruikt om vijf lichtmodellen te demonstreren die mogelijk zijn onder NeRFactor. Klik op de afbeelding voor een hogere resolutie.

Aanleiding Tot Reflectie

Het nieuwe onderzoek is misschien wel het meest significant in het scheiden van de lagen van vastgelegde beelden die de reflectie controleren. Dit blijft een van de grootste uitdagingen voor neurale radiance field-beelden, aangezien een echt nieuw en flexibel NeRF-systeem niet alleen in staat moet zijn om texturen te vervangen, maar cruciaal ook een manier moet hebben om reflecterende objecten (behalve alleen de vaste omgeving) te verwerken die normaal gesproken in een CGI-werkstroom worden geaccounteerd.

Dit probleem werd onlangs opgemerkt in verband met Intel’s indrukwekkende nieuwe onderzoek naar het transformeren van videogamebeelden in fotorealistische video via convolutionele neurale netwerken. In dergelijke workflows zouden veel ‘gebakken’ aspecten van het bronmateriaal discreet en wisselbaar moeten worden, en dit is naar verluidt gemakkelijker op te lossen voor belichting (die een functie is van de geometrie die in NeRF wordt weergegeven) dan voor reflecties (die ‘buiten-scherm’ geometrie gebruiken die geheel buiten het bereik van het model valt).

Daarom brengt het isoleren van de lagen in NeRF-video die reflectie mogelijk maken NeRF een stap dichter bij het oplossen van zijn ‘reflectie-uitdaging’.

Het gebruik van een HDR-omgeving lost het probleem van het genereren van wereldomgevingsreflecties (d.w.z. hemels, landschappen en andere ‘vaste’ omgevingsfactoren) al op, maar nieuwe benaderingen zullen nodig zijn om dynamische en bewegende reflecties te introduceren.

Fotogrammetrie Met NeRF

Neurale radiance field-beelden gebruiken machine learning-analyse om een volledig volumetrische ruimte te ontwikkelen van een scène of object dat vanuit meerdere hoeken is vastgelegd.

De verschillende NeRF-gebaseerde schema’s die in het afgelopen jaar zijn opgekomen, hebben een divers aantal bijdragende camera-apparaten gebruikt; sommige gebruiken 16 of meer camera’s, anderen slechts één of twee. In alle gevallen worden de tussenliggende gezichtspunten ‘ingevuld’ (d.w.z. geïnterpreteerd) zodat de scène of het object vloeiend kan worden genavigeerd.

Het resulterende entiteit is een volledig volumetrische ruimte, met een intrinsiek 3D-begrip dat op veel manieren kan worden benut, waaronder de mogelijkheid om traditionele CG-meshes te genereren uit de 3D-geparseerde som van de invoerbeelden.

NeRF In De Context Van Een ‘Nieuwe CGI’

Neurale radiance field-beelden worden getekend rechtstreeks vanuit beelden van de echte wereld, waaronder bewegende beelden van mensen, objecten en scènes. In tegenstelling tot een CGI-methode ‘bestudeert’ en interpreteert de wereld, waardoor geschoolde werknemers nodig zijn om mesh, rigs en texturen te bouwen die gebruikmaken van echte wereldbeelden (d.w.z. faciale en omgevingsopnames). Het blijft een wezenlijk interpretatieve en ambachtelijke aanpak die duur en tijdrovend is.

Bovendien heeft CGI voortdurende problemen met het ‘uncanny valley’-effect in zijn pogingen om menselijke gelijkenissen te recreëren, wat geen beperking vormt voor een NeRF-gedreven aanpak, die eenvoudigweg video’s of beelden van echte mensen vastlegt en manipuleert.

Verder kan NeRF traditionele CGI-stijl mesh-geometrie rechtstreeks uit foto’s genereren als dat nodig is, en kan in feite veel van de handmatige procedures die altijd nodig zijn geweest in computer gegenereerde beelden, vervangen.

Uitdagingen Voor NeRF

Dit laatste onderzoek van MIT en Google komt in de context van een ware vloed van NeRF-papers in het afgelopen jaar, waarvan veel oplossingen hebben geboden voor de verschillende uitdagingen die door het initiële paper van 2020 zijn opgeworpen.

In april bood innovatie van een Chinees onderzoeksconsortium een manier om afzonderlijk de individuele tijdslijnen van facetten in een NeRF-scène te isoleren, waaronder mensen.

Het Chinese onderzoek stelt eindgebruikers in staat om vastgelegde elementen te kopiëren, plakken en opnieuw te grootte te maken, losgekoppeld van de lineaire tijdslijn van de oorspronkelijke bronvideo. Bron: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Deze benadering maakt het niet alleen mogelijk om de scène vanuit elk gewenst gezichtspunt te herscheppen (en niet alleen het enkele gezichtspunt dat wordt weergegeven in een typische videovastlegging), maar ook om flexibele compositie mogelijk te maken – en zelfs om twee facetten van dezelfde beelden te vertegenwoordigen die in hun eigen individuele tijdsframes (of zelfs achteruit) lopen.

Het Chinese onderzoek stelt eindgebruikers in staat om vastgelegde elementen te kopiëren, plakken en opnieuw te grootte te maken, losgekoppeld van de lineaire tijdslijn van de oorspronkelijke bronvideo. Bron: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Een van de grootste uitdagingen voor NeRF is het verlagen van de aanzienlijke bronnen die nodig zijn om een scène te trainen, en dit is aangepakt in een aantal recente papers. Zo heeft het Max Planck Institute for Intelligent Systems onlangs KiloNeRF geïntroduceerd, dat niet alleen de renderingtijden met een factor van 1000 versnelt, maar NeRF ook interactief mogelijk maakt.

KiloNeRF draait een interactieve omgeving op 50fps op een GTX 1080ti. Bron: https://github.com/creiser/kilonerf

Andere benaderingen zijn FastNeRF, die beweert hoge-fidelity neurale rendering te bereiken bij 200fps.

Er is opgemerkt dat veel van de optimalisatietechnieken voor NeRF ‘baking’ van de scène betreffen, door te committeren aan aspecten die gewenst zijn om te renderen en andere facetten te negeren, wat de exploratie beperkt maar de interactiviteit aanzienlijk versnelt.

Het nadeel hiervan is dat de druk van de GPU naar de opslag verhuist, omdat gebakken scènes een ongekende hoeveelheid schijfruimte in beslag nemen; in zekere zin kan dit worden gemitigeerd door de gebakken gegevens te downsamplen, hoewel dit ook een zekere toewijding met zich meebrengt, in termen van het afsluiten van wegen van exploratie of interactie.

Met betrekking tot motion capture en rigging bood een nieuwe benadering van de universiteiten van Zheijang en Cornell, onthuld in mei, een methode om animabele mensen te recreëren met behulp van blend weight fields en skeletstructuren die zijn geïnterpreteerd uit invoervideo:

Afgeleide skeletstructuur in Animatable NeRF. Bron: https://www.youtube.com/watch?v=eWOSWbmfJo4

Wanneer Zal NeRF Zijn ‘Jurassic Park’-Moment Meemaken?

Ondanks de snelle voortgang van de beeldsynthese via neurale radiance fields, is het pas in deze periode dat een soort ‘wet van thermodynamica’ zal worden vastgesteld voor hoe inzetbaar NeRF kan worden. In termen van een tijdslijn analoog aan de geschiedenis van CGI, zweeft NeRF momenteel rond 1973, net voor de eerste gebruik van CGI in Westworld.

Dat betekent niet dat NeRF noodzakelijkerwijs negen jaar moet wachten op zijn equivalent Wrath Of Khan-milestone, of decennia voor de soortgelijke doorbraken die CGI heeft behaald onder het enthousiaste patronaat van James Cameron in 1989’s The Abyss of 1991’s Terminator 2 – en toen, de technologie’s werkelijk revolutionaire doorbraakmoment in 1993’s Jurassic Park.

De beeldvorming is sinds de lange periode van stagnatie voor fotochemische visuele effecten, die de film- en televisieproductie vanaf de geboorte van de cinema tot de vroege jaren 90 domineerde, aanzienlijk veranderd. De komst van de PC-revolutie en de versnelling van Moore’s wet leidden tot de CGI-revolutie, die anders mogelijk al in de jaren 60 had kunnen plaatsvinden.

Het blijft te zien of er een barrière is die zo onoverkomelijk is dat het de voortgang van NeRF voor zo lang kan tegenhouden – en of latere innovaties in computerzicht mogelijk NeRF niet als de belangrijkste kandidaat voor de CGI-kroon zullen karakteriseren, waarbij neurale radiance fields worden gekarakteriseerd als de kortstondige ‘faxmachine’ van neurale beeldsynthese.

NeRF is nog niet gebruikt in enige context buiten academisch onderzoek; maar het is opvallend dat grote spelers zoals Google Research en veel van de meest prominente computerzichtonderzoekscentra concurreren voor de laatste NeRF-doorbraak.

Veel van NeRF’s grootste obstakels zijn dit jaar rechtstreeks aangepakt; als latere onderzoek een oplossing biedt voor het ‘reflectieprobleem’, en de vele onderzoekslijnen van NeRF-optimalisatie samenkomen in een beslissende oplossing voor de technologie’s aanzienlijke verwerkings- en/of opslagvereisten, heeft NeRF echt een kans om ‘de nieuwe CGI’ te worden in de komende vijf jaar.