NeRF: De uitdaging van het bewerken van de inhoud van neurale stralingsvelden

Vroeger dit jaar heeft NVIDIA onderzoek naar neurale stralingsvelden (NeRF) aanzienlijk voortgezet met InstantNeRF, dat ogenschijnlijk in staat is om te renderen neurale scènes in enkele seconden – van een techniek die, toen het in 2020 opkwam, vaak uren of zelfs dagen nodig had om te trainen.

NVIDIA’s InstantNeRF levert indrukwekkende en snelle resultaten. Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

Hoewel dit soort interpolatie een statische scène produceert, is NeRF ook in staat om beweging weer te geven, en van basis ‘knip-en-plak’-bewerking, waarbij individuele NeRFs kunnen worden samengevoegd tot samengestelde scènes of ingevoegd in bestaande scènes.

Geneste NeRFs, onderdeel van onderzoek uit 2021 van Shanghai Tech University en DGene Digital Technology. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Echter, als je wilt ingrijpen in een berekende NeRF en daadwerkelijk iets veranderen dat erin gebeurt (op dezelfde manier als je elementen in een traditionele CGI-scène kunt veranderen), heeft de snelle ontwikkeling van het veld tot nu toe zeer weinig oplossingen opgeleverd, en geen enkele die de mogelijkheden van CGI-workflows benadert.

Hoewel geometrieschatting essentieel is voor het creëren van een NeRF-scène, bestaat het eindresultaat uit vrijwel ‘vaste’ waarden. Er wordt enige vooruitgang geboekt bij het veranderen van texturen in NeRF, maar de daadwerkelijke objecten in een NeRF-scène zijn geen parametrische netwerken die kunnen worden bewerkt en aangepast, maar meer vergelijkbaar met broze en bevroren puntwolken.

In deze situatie is een gerenderde persoon in een NeRF in wezen een standbeeld (of een reeks standbeelden, in video-NeRFs); de schaduwen die ze op zichzelf en andere objecten werpen, zijn texturen, in plaats van flexibele berekeningen op basis van lichtbronnen; en de bewerkbaarheid van NeRF-inhoud is beperkt tot de keuzes die de fotograaf maakt die de schaarse bronfoto’s neemt waaruit de NeRF wordt gegenereerd. Parameters zoals schaduwen en houding blijven onbewerkbaar, in elke creatieve zin.

NeRF-bewerking

Een nieuwe academische onderzoeks samenwerking tussen China en het VK adresseert deze uitdaging met NeRF-bewerking, waarbij proxy-CGI-achtige netwerken uit een NeRF worden geëxtraheerd, op elk gewenst moment door de gebruiker vervormd, en de vervormingen doorgegeven aan de neurale berekeningen van de NeRF;

NeRF-poppenspel met NeRF-bewerking, waarbij de vervormingen berekend uit beeldmateriaal worden toegepast op overeenkomstige punten in een NeRF-weergave. Source: http://geometrylearning.com/NeRFEditing/

De methode past de NeuS-techniek uit 2021 aan, die een Signed Distance Function (SDF, een veel oudere methode voor volumetrische reconstructie) extraheren, die in staat is om de geometrie te leren die in de NeRF wordt weergegeven.

Dit SDF-object wordt de basis voor het modelleren door de gebruiker, met vervormings- en vormgevingsmogelijkheden die worden geboden door de As-Rigid-As-Possible (ARAP)-techniek.

ARAP laat gebruikers toe om het geëxtraheerde SDF-netwerk te vervormen, hoewel andere methoden, zoals skelet-gebaseerde en kooi-gebaseerde benaderingen (d.w.z. NURBs), ook goed zouden werken. Source: https://arxiv.org/pdf/2205.04978.pdf

Met de vervormingen toegepast, is het nodig om deze informatie van vector naar het RGB/pixel-niveau, dat native is voor NeRF, om te zetten, wat een iets langere reis is.

De driehoekige vertices van het netwerk dat de gebruiker heeft vervormd, worden eerst omgezet in een tetraëdraal netwerk, dat een huid vormt rond het gebruikersnetwerk. Een ruimtelijk discrete vervormingsveld wordt geëxtraheerd uit dit extra netwerk, en tenslotte wordt een NeRF-vriendelijk continu vervormingsveld verkregen dat kan worden doorgegeven aan de neurale stralingsomgeving, waardoor de wijzigingen en bewerkingen van de gebruiker worden weergegeven en rechtstreeks van invloed zijn op de geïnterpreteerde stralen in de doel-NeRF.

Objecten die zijn vervormd en geanimeerd door de nieuwe methode.

Het artikel zegt:

‘Na het overdragen van de oppervlaktevervorming naar het tetraëdraal netwerk, kunnen we het discrete vervormingsveld van de “effectieve ruimte” verkrijgen. We gebruiken nu deze discrete transformaties om de stralen te buigen. Om een afbeelding van het vervormde stralingsveld te genereren, sturen we stralen naar de ruimte die het vervormde tetraëdraal netwerk bevat.’

Het artikel heet NeRF-bewerking: geometrische bewerking van neurale stralingsvelden, en komt van onderzoekers uit drie Chinese universiteiten en instellingen, samen met een onderzoeker van de School of Computer Science & Informatics van de Cardiff University, en twee andere onderzoekers van de Alibaba Group.

Beperkingen

Zoals eerder vermeld, zal getransformeerde geometrie geen enkel aspect in de NeRF updaten dat niet is bewerkt, noch reflecteren secundaire gevolgen van het vervormde element, zoals schaduwen. De onderzoekers geven een voorbeeld, waarbij de onder-schaduwen op een menselijke figuur in een NeRF ongewijzigd blijven, zelfs als de vervorming de belichting zou moeten veranderen:

Uit het artikel: we zien dat de horizontale schaduw op de arm van de figuur op zijn plaats blijft, zelfs als de arm omhoog wordt bewogen.

Experimenten

De auteurs merken op dat er momenteel geen vergelijkbare methoden zijn voor directe interventie in NeRF-geometrie. Daarom waren de experimenten die voor het onderzoek zijn uitgevoerd meer exploratoir dan vergelijkend.

De onderzoekers demonstreerden NeRF-bewerking op een aantal openbare datasets, waaronder personages uit Mixamo, en de inmiddels iconische Lego-bulldozer en stoel uit de oorspronkelijke NeRF implementatie. Ze voerden ook experimenten uit op een echt vastgelegd paardenstandbeeld uit de FVS-dataset, evenals hun eigen originele opnames.

Een paardenhoofd dat is gekanteld.

Voor toekomstig onderzoek zijn de auteurs van plan hun systeem te ontwikkelen in het just-in-time (JIT) gecompileerde machine learning-framework Jittor.

Publicatie: 16 mei 2022.