NeRF: de uitdaging van het bewerken van de inhoud van neurale stralingsvelden

Eerder dit jaar heeft NVIDIA geavanceerde neurale stralingsvelden (Nerf) onderzoek met name met Instant NeRF, blijkbaar in staat om in slechts enkele seconden verkenbare neurale scènes te genereren - met een techniek die, wanneer het voortgekomen in 2020 kostte het vaak uren of zelfs dagen om te trainen.

NVIDIA's InstantNeRF biedt indrukwekkende en snelle resultaten. Bron: https://www.youtube.com/watch?v=DJ2hcC1orc4

Hoewel dit soort interpolatie een statische scène produceert, is NeRF daar ook toe in staat beweging uitbeelden, en van eenvoudige 'kopiëren en plakken'-bewerking, waar individuele NeRF's in kunnen worden samengevoegd samengestelde scènes or ingevoegd in bestaande scènes.

Geneste NeRF's, opgenomen in onderzoek uit 2021 van de Shanghai Tech University en Dgene Digital Technology. Bron: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Als u echter wilt ingrijpen in een berekende NeRF en daadwerkelijk iets wilt veranderen dat erin gebeurt (op dezelfde manier waarop u elementen in een traditionele CGI-scène kunt veranderen), is het snelle tempo van de sectorbelangen ontstaan zeer weinig solutions tot nu toe, en geen enkele die zelfs maar begint te voldoen aan de mogelijkheden van CGI-workflows.

Hoewel geometrieschatting essentieel is voor het maken van een NeRF-scène, bestaat het uiteindelijke resultaat uit redelijk 'vergrendelde' waarden. Terwijl er is enige vooruitgang gemaakt in de richting van veranderende textuurwaarden in NeRF, zijn de eigenlijke objecten in een NeRF-scène geen parametrische mazen die kunnen worden bewerkt en waarmee kan worden gespeeld, maar meer verwant aan broze en bevroren puntenwolken.

In dit scenario is een weergegeven persoon in een NeRF in wezen een standbeeld (of een reeks beelden, in video NeRF's); de schaduwen die ze op zichzelf en andere objecten werpen, zijn eerder texturen dan flexibele berekeningen op basis van lichtbronnen; en de bewerkbaarheid van NeRF-inhoud is beperkt tot de keuzes die worden gemaakt door de fotograaf die de spaarzame bronfoto's maakt waaruit de NeRF wordt gegenereerd. Parameters zoals schaduwen en pose blijven niet-bewerkbaar, in creatieve zin.

NeRF-bewerking

Een nieuwe academische onderzoekssamenwerking tussen China en het VK gaat deze uitdaging aan NeRF-bewerking, waar mazen in proxy CGI-stijl worden geëxtraheerd uit een NeRF, naar believen vervormd door de gebruiker, en de vervormingen worden teruggevoerd naar de neurale berekeningen van de NeRF:

NeRF-poppenspel met NeRF-bewerking, aangezien de vervormingen berekend op basis van beeldmateriaal worden toegepast op equivalente punten binnen een NeRF-representatie. Bron: http://geometrylearning.com/NeRFEditing/

De methode past de NeuS 2021 VS / China reconstructieve techniek, die een extraheert Ondertekende afstandsfunctie (SDF, een veel oudere methode van volumetrische reconstructie) die in staat is om de geometrie te leren die in de NeRF wordt weergegeven.

Dit SDF-object wordt de beeldhouwbasis van de gebruiker, met mogelijkheden voor kromtrekken en vormen door de eerbiedwaardige As-Rigid-As-Possible (ARABISCH) techniek.

Met ARAP kunnen gebruikers de geëxtraheerde SDF-mesh vervormen, hoewel andere methoden, zoals op skelet gebaseerde en op kooien gebaseerde benaderingen (dwz NURB's), ook goed zouden werken. Bron: https://arxiv.org/pdf/2205.04978.pdf

Met de toegepaste vervormingen is het nodig om deze informatie te vertalen van vector naar het RGB/pixelniveau eigen aan NeRF, wat een iets langere reis is.

De driehoekige hoekpunten van de mesh die de gebruiker heeft vervormd, worden eerst vertaald in een tetraëdrische mesh, die een huid rond de user-mesh vormt. Uit deze extra mesh wordt een ruimtelijk discreet vervormingsveld geëxtraheerd en uiteindelijk wordt een NeRF-vriendelijk continu vervormingsveld verkregen dat kan worden teruggevoerd naar de neurale stralingsomgeving, waarbij de wijzigingen en bewerkingen van de gebruiker worden weerspiegeld en de geïnterpreteerde stralen in het doel rechtstreeks worden beïnvloed. Nerf.

Objecten vervormd en geanimeerd door de nieuwe methode.

In de krant staat:

'Nadat we de oppervlaktevervorming hebben overgebracht naar het tetraëdrische rooster, kunnen we het discrete vervormingsveld van de 'effectieve ruimte' verkrijgen. We gebruiken nu deze discrete transformaties om de stralen te buigen. Om een ​​beeld te genereren van het vervormde stralingsveld, werpen we stralen op de ruimte die het vervormde tetraëdrische rooster bevat.'

De papier is getiteld NeRF-bewerking: geometriebewerking van neurale stralingsvelden, en is afkomstig van onderzoekers van drie Chinese universiteiten en instellingen, samen met een onderzoeker van de School of Computer Science & Informatics aan Cardiff University, en nog twee onderzoekers van de Alibaba Group.

Beperkingen

Zoals eerder vermeld, zal getransformeerde geometrie geen gerelateerde aspecten in de NeRF 'bijwerken' die niet zijn bewerkt, noch secundaire gevolgen van het vervormde element weerspiegelen, zoals schaduwen. De onderzoekers geven een voorbeeld, waarbij onderschaduwen op een menselijke figuur in een NeRF ongewijzigd blijven, ook al zou de vervorming de verlichting moeten veranderen:

Uit het papier: we zien dat de horizontale schaduw op de arm van de figuur op zijn plaats blijft, zelfs als de arm omhoog wordt bewogen.

Experimenten

De auteurs merken op dat er momenteel geen vergelijkbare methoden zijn voor directe interventie in NeRF-geometrie. Daarom waren de experimenten die voor het onderzoek werden uitgevoerd meer verkennend dan vergelijkend.

De onderzoekers demonstreerden NeRF-Editing op een aantal openbare datasets, waaronder personages uit Mixamo en de inmiddels iconische Lego-bulldozer en -stoel uit de originele NeRF uitvoering. Ze experimenteerden ook met een echt gevangen paardenbeeld uit de FVS-gegevensset, evenals hun eigen originele opnames.

Het hoofd van een paard kantelde.

Voor toekomstig werk zijn de auteurs van plan hun systeem te ontwikkelen in het just-in-time (JIT) gecompileerde machine learning-framework Jittor.

Voor het eerst gepubliceerd op 16 mei 2022.