Neurales Rendering: NeRF macht einen Spaziergang im Freien

Ein Zusammenschluss von Google Research und der Harvard University hat ein neues Verfahren entwickelt, um 360‑Grad‑Neuronenvideos kompletter Szenen mit Neural Radiance Fields (NeRF) zu erzeugen. Der neuartige Ansatz bringt NeRF einen Schritt näher an den lockeren, abstrakten Einsatz in jeder Umgebung, ohne auf Tischmodelle oder geschlossene Innenraumszenarien beschränkt zu sein.

Siehe Ende des Artikels für das vollständige Video. Quelle: https://www.youtube.com/watch?v=zBSH-k9GbV4

Mip-NeRF 360 kann erweiterte Hintergründe und „unendliche“ Objekte wie den Himmel verarbeiten, weil es im Gegensatz zu den meisten vorherigen Varianten Grenzen für die Interpretation von Lichtstrahlen setzt und Aufmerksamkeitsgrenzen schafft, die sonst lange Trainingszeiten rechtfertigen. Siehe das neue begleitende Video, das am Ende dieses Artikels eingebettet ist, für weitere Beispiele und einen vertieften Einblick in den Prozess.

Das neue Paper trägt den Titel Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields und wird von Senior Staff Research Scientist bei Google Research Jon Barron geleitet.

Um den Durchbruch zu verstehen, ist es notwendig, ein grundlegendes Verständnis dafür zu haben, wie bildsynthesebasierte neuronale Strahlungsfeld‑Methoden funktionieren.

Was ist NeRF?

Es ist problematisch, ein NeRF‑Netzwerk als ‘Video’ zu beschreiben, da es eher einer vollständig 3D‑realisierten, aber KI‑basierten virtuellen Umgebung entspricht, in der mehrere Blickwinkel aus einzelnen Fotos (einschließlich Videoframes) verwendet werden, um eine Szene zusammenzusetzen, die technisch nur im latenten Raum eines maschinellen Lernalgorithmus existiert – aus der jedoch nach Belieben eine enorme Anzahl von Blickwinkeln und Videos extrahiert werden kann.

Eine Darstellung der mehreren Kamerapunkte, die die Daten liefern, die NeRF zu einer neuronalen Szene zusammensetzt (rechts abgebildet).

Die aus den beitragenden Fotos gewonnenen Informationen werden in eine Matrix trainiert, die einer traditionellen Voxel‑Gitter-Struktur in CGI‑Workflows ähnelt, da jeder Punkt im 3D‑Raum einen Wert erhält, wodurch die Szene navigierbar wird.

Ein traditionelles Voxel‑Matrix legt Pixelinformationen (die normalerweise in einem 2D‑Kontext, etwa dem Pixelraster einer JPEG‑Datei existieren) in einen dreidimensionalen Raum. Quelle: https://www.researchgate.net/publication/344488704_Processing_and_analysis_of_airborne_full-waveform_laser_scanning_data_for_the_characterization_of_forest_structure_and_fuel_properties Quelle: ResearchGate

Nach Berechnung des Zwischenraums zwischen den Fotos (falls nötig) wird der Pfad jedes möglichen Pixels jedes beitragenden Fotos effektiv „ray‑traced“ und erhält einen Farbwert, einschließlich eines Transparenzwertes (ohne den die neuronale Matrix völlig undurchsichtig oder völlig leer wäre).

Wie Voxel‑Gitter und im Gegensatz zu CGI‑basierten 3D‑Koordinatenräumen existiert das „Innere“ eines „geschlossenen“ Objekts nicht in einer NeRF‑Matrix. Man kann ein CGI‑Schlagzeug öffnen und hineinschauen, wenn man möchte; aber für NeRF endet die Existenz des Schlagzeugs, sobald der Opazitätswert seiner Oberfläche „1“ erreicht.

Ein weiter Blick auf ein Pixel

Mip-NeRF 360 ist eine Erweiterung der Forschung aus dem März 2021, die effektiv effizientes Anti‑Aliasing zu NeRF einführte, ohne aufwendiges Supersampling.

NeRF berechnet traditionell nur einen Pixelpfad, was dazu neigt, die Art von „Jaggies“ zu erzeugen, die frühe Internet‑Bildformate sowie ältere Spielesysteme charakterisierten. Diese gezackten Kanten wurden durch verschiedene Methoden behoben, die meist das Sampling benachbarter Pixel und das Finden einer Durchschnittsdarstellung umfassen.

Da traditionelles NeRF nur diesen einen Pixelpfad abtastet, führte Mip‑NeRF ein „kegelförmiges“ Einzugsgebiet ein, ähnlich einer breitstrahlenden Taschenlampe, das ausreichend Informationen über benachbarte Pixel liefert, um ein sparsames Antialiasing mit verbesserten Details zu erzeugen.

Der von Mip‑NeRF genutzte kegelförmige Einzugsbereich wird in konische Frustum‑Abschnitte (unten) unterteilt, die weiter „verschwommen“ werden, um einen unschärferen Gauß‑Raum darzustellen, der zur Berechnung von Genauigkeit und Aliasing eines Pixels verwendet werden kann. Quelle: https://www.youtube.com/watch?v=EpH175PY1A0

Die Verbesserung gegenüber einer Standard‑NeRF‑Implementierung war bemerkenswert:

Mip‑NeRF (rechts), veröffentlicht im März 2021, liefert verbesserte Details durch eine umfassendere, aber ökonomische Aliasing‑Pipeline, anstatt lediglich Pixel zu „verwischen“, um gezackte Kanten zu vermeiden. Quelle: https://jonbarron.info/mipnerf/

NeRF unbegrenzt

Das März‑Paper ließ drei Probleme unbeantwortet, die die Nutzung von Mip‑NeRF in unbegrenzten Umgebungen betreffen, die sehr entfernte Objekte, einschließlich Himmel, umfassen können. Das neue Paper löst dies, indem es eine Kalman‑artige Verzerrung auf die Mip‑NeRF‑Gauss‑Verteilungen anwendet.

Zweitens erfordern größere Szenen mehr Rechenleistung und längere Trainingszeiten, was Mip‑NeRF 360 löst, indem es die Szenengeometrie mit einem kleinen „Vorschlag‑Mehrschicht‑Perzeptron“ (MLP) destilliert, das die von einem großen Standard‑NeRF‑MLP vorhergesagte Geometrie vorgibt. Dadurch wird das Training um das Dreifache beschleunigt.

Schließlich neigen größere Szenen dazu, die Diskretisierung der interpretierten Geometrie mehrdeutig zu machen, was zu den Artefakten führt, die Gamer aus „zerreißenden“ Spielausgaben kennen. Das neue Paper geht darauf ein, indem es einen neuen Regularisierer für Mip‑NeRF‑Strahl‑Intervalle erstellt.

Rechts sehen wir unerwünschte Artefakte in Mip‑NeRF aufgrund der Schwierigkeit, eine so große Szene zu begrenzen. Links sehen wir, dass der neue Regularisierer die Szene ausreichend optimiert hat, um diese Störungen zu entfernen.

Um mehr über das neue Paper zu erfahren, sehen Sie sich das Video unten an und außerdem die Videoeinführung vom März 2021 zu Mip‑NeRF. Weitere Informationen zur NeRF‑Forschung finden Sie auch in unserer bisherigen Berichterstattung.

Ursprünglich veröffentlicht 25th November 2021
21st Dezember 2021, 12:25pm – Ersetzt totes Video. – MA