Die neue CGI: Erstellung von neuronalen Nachbarschaften mit Block-NeRF

Neuronale Radiance-Felder (NeRF) ermöglichen es, Objekte mithilfe von neuronalen Netzen zu rekonstruieren und zu erkunden, indem nur multiple Blickwinkel-Fotografien als Eingabe verwendet werden, ohne die Komplexität und den Aufwand traditioneller CGI-Methoden.

Das Verfahren ist jedoch rechenintensiv, was ursprünglich die NeRF-Umgebungen auf Tischmodell-Szenarien beschränkte. Dennoch wurde NeRF von einer engagierten, ja sogar franticallyen Forschungsgemeinschaft übernommen, die im Laufe des letzten Jahres externe Rekonstruktionen sowie bearbeitbare neuronale Menschen ermöglicht hat, sowie viele andere Innovationen.

Jetzt erkennt eine neue Forschungsinitiative, an der auch Google Research beteiligt ist, die möglichen harten Grenzen bei der Optimierung von NeRF und konzentriert sich stattdessen auf das Zusammenfügen von NeRF-Umgebungen, um auf Abruf Nachbarschaften mit mehreren koordinierten NeRF-Instanzen zu erstellen.

Blickwinkel aus einem Block-NeRF-Netzwerk von verknüpften NeRFs. Siehe eingebettetes Video am Ende des Artikels und auch Quellenlink für hochauflösende, vollständige Videos. Quelle: https://waymo.com/research/block-nerf/

Die Navigation durch das Netzwerk von verknüpften NeRFs macht NeRF skalierbar und modular, indem es navigierbare Umgebungen bereitstellt, die zusätzliche Teile der Nachbarschaft laden, wenn sie benötigt werden, ähnlich wie die Ressourcen-Optimierungsverfahren von Videospielen, bei denen das, was um die Ecke ist, selten geladen wird, bis es klar ist, dass die Umgebung benötigt wird.

Im Rahmen eines großen Vorstoßes, um separate Aspekte wie Wetter und Stunde zu entflechten, führt Block-NeRF auch “Erscheinungscodes” ein, die es ermöglichen, den Tag dynamisch zu ändern:

Änderung des Tages mit Block-NeRF. Siehe eingebettetes Video am Ende des Artikels und auch Quellenlink für hochauflösende, vollständige Videos. Quelle: https://waymo.com/research/block-nerf/

Das neue Papier legt nahe, dass die NeRF-Optimierung ihre eigenen thermischen Grenzen erreicht und dass zukünftige Einsatzmöglichkeiten von neuronalen Radiance-Umgebungen in virtueller Realität, anderen interaktiven Sphären und VFX-Arbeiten wahrscheinlich von parallelen Operationen abhängen, ähnlich wie Moores Gesetz schließlich zu Multi-Core-Architekturen, parallelen Optimierungen und neuen Ansätzen für die Zwischenspeicherung führte.

Die Autoren des Papiers (mit dem Titel Block-NeRF: Skalierbare große Szenen-Neuronale Ansichtssynthese) verwendeten 2,8 Millionen Bilder, um die größte neuronale Szene zu erstellen, die jemals versucht wurde – eine Reihe von Nachbarschaften in San Francisco.

Block-NeRF navigiert durch die Grace Cathedral in San Francisco. Siehe eingebettetes Video am Ende des Artikels und auch Quellenlink für hochauflösende, vollständige Videos. Quelle: https://waymo.com/research/block-nerf/

Der Hauptautor des Papiers, der die Universität Berkeley vertritt, ist Matthew Tancik, der Co-Erfinder von Neuralen Radiance-Feldern, der diese Arbeit während eines Praktikums bei der Firma Waymo, dem Gastgeber des Projektseiten, durchgeführt hat. Die Initiative bietet auch eine Video-Übersicht auf YouTube, die am Ende dieses Artikels eingebettet ist, sowie viele unterstützende und ergänzende Video-Beispiele auf der Projektseite.

Das Papier ist von mehreren anderen NeRF-Ursprüngen co-autorisiert, darunter Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) und Jonathan T. Barron (Google Research). Die anderen Mitwirkenden sind Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar und Vincent Casser, alle von Waymo.

Block-NeRF wurde hauptsächlich als Forschung in virtuellen Umgebungen für autonome Fahrzeugsysteme, einschließlich selbstfahrender Autos und Drohnen, entwickelt.

Die Embarcadero-Straße aus einer 180-Grad-Perspektive in Block-NeRF. Siehe eingebettetes Video am Ende des Artikels und auch Quellenlink für hochauflösende, vollständige Videos. Quelle: https://waymo.com/research/block-nerf/

Andere Faktoren, die in Block-NeRF dynamisch geändert werden können, sind Blendenöffnung (siehe Bild oben), Wetter und Jahreszeiten.

Allerdings kann die Änderung der Jahreszeit zu damit verbundenen Änderungen in der Umgebung führen, wie z.B. Bäume ohne Blätter, was ein noch umfangreicheres Eingabedatenset erfordert, als für Block-NeRF konstruiert wurde. Das Papier besagt:

‘[Laub] ändert sich saisonal und bewegt sich im Wind; dies führt zu verschwommenen Darstellungen von Bäumen und Pflanzen. Ähnliche zeitliche Inkonsistenzen in den Trainingsdaten, wie Baumaßnahmen, werden nicht automatisch gehandhabt und erfordern das manuelle Retraining der betroffenen Blöcke.’

Apokalyptische Darstellung

Wenn Sie sich das am Ende des Artikels eingebettete Video ansehen, werden Sie eine Walking Dead-ähnliche Spärlichkeit in der vernetzten Block-NeRF-Umgebung bemerken. Aus verschiedenen Gründen, nicht zuletzt, um eine simulierte Starter-Umgebung für robotische Systeme, Autos, Fußgänger und andere vorübergehende Objekte bereitzustellen, wurden diese absichtlich aus dem Quellenmaterial entfernt, aber dies hat einige Artefakte hinterlassen, wie z.B. die Schatten von “gelöschten” parkenden Fahrzeugen:

Der Phantom-Schatten eines gelöschten Autos. Quelle: https://waymo.com/research/block-nerf/

Um eine Vielzahl von Beleuchtungsumgebungen wie Tag oder Nacht zu ermöglichen, wurden die Netze so trainiert, dass sie entflechtete Datenströme in Bezug auf jede gewünschte Bedingung aufnehmen. Im Bild unten sehen wir die beitragenden Ströme für Block-NeRF-Footage einer Autobahn bei Tag und bei Nacht:

Die auf Abruf verfügbaren Facetten hinter einer scheinbar ‘gebackenen’ Block-NeRF-Darstellung, die es dem Benutzer ermöglichen, auf die Nacht umzuschalten, wenn erforderlich. Quelle: https://waymo.com/research/block-nerf/

Umwelt- und ethische Überlegungen

In den letzten Jahren haben Forschungseinreichungen begonnen, Vorbehalte und Haftungsausschlüsse bezüglich möglicher ethischer und umweltbedingter Auswirkungen der vorgeschlagenen Arbeit zu enthalten. Im Falle von Block-NeRF bemerken die Autoren, dass die Energieanforderungen hoch sind und dass die Berücksichtigung von kurzfristigen und langfristigen transienten Objekten (wie Blätter auf Bäumen und Baumaßnahmen) eine regelmäßige Neuerfassung der Quelldaten erfordern würde, was zu erhöhter “Überwachung” in städtischen Gebieten führen würde, deren neuronale Modelle aktualisiert werden müssen.

Die Autoren erklären:

‘Je nachdem, in welchem Umfang diese Arbeit durchgeführt wird, können die Rechenanforderungen zu Umweltschäden führen, wenn die für die Rechenleistung verwendete Energie zu erhöhten Kohlenstoffemissionen führt. Wie im Papier erwähnt, sehen wir weitere Arbeiten, wie z.B. Zwischenspeicher-Methoden, die die Rechenanforderungen reduzieren und somit den Umweltschaden mildern könnten.’

In Bezug auf die Überwachung fahren sie fort:

‘Zukünftige Anwendungen dieser Arbeit könnten noch umfangreichere Datenerfassungsbemühungen beinhalten, was weitere Datenschutzbedenken aufwirft. Während detaillierte Bilder von öffentlichen Straßen bereits auf Diensten wie Google Street View gefunden werden können, könnte unsere Methode wiederholte und regelmäßigere Scans der Umgebung fördern. Einige Unternehmen im Bereich der autonomen Fahrzeuge sind auch bekannt dafür, regelmäßige Bereichsscans mit ihrer Fahrzeugflotte durchzuführen; jedoch verwenden einige möglicherweise nur LiDAR-Scans, die weniger empfindlich sein können als die Erfassung von Kamera-Bildern.’

Methoden und Lösungen

Die einzelnen NeRF-Umgebungen können theoretisch auf jede Größe skaliert werden, bevor sie in ein Block-NeRF-Array zusammengesetzt werden. Dies ermöglicht die granulare Einbeziehung von Inhalten, die definitiv Änderungen unterliegen, wie z.B. Bäume, und die Identifizierung und Verwaltung von Baumaßnahmen, die über Jahre hinweg bestehen können, aber wahrscheinlich evolvieren und schließlich konsistente Entitäten werden.

Im Rahmen dieser ersten Forschungsarbeit sind jedoch die diskreten NeRF-Blöcke auf die tatsächlichen Stadtblöcke jeder dargestellten Umgebung beschränkt, die mit einer 50-prozentigen Überlappung zusammengestellt werden, um einen konsistenten Übergang von einem Block zum nächsten zu gewährleisten, wenn der Benutzer durch das Netzwerk navigiert.

Jeder Block ist durch einen geografischen Filter eingeschränkt. Die Autoren bemerken, dass dieser Teil des Frameworks für die Automatisierung offen ist und dass ihre Implementierung überraschenderweise auf OpenStreetMap und nicht auf Google Maps basiert.

Der Schnittpunkt-Radius für einen ‘aktiven’ Block-NeRF-Render-Bereich. Quelle: Waymo

Die Blöcke werden parallel trainiert, wobei die benötigten Blöcke auf Abruf gerendert werden. Die innovativen Erscheinungscodes werden auch innerhalb des Block-Sets orchestriert, um sicherzustellen, dass man nicht unerwartet in unterschiedliches Wetter, Tageszeit oder sogar eine andere Jahreszeit reist.

Block-NeRF-Segmente werden in Bezug auf die Belichtung konditioniert, ähnlich wie bei der High Dynamic Range (HDR) in fotografischem Quellenmaterial. Quelle: Waymo

Die Fähigkeit, Beleuchtung und andere Umgebungsvariablen zu ändern, wird durch die generativen Latent-Optimierungen eingeführt, die in NeRF in der Wildnis (NeRF-W) vorgestellt wurden, die selbst die Methode aus dem Forschungspapier von Facebook AI aus dem Jahr 2019 Optimierung des Latenten Raums von Generativen Netzen ableiteten.

Ein semantisches Segmentierungsmodell, das ursprünglich für Panoptic-DeepLab im Jahr 2020 entwickelt wurde, wird verwendet, um unerwünschte Elemente (wie Menschen und Fahrzeuge) zu blockieren.

Daten

Da die Autoren feststellten, dass gängige städtische Datensätze wie CityScapes nicht für solche detaillierten Arbeiten wie Block-NeRF geeignet sind, erstellten die Forscher ihren eigenen Datensatz. Bild-Daten wurden von 12 Kameras aufgenommen, die eine 360-Grad-Ansicht umfassten, mit Footage, das mit 10 Hz und einem skalaren Belichtungswert aufgenommen wurde.

Die in San Francisco abgedeckten Nachbarschaften waren Alamo Square und Mission Bay. Für die Aufnahmen in Alamo Square wurde ein Bereich von etwa 960 m x 570 m abgedeckt, der in 35 Block-NeRF-Instanzen unterteilt wurde, von denen jede auf Daten von 38 bis 48 verschiedenen Datenerfassungsläufen trainiert wurde, mit einer Gesamtfahrtzeit von 18-28 Minuten.

Die Anzahl der beitragenden Bilder für jeden Block-NeRF lag zwischen 64.575 und 108.216, und die insgesamt für diesen Bereich aufgezeichnete Fahrtzeit betrug 13,4 Stunden über 1.330 verschiedene Datenerfassungsläufe. Dies führte zu 2.818.745 Trainingsbildern allein für Alamo Square. Siehe das Papier für weitere Details zur Datenerfassung für Mission Bay.

Erstveröffentlicht am 11. Februar 2022.