Verbesserung der Photorealität von FahrSimulatoren mit Generativen Adversarial Networks

Ein neues Forschungsprojekt zwischen den USA und China hat den Einsatz von Generativen Adversarial Networks (GANs) zur Verbesserung der Realität von FahrSimulatoren vorgeschlagen.

In einer neuen Herangehensweise an die Herausforderung, photorealistische FahrSzenarien aus der Perspektive des Fahrers zu erstellen, haben die Forscher eine Hybridmethode entwickelt, die die Stärken verschiedener Ansätze kombiniert, indem sie die photorealistischeren Ausgaben von CycleGAN-basierten Systemen mit konventionell generierten Elementen mischt, die einen höheren Detaillierungsgrad und eine größere Konsistenz erfordern, wie z.B. Straßenmarkierungen und die tatsächlich beobachteten Fahrzeuge aus der Perspektive des Fahrers.

Hybrid Generative Neural Graphics (HGNG) bieten eine neue Richtung für FahrSimulatoren, die die Genauigkeit von 3D-Modellen für wesentliche Elemente (wie Straßenmarkierungen und Fahrzeuge) beibehält, während sie die Stärken von GANs bei der Erzeugung interessanter und nicht-repetitiver Hintergrund- und Umgebungsdetails nutzt. Quelle

Das System, das als Hybrid Generative Neural Graphics (HGNG) bezeichnet wird, injiziert die stark begrenzten Ausgaben eines konventionellen, CGI-basierten FahrSimulators in eine GAN-Pipeline, wo das NVIDIA SPADE-Framework die Arbeit der Umgebungsgenerierung übernimmt.

Der Vorteil, so die Autoren, besteht darin, dass FahrUmgebungen potenziell vielfältiger werden, was zu einer immersiveren Erfahrung führt. Wie es derzeit steht, kann auch die Umwandlung von CGI-Ausgaben in photorealistische neuronale Renderings nicht das Problem der Wiederholung lösen, da die ursprünglichen Aufnahmen, die in die neuronale Pipeline eingehen, durch die Grenzen der Modellumgebungen und ihre Neigung, Texturen und Meshes zu wiederholen, eingeschränkt sind.

Umgewandelte Aufnahmen aus dem Jahr 2021 Paper ‘Verbesserung der Photorealität’, die weiterhin von CGI-gerenderten Aufnahmen abhängig sind, einschließlich Hintergrund und allgemeiner Umgebungsdetails, was die Vielfalt der Umgebung in der simulierten Erfahrung einschränkt. Quelle: https://www.youtube.com/watch?v=P1IcaBn3ej0

Das Paper besagt*:

‘Die Fidelität eines konventionellen FahrSimulators hängt von der Qualität seiner Computer-Grafik-Pipeline ab, die aus 3D-Modellen, Texturen und einem Rendering-Engine besteht. Hochwertige 3D-Modelle und Texturen erfordern Handwerkskunst, während der Rendering-Engine komplizierte Physikberechnungen für die realistische Darstellung von Licht und Schatten durchführen muss.’

Das neue Paper trägt den Titel Photorealität in FahrSimulatoren: Kombination von Generativer Adversarialer Bildsynthese mit Rendering und stammt von Forschern der Abteilung für Elektrotechnik und Informatik der Ohio State University und der Chongqing Changan Automobile Co Ltd in Chongqing, China.

Hintergrundmaterial

HGNG transformiert die semantische Layout eines CGI-erzeugten Szenarios, indem es teilweise gerenderte Vordergrundmaterialien mit GAN-erzeugten Umgebungen mischt. Obwohl die Forscher mit verschiedenen Datensätzen experimentierten, um die Modelle zu trainieren, erwies sich der KITTI-Vision-Benchmark-Suite als der effektivste, der hauptsächlich Aufnahmen aus der Perspektive des Fahrers aus der deutschen Stadt Karlsruhe enthält.

HGNG erzeugt eine semantische Segmentierungslayout aus CGI-gerenderten Ausgaben und interponiert dann SPADE mit verschiedenen Stilencodierungen, um zufällige und vielfältige photorealistische Hintergrundbilder, einschließlich nahe gelegener Objekte in städtischen Szenen, zu erstellen. Das neue Paper besagt, dass repetitive Muster, die in CGI-Pipelines mit begrenzten Ressourcen häufig vorkommen, die ‘Immersion’ für menschliche Fahrer, die einen Simulator verwenden, ‘brechen’ und dass die vielfältigeren Hintergründe, die ein GAN bereitstellen kann, dieses Problem lösen können.

Die Forscher experimentierten mit sowohl Conditional GAN (cGAN) als auch CYcleGAN (CyGAN) als generative Netze und fanden letztendlich, dass jeder seine Stärken und Schwächen hat: cGAN erfordert paarierte Datensätze, und CyGAN nicht. Allerdings kann CyGAN derzeit nicht die Spitzenleistung in konventionellen Simulatoren erreichen, da weitere Verbesserungen in Domain-Adaptation und Zyklus-Konsistenz erforderlich sind. Daher erhält cGAN, mit seinen zusätzlichen Anforderungen an paarierte Daten, derzeit die besten Ergebnisse.

Die konzeptionelle Architektur von HGNG.

In der HGNG-Neural-Grafik-Pipeline werden 2D-Darstellungen aus CGI-synthetisierten Szenen gebildet. Die Objekte, die an die GAN-Pipeline übergeben werden, sind auf ‘wesentliche’ Elemente wie Straßenmarkierungen und Fahrzeuge beschränkt, die ein GAN selbst derzeit nicht mit ausreichender zeitlicher Konsistenz und Integrität für einen FahrSimulator rendern kann. Das cGAN-synthetisierte Bild wird dann mit dem teilweise physikbasierten Render kombiniert.

Tests

Um das System zu testen, verwendeten die Forscher SPADE, das auf Cityscapes trainiert wurde, um die semantische Layout der Szene in photorealistische Ausgaben umzuwandeln. Die CGI-Quelle kam aus dem Open-Source-FahrSimulator CARLA, der die Unreal Engine 4 (UE4) nutzt.

Ausgabe aus dem Open-Source-FahrSimulator CARLA. Quelle: https://arxiv.org/pdf/1711.03938.pdf

Die Schattierungs- und Beleuchtungs-Engine von UE4 lieferte die semantische Layout und die teilweise gerenderten Bilder, mit nur Fahrzeugen und Spurmarkierungen als Ausgabe. Die Kombination wurde mit einem GP-GAN-Exemplar erreicht, das auf der Transient-Attributes-Datenbank trainiert wurde, und alle Experimente wurden auf einem NVIDIA RTX 2080 mit 8 GB GDDR6-VRAM durchgeführt.

Die Forscher testeten die semantische Beibehaltung – die Fähigkeit des Ausgabebildes, der ursprünglichen semantischen Segmentierungsmaske zu entsprechen, die als Vorlage für die Szene gedacht war.

In den Testbildern oben sehen wir, dass in dem ‘nur rendern’-Bild (unten links) die vollständige Renderung keine plausiblen Schatten erhält. Die Forscher bemerken, dass hier (gelber Kreis) Schatten von Bäumen, die auf den Bürgersteig fallen, fälschlicherweise von DeepLabV3 (der semantischen Segmentierungs-Framework, der für diese Experimente verwendet wurde) als ‘Straßen’-Inhalt klassifiziert wurden.

In der mittleren Spalte sehen wir, dass cGAN-erzeugte Fahrzeuge nicht genug konsistente Definitionen haben, um in einem FahrSimulator verwendbar zu sein (roter Kreis). In der rechten Spalte sehen wir, dass das kombinierte Bild der ursprünglichen semantischen Definition entspricht, während es die wesentlichen CGI-basierten Elemente beibehält.

Um die Realität zu bewerten, verwendeten die Forscher die Frechet-Inception-Distanz (FID) als Leistungsmetrik, da sie sowohl auf paarierten als auch auf unpaarierten Daten operieren kann.

Drei Datensätze wurden als Referenz verwendet: Cityscapes, KITTI und ADE20K.

Die Ausgabebilder wurden miteinander verglichen, indem FID-Scores verwendet wurden, und gegen die physikbasierte (d.h. CGI-) Pipeline, während auch die semantische Beibehaltung bewertet wurde.

In den Ergebnissen oben, die sich auf die semantische Beibehaltung beziehen, sind höhere Werte besser, wobei der cGAN-Pyramidenansatz (einer der mehreren Pipelines, die von den Forschern getestet wurden) den höchsten Wert erreicht.

Die Ergebnisse oben beziehen sich auf FID-Scores, wobei HGNG den höchsten Wert durch die Verwendung des KITTI-Datensatzes erreicht.

Die ‘Nur rendern’-Methode (bezeichnet als [23]) bezieht sich auf die Ausgabe von CARLA, einer CGI-Pipeline, die nicht photorealistisch sein soll.

Qualitative Ergebnisse auf der konventionellen Render-Engine (‘c’ im Bild oben) zeigen unrealistische Hintergrundinformationen, wie z.B. Bäume und Vegetation, während detaillierte Modelle und just-in-time-Mesh-Loading sowie andere prozessorintensive Verfahren erforderlich sind. In der Mitte (b) sehen wir, dass cGAN nicht genug Definition für die wesentlichen Elemente erhält. Im vorgeschlagenen kombinierten Ausgabebild (a) ist die Definition von Fahrzeugen und Straßenmarkierungen gut, während die Umgebung vielfältig und photorealistisch ist.

Das Paper schließt mit der Aussage, dass die zeitliche Konsistenz des GAN-erzeugten Teils der Render-Pipeline durch die Verwendung größerer städtischer Datensätze erhöht werden könnte und dass zukünftige Arbeiten in dieser Richtung eine echte Alternative zu teuren neuronalen Transformationen von CGI-basierten Streams bieten könnten, während sie eine größere Realität und Vielfalt bieten.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlichung 23. Juli 2022.