Umwandlung von LiDAR in foto-realistische Bilder mit einem Generativen Adversarial Network

Letzte Woche wurde ein Video veröffentlicht, das zeigt, wie ein Tesla -Autopilot-System direkt in die Seite eines stillstehenden Fahrzeugs auf einer Autobahn im Juni 2021 krachte. Die Tatsache, dass das Fahrzeug dunkel und schwer zu erkennen war, hat zu Diskussionen über die Einschränkungen der Verwendung von Computer-Vision in autonomen Fahrzeugen geführt.

Das veröffentlichte Video zeigt den Moment des Aufpralls. Quelle: https://twitter.com/greentheonly/status/1473307236952940548

Obwohl die Video-Komprimierung in dem weit verbreiteten Video einen etwas übertriebenen Eindruck davon vermittelt, wie schnell das immobilisierte Fahrzeug auf den Fahrer zukam, zeigt ein Video mit höherer Qualität dasselbe Ereignis und demonstriert, dass ein vollständig aufmerksamer Fahrer auch nur mit einem verspäteten Ausweichen oder einem teilweise effektiven Bremsen reagieren würde.

Das Video trägt zu der Kontroverse um Teslas Entscheidung bei, Radar-Sensoren für Autopiloten zu entfernen, die im Mai 2021 bekannt gegeben wurde, und ihre Haltung zu visionbasierten Systemen gegenüber anderen Echo-Ortungstechnologien wie LiDAR.

Ein neues Forschungspapier aus Israel bietet einen Ansatz, um die LiDAR- und Computer-Vision-Domänen zu verbinden, indem LiDAR-Punktwolken in foto-realistische Bilder mit Hilfe eines Generativen Adversarial Networks (GAN) umgewandelt werden.

In dem neuen Projekt aus Israel werden schwarze Autos, die in LiDAR-Aufnahmen identifiziert wurden, in eine ‘Tageslicht’-Szene für computer-vision-basierte Analysen umgewandelt, ähnlich wie Tesla es für die Entwicklung seines Autopilot-Systems verfolgt. Quelle: https://arxiv.org/pdf/2112.11245.pdf

Die Autoren erklären:

‘Unsere Modelle haben gelernt, realistisch aussehende Bilder aus Punktwolken zu erstellen, sogar Bilder mit schwarzen Autos.

‘Schwarze Autos sind schwer zu erkennen, weil sie eine geringe Reflexionsrate haben. Dieser Ansatz könnte in Zukunft verwendet werden, um visuelle Objekterkennung auf foto-realistischen Bildern durchzuführen, die aus LiDAR-Punktwolken generiert werden.’

Foto-realistische, LiDAR-basierte Bildströme

Das neue Papier trägt den Titel Erzeugung foto-realistischer Bilder aus LiDAR-Punktwolken mit Generativen Adversarial Networks und stammt von sieben Forschern an drei israelischen akademischen Einrichtungen, zusammen mit sechs Forschern von Innoviz Technologies.

Die Forscher versuchten herauszufinden, ob GAN-basierte synthetische Bilder in einem geeigneten Tempo aus den Punktwolken generiert werden können, die von LiDAR-Systemen erzeugt werden, so dass der resultierende Bildstrom für Objekterkennung und semantische Segmentierung verwendet werden kann.

Daten

Die zentrale Idee, wie in so vielen neuen [x]>[x] Bild-Transliterationsprojekten, besteht darin, einen Algorithmus auf gepaarten Daten zu trainieren, bei denen LiDAR-Punktwolkenbilder (die auf von Geräten emittiertem Licht basieren) gegen ein passendes Bild von einer Frontkamera trainiert werden.

Da die Aufnahmen bei Tageslicht gemacht wurden, bei dem ein Computer-Vision-System ein schwarzes Fahrzeug leichter erkennen kann (wie das, in das der Tesla im Juni gefahren ist), sollte diese Ausbildung eine zentrale Wahrheit liefern, die resistenter gegen dunkle Bedingungen ist.

Die Daten wurden mit einem InnovizOne-LiDAR-Sensor gesammelt, der eine Aufnahmerate von 10fps oder 15fps bietet, je nach Modell.

LiDAR-Daten, die von einem Innoviz-Gerät aufgenommen wurden. Quelle: https://www.youtube.com/watch?v=wmcaf_VpsQI

Das resultierende Dataset enthielt etwa 30.000 Bilder und 200.000 gesammelte 3D-Punkte. Die Forscher führten zwei Tests durch: einen, bei dem die Punktwolken-Daten nur Reflexionsinformationen enthielten; und einen zweiten, bei dem die Punktwolken-Daten zwei Kanäle hatten, einen für Reflexions- und einen für Distanzinformationen.

Im ersten Experiment wurde das GAN 50 Epochen lang trainiert, nach denen Überanpassung ein Problem darstellte.

GAN-erzeugte Bilder aus dem ersten Experiment. Links, Punktwolken-Daten; in der Mitte, tatsächliche Frames aus der Aufnahme, die als Grundwahrheit verwendet wurden; rechts, die synthetischen Darstellungen, die vom Generativen Adversarial Network erstellt wurden.

Die Autoren erklären:

‘Der Test-Datensatz ist eine vollständig neue Aufnahme, die das GAN vor dem Test noch nie gesehen hat. Dies wurde nur mit Reflexionsinformationen aus der Punktwolke vorhergesagt.

‘Wir haben uns entschieden, Frames mit schwarzen Autos zu zeigen, weil schwarze Autos normalerweise schwer zu erkennen sind. Wir können sehen, dass der Generator gelernt hat, schwarze Autos zu generieren, wahrscheinlich aus Kontextinformationen, da die Farben und die genauen Formen der Objekte in den vorhergesagten Bildern nicht identisch sind mit den tatsächlichen Bildern.’

Im zweiten Experiment trainierten die Autoren das GAN 40 Epochen lang mit einem Batch-Size von 1, was zu einer ähnlichen Darstellung von ‘repräsentativen’ schwarzen Autos führte, die größtenteils aus Kontextinformationen gewonnen wurden. Diese Konfiguration wurde auch verwendet, um ein Video zu erstellen, das die GAN-erzeugten Bilder (oben im Beispielbild) zusammen mit den Grundwahrheitsbildern zeigt.

Auswertung

Der übliche Prozess der Auswertung und des Vergleichs mit bestehenden State-of-the-Art-Techniken war aufgrund der einzigartigen Natur dieses Projekts nicht möglich. Stattdessen entwickelten die Forscher eine benutzerdefinierte Metrik, die den Umfang misst, in dem Autos (kleine und flüchtige Teile der Quellbilder) in den Ausgabebildern dargestellt werden.

Sie wählten 100 Paare von LiDAR-/erzeugten Bildern aus jedem Satz und teilten effektiv die Anzahl der Auto-Bilder in den Quellbildern durch die Anzahl der Auto-Bilder in den synthetischen Daten, was eine Metrik-Skala von 0 bis 1 ergab.

Die Autoren erklären:

‘Der Score in beiden Experimenten lag zwischen 0,7 und 0,8. Angesichts der Tatsache, dass die allgemeine Qualität der vorhergesagten Bilder niedriger ist als die der tatsächlichen Bilder (es ist im Allgemeinen schwieriger, Objekte in Bildern mit niedrigerer Qualität zu erkennen), zeigt dieser Score an, dass die überwiegende Mehrheit der Autos, die in den Grundwahrheitsbildern vorhanden sind, auch in den vorhergesagten Bildern vorhanden sind.’

Die Forscher kamen zu dem Schluss, dass die Erkennung von schwarzen Fahrzeugen, die ein Problem für computer-vision-basierte Systeme und LiDAR darstellt, durch die Erkennung eines Fehlens von Daten für bestimmte Bereiche des Bildes erreicht werden kann:

‘Die Tatsache, dass in den vorhergesagten Bildern Farbinformationen und genaue Formen nicht identisch sind mit den Grundwahrheitsbildern, legt nahe, dass die Vorhersage von schwarzen Autos hauptsächlich aus Kontextinformationen und nicht aus der LiDAR-Reflexion der Punkte selbst abgeleitet wird.

‘Wir schlagen vor, dass, zusätzlich zum herkömmlichen LiDAR-System, ein zweites System, das foto-realistische Bilder aus LiDAR-Punktwolken erzeugt, simultan für die visuelle Objekterkennung in Echtzeit läuft.’

Die Forscher planen, die Arbeit in Zukunft mit größeren Datensätzen fortzusetzen.

Latenz und der überfüllte SDV-Verarbeitungsstack

Ein Kommentator des weit verbreiteten Twitter-Beitrags des Autopilot-Unfalls schätzte, dass, wenn das Fahrzeug mit etwa 120 km/h (110 Fuß pro Sekunde) unterwegs war, ein Video-Feed mit 20 Bildern pro Sekunde nur etwa 1,7 Meter pro Bild abdecken würde. Wenn jedoch das Fahrzeug mit Teslas neuester Hardware und Software ausgestattet war, wäre die Bildrate 36 Bilder pro Sekunde (für die Hauptkamera) gewesen, was die Auswertungsrate auf 110 Fuß pro Sekunde (3 Fuß pro Bild) setzen würde.

Neben den Kosten und der Ergonomie besteht das Problem bei der Verwendung von LiDAR als zusätzlichen Datenstrom in der enormen Menge an Informationen, die in den SDV-Verarbeitungsframework einfließen. Kombiniert mit der kritischen Natur der Aufgabe scheint dies Radar und LiDAR aus dem Autopilot-Stack verdrängt zu haben, um bildbasierte Auswertungsmethoden zu bevorzugen.

Daher scheint es unwahrscheinlich, dass ein System, das LiDAR verwendet, um foto-realistische Bilder abzuleiten, aus Teslas Sicht machbar ist.

Tesla-Gründer Elon Musk ist kein blanker Kritiker von LiDAR, das er als für Andockverfahren bei SpaceX verwendet, aber er hält die Technologie für ‘sinnlos’ für selbstfahrende Fahrzeuge. Musk schlägt vor, dass eine Wellenlänge, die Okklusionen durchdringt, wie die ~4mm-Präzisionsradar, nützlicher wäre.

Als jedoch im Juni 2021 Tesla-Fahrzeuge nicht mit Radar ausgestattet waren. Es scheint derzeit nicht, dass es viele Projekte gibt, die darauf abzielen, Bildströme aus Radar auf die gleiche Weise wie das aktuelle israelische Projekt zu erzeugen (obwohl das US-Energieministerium einen Versuch für radar-basierte GAN-Bilder im Jahr 2018 gesponsert hat).

Erstveröffentlichung: 23. Dezember 2021.