Neue Technik hilft KI, 3D-Objekte zu identifizieren

Eine neue Technik, die von Forschern an der North Carolina State University entwickelt wurde, verbessert die Fähigkeit von künstlicher Intelligenz (KI)-Programmen, 3D-Objekte zu identifizieren. Die Technik, die MonoCon genannt wird, hilft auch dabei, wie die 3D-Objekte im Raum zueinander stehen, indem sie 2D-Bilder verwendet.

MonoCon könnte potenziell eine breite Palette von Anwendungen haben, einschließlich der Unterstützung autonomer Fahrzeuge bei der Navigation um andere Fahrzeuge herum, indem sie 2D-Bilder von einer an Bord befindlichen Kamera verwendet. Es könnte auch eine Rolle in der Fertigung und Robotik spielen.

Tianfu Wu ist der entsprechende Autor des Forschungsberichts und ein Assistenzprofessor für Elektro- und Computer-Ingenieurwesen an der North Carolina State University.

“Wir leben in einer 3D-Welt, aber wenn man ein Bild macht, wird diese Welt in einem 2D-Bild aufgezeichnet”, sagt Wu.

“KI-Programme erhalten visuelle Eingaben von Kameras. Wenn wir also wollen, dass KI mit der Welt interagiert, müssen wir sicherstellen, dass sie in der Lage ist, zu interpretieren, was 2D-Bilder über den 3D-Raum aussagen. In dieser Forschung konzentrieren wir uns auf einen Teil dieser Herausforderung: Wie können wir KI dazu bringen, 3D-Objekte – wie Menschen oder Autos – in 2D-Bildern genau zu erkennen und diese Objekte im Raum zu platzieren?”, fährt Wu fort.

Autonome Fahrzeuge

Autonome Fahrzeuge verlassen sich oft auf Lidar, um den 3D-Raum zu navigieren. Lidar, das Laser verwendet, um Entfernungen zu messen, ist teuer, was bedeutet, dass autonome Systeme nicht viele Redundanz haben. Es wäre sehr teuer, Dutzende von Lidar-Sensoren in ein serienmäßig hergestelltes fahrerloses Auto zu bauen.

“Aber wenn ein autonomes Fahrzeug visuelle Eingaben verwenden könnte, um durch den Raum zu navigieren, könnte man Redundanz aufbauen”, sagt Wu. “Da Kameras erheblich weniger teuer sind als Lidar, wäre es wirtschaftlich machbar, zusätzliche Kameras zu verwenden – Redundanz in das System zu bauen und es somit sicherer und robuster zu machen.

“Das ist eine praktische Anwendung. Wir sind jedoch auch aufgrund der grundlegenden Fortschritte in dieser Arbeit begeistert: Es ist möglich, 3D-Daten aus 2D-Objekten zu erhalten.”

Das Training der KI

MonoCon kann 3D-Objekte in 2D-Bildern identifizieren, bevor es sie in einem “Umrandungsrahmen” platziert, der der KI die äußeren Ränder des Objekts angibt.

“Was unsere Arbeit auszeichnet, ist, wie wir die KI trainieren, was auf vorherigen Trainingsmethoden aufbaut”, sagt Wu. “Wie bei den vorherigen Bemühungen platzieren wir Objekte in 3D-Umrandungsrahmen während des Trainings der KI. Allerdings bitten wir die KI nicht nur, die Kamera-Objekt-Entfernung und die Dimensionen der Umrandungsrahmen vorherzusagen, sondern auch die Positionen jedes der acht Punkte des Rahmens und seine Entfernung vom Zentrum des Umrandungsrahmens in zwei Dimensionen. Wir nennen dies “Hilfskontext” und haben festgestellt, dass es der KI hilft, 3D-Objekte basierend auf 2D-Bildern genauer zu identifizieren und vorherzusagen.

“Die vorgeschlagene Methode wird durch ein bekanntes Theorem der Maßtheorie, das Cramér-Wold-Theorem, motiviert. Es ist auch potenziell auf andere vorhergesagte Aufgaben mit strukturierten Ausgaben in der Computer-Vision anwendbar.”

MonoCon wurde mit einem weit verbreiteten Benchmark-Datensatz namens KITTI getestet.

“Zum Zeitpunkt, als wir diesen Artikel einreichten, zeigte MonoCon eine bessere Leistung als jedes der Dutzende anderer KI-Programme, die darauf abzielten, 3D-Daten über Automobile aus 2D-Bildern zu extrahieren”, sagt Wu.

Das Team wird nun versuchen, den Prozess mit größeren Datensätzen zu skalieren.

“Wir werden diesen Prozess in Zukunft mit größeren Datensätzen skalieren und MonoCon für die Verwendung in der autonomen Fahrzeugtechnik bewerten und feinjustieren”, sagt Wu. “Wir möchten auch Anwendungen in der Fertigung erkunden, um zu sehen, ob wir die Leistung von Aufgaben wie der Verwendung von Roboterarmen verbessern können.”