Fortschritte in “Spatial-AI” ermöglichen es Robotern, physische Umgebungen wie ein Mensch wahrzunehmen

Ingenieure am MIT arbeiten daran, Robotern die Fähigkeit zu geben, höhere Befehle auszuführen, wie zum Beispiel in ein anderes Zimmer zu gehen, um ein Objekt für eine Person zu holen. Damit dies möglich ist, müssen Roboter die Fähigkeit haben, ihre physische Umgebung ähnlich wie Menschen wahrzunehmen.

Luca Carlone ist Assistant Professor für Aeronautik und Astronautik am MIT.

“Um irgendeine Entscheidung in der Welt treffen zu können, benötigen Sie ein mentales Modell der Umgebung um Sie herum”, sagt Carlone. “Das ist etwas, das für Menschen so mühelos ist. Aber für Roboter ist es ein schmerzhaftes Problem, bei dem es darum geht, Pixelwerte, die sie durch eine Kamera sehen, in ein Verständnis der Welt umzuwandeln.”

Um diese Herausforderung anzunehmen, haben die Forscher eine Darstellung der räumlichen Wahrnehmung für Roboter modelliert, basierend auf der Art und Weise, wie Menschen ihre physische Umgebung wahrnehmen und navigieren.

3D-Dynamische Szenengraphen

Das neue Modell wird 3D-Dynamische Szenengraphen genannt und ermöglicht es einem Roboter, eine 3D-Karte seiner physischen Umgebung zu erstellen, einschließlich Objekten und ihren semantischen Labels. Der Roboter kann auch Menschen, Räume, Wände und andere Strukturen in der Umgebung kartieren.

Das Modell ermöglicht es dem Roboter dann, Informationen aus der 3D-Karte zu extrahieren, die verwendet werden können, um Objekte, Räume und die Bewegung von Menschen zu lokalisieren.

“Diese komprimierte Darstellung der Umgebung ist nützlich, weil sie es unserem Roboter ermöglicht, schnell Entscheidungen zu treffen und seinen Pfad zu planen”, sagt Carlone. “Das ist nicht allzu weit von dem entfernt, was wir als Menschen tun. Wenn Sie einen Pfad von Ihrem Zuhause zum MIT planen müssen, planen Sie nicht jeden einzelnen Punkt, den Sie einnehmen müssen. Sie denken einfach auf der Ebene von Straßen und Landmarken, was Ihnen hilft, Ihre Route schneller zu planen.”

Laut Carlone könnten Roboter, die auf diesem Modell basieren, viel mehr als nur Haushaltsaufgaben ausführen. Sie könnten auch für höhere Fähigkeiten eingesetzt werden und neben Menschen in Fabriken arbeiten oder bei der Suche nach Überlebenden an einem Katastrophenschauplatz helfen.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Aktuelle Methoden im Vergleich zum neuen Modell

Die aktuellen Methoden für robotische Sicht und Navigation konzentrieren sich hauptsächlich auf 3D-Kartierung, die es Robotern ermöglicht, ihre Umgebung in drei Dimensionen in Echtzeit zu rekonstruieren, oder semantische Segmentierung, bei der Roboter Merkmale in der Umgebung als semantische Objekte klassifizieren, wie zum Beispiel ein Auto versus ein Fahrrad. Semantische Segmentierung wird oft auf 2D-Bildern durchgeführt.

Das neu entwickelte Modell der räumlichen Wahrnehmung ist das erste seiner Art, das eine 3D-Karte der Umgebung in Echtzeit erstellt und Objekte, Menschen und Strukturen innerhalb der 3D-Karte gleichzeitig beschriftet.

Um dieses neue Modell zu erreichen, verließen sich die Forscher auf Kimera, eine Open-Source-Bibliothek. Kimera wurde zuvor von demselben Team entwickelt, um ein 3D-geometrisches Modell einer Umgebung zu erstellen, während gleichzeitig kodiert wird, was das Objekt wahrscheinlich ist, wie zum Beispiel ein Stuhl versus ein Schreibtisch.

“Wie die mythologische Kreatur, die eine Mischung aus verschiedenen Tieren ist, wollten wir, dass Kimera eine Mischung aus Kartierung und semantischer Verständnis in 3D ist”, sagt Carlone.

Kimera verwendete Bilder von einer Kamera eines Roboters und Trägheitsmessungen von Bordensoren, um die Szene als 3D-Mesh in Echtzeit zu rekonstruieren. Um dies zu tun, verwendete Kimera ein neuronales Netzwerk, das auf Millionen von realen Bildern trainiert wurde. Es konnte dann das Label jedes Pixels vorhersagen und mit Ray-Casting projizieren.

Durch die Verwendung dieser Technik kann die Umgebung des Roboters in einem dreidimensionalen Mesh kartiert werden, bei dem jede Fläche farbcodiert ist und sie als Teil von Objekten, Strukturen oder Menschen in der Umgebung identifiziert.

3D-Mesh zu 3D-Dynamischen “Szenengraphen”

Da das 3D-semantische Mesh-Modell viel Rechenleistung erfordert und zeitaufwändig ist, verwendeten die Forscher Kimera, um Algorithmen zu entwickeln, die zu 3D-dynamischen “Szenengraphen” führten.

Das 3D-semantische Mesh wird in verschiedene semantische Schichten unterteilt, und der Roboter kann dann eine Szene durch eine Schicht betrachten. Die Schichten reichen von Objekten und Menschen bis hin zu offenen Räumen und Strukturen, Räumen, Korridoren, Fluren und ganzen Gebäuden.

Diese Schichtmethode ermöglicht es dem Roboter, seine Aufmerksamkeit zu fokussieren, anstatt Milliarden von Punkten und Flächen analysieren zu müssen. Diese Schichtmethode ermöglicht es auch den Algorithmen, Menschen und ihre Bewegung in der Umgebung in Echtzeit zu verfolgen.

Das neue Modell wurde in einem photo-realistischen Simulator getestet, der einen Roboter simuliert, der eine Büroumgebung mit sich bewegenden Menschen navigiert.

“Wir ermöglichen es im Grunde genommen Robotern, mentale Modelle zu haben, die denen ähneln, die Menschen verwenden”, sagt Carlone. “Das kann viele Anwendungen beeinflussen, einschließlich selbstfahrender Autos, Suche und Rettung, kollaborative Fertigung und Haushaltsrobotik.

Carlone wurde von dem Hauptautor und MIT-Absolventen Antoni Rosinol begleitet.

“Unser Ansatz wurde erst durch jüngste Fortschritte im Deep Learning und Jahrzehnte der Forschung auf simultane Lokalisierung und Kartierung ermöglicht”, sagt Rosinol. “Mit dieser Arbeit machen wir den Sprung zu einer neuen Ära der robotischen Wahrnehmung, die als Spatial-AI bezeichnet wird und noch in den Kinderschuhen steckt, aber ein großes Potenzial in der Robotik und der großen virtuellen und erweiterten Realität hat.”

Die Forschung wurde auf der Konferenz “Robotik: Wissenschaft und Systeme” präsentiert.